Shawn

Graduate student in computer vision
Research: Object Tracking、Multimodal and UAV
Looking for PhD position for 26 fall

[Shawn @Shaofeng_Liang]

@MaximilianMona @xianjun_agi @johnschulman2 Do you have any relevant papers for reference?

[Shawn @Shaofeng_Liang]

@MaximilianMona @xianjun_agi @johnschulman2 Good job!

[Tom Yeh @ProfTomYeh]

[Transformer] by Hand ✍️
Make Your Own 🛠️👉 https://t.co/ZuXhITccaL

Over the past few months, I've collaborated with several AI educators to customize my AI by Hand exercises. I am glad that my materials are being used and appreciated in many classrooms around the world!

However, because the customization process is entirely by hand, sometimes my solution contains errors, only to be caught by students, which actually made me happy that students are paying attention. 😅

Lately, I have been thinking about developing a tool to let people create their own AI by Hand exercises, with custom numbers and solutions.

After considering a range of technologies, I decided to use Google Sheets. My goal is to maximize reach and broaden access.

Because this tool is still in the early stage, I would really appreciate your feedback!

What other topics do you want to see next?

[Yujia Qin @TsingYoga]

视觉-语言模型(VLM)领域在研究些什么？🧐

VLM是一个从去年末开始快速发展的领域，对研究者来说尚有大量“金矿”未被发掘，且当前探索仍然非常初步，对大模型的初学者上手难度较小🥰

以下是帮你快速掌握VLM领域目前发展的文章推荐📰：

1. 从宏观视角整体了解整个领域有哪些具体的探索方向（例如数据配比、Image Encoder选择、VL connector的设计、当前有哪些benchmark、VLM的训练策略等）

a. Cambrian: A Fully Open, Vision-Centric Exploration of Multimodal LLMs
最全最新没有之一的全方位探索
Link: https://t.co/fqS9zVB5AS

b. MM1: Methods, Analysis & Insights from Multimodal LLM Pre-training
比较老但仍然推荐一读的文章
Link: https://t.co/Q7HSytHhwB

c. What matters when building vision-language models?
结论相比前两篇有很好的补充
Link: https://t.co/xOTVQj8PZ6

2. VLM特有的提升推理效率方案：设计更优的V-L Attention机制

a. An Image is Worth 1/2 Tokens After Layer 2: Plug-and-Play Inference Acceleration for Large Vision-Language Models
发现vision token存在大量的冗余，可以通过token dropping来大幅提升推理速度而不伤害效果
Link: https://t.co/4hvsgy0nr7

b. VoCo-LLaMA: Towards Vision Compression with Large Language Models
通过类似RMT的token压缩方式减少vision token数量从而提升推理速度
Link: https://t.co/8227vL5Sd0

3. vision encoder的分辨率对模型性能的影响，结论简单粗暴：影响很大，分辨率越大效果越好

a. InternLM-XComposer2-4KHD: A Pioneering Large Vision-Language Model Handling Resolutions from 336 Pixels to 4K HD
Link: https://t.co/hcUik3aVlQ

b. DeepSeek-VL: Towards Real-World Vision-Language Understanding
Link: https://t.co/OBJRnRBlK1

4. VLM模型架构选择：All-in-one Decoder （early-fusion）还是Vision Encoder和Language Decoder分离？

a. Unveiling Encoder-Free Vision-Language Models
https://t.co/puhPIluZEB

b. Chameleon: Mixed-Modal Early-Fusion Foundation Models
https://t.co/p5iWwWHbMA

5. 对于较为主流的VLM分离架构，Vision-Language Connector如何设计？

a. TokenPacker: Efficient Visual Projector for Multimodal LLM
https://t.co/s3N1ntrajw

6. VLM分离架构的最佳训练方式

a. Long Context Transfer from Language to Vision
https://t.co/eoKGiw9ufm

7. LLaVA系列的所有文章+博客

Improved Baselines with Visual Instruction Tuning
https://t.co/8pLH4RNxAZ
https://t.co/amvIg2TynU
https://t.co/cfVN0Pf6at
https://t.co/CKiCyN2d0G
https://t.co/By6hrZyNyU
https://t.co/PMX6iqmwHt

8. 一些快速提升你VLM码力的实战仓库推荐（见图）

（列得不够全希望大家在评论区继续补充）

[Shawn @Shaofeng_Liang]

@ziqi_huang_ @yinanhenevernan @awojustin @Zhang_Fan_ @liuziwei7 congrats🥳🥳🥳

[Shawn @Shaofeng_Liang]

@xiayutong618 WOW! Just what I needed!😻

[宝玉 @dotey]

OpenAI 的大神 Andrej Karpathy 前几天在他的 YouTube 频道讲了一堂课，系统的介绍了大语言模型，内容深入浅出，非常赞，抽空将它翻译成了双语，由于内容较长，我将分批上传，以下是第一部分精校后的双语视频，字幕文稿如下：

Intro: Large Language Model (LLM) talk

大家好。最近，我进行了一场关于大语言模型的 30 分钟入门讲座。遗憾的是，这次讲座没有被录制下来，但许多人在讲座后找到我，他们告诉我非常喜欢那次讲座。因此，我决定重新录制并上传到 YouTube，那么，让我们开始吧，为大家带来“忙碌人士的大语言模型入门”系列，主讲人 Scott。好的，那我们开始吧。

LLM Inference

首先，什么是大语言模型 (Large Language Model) 呢？其实，一个大语言模型就是由两个文件组成的。在这个假设的目录中会有两个文件。

以 Llama 2 70B 模型为例，这是一个由 Meta AI 发布的大语言模型。这是 Llama 系列语言模型的第二代，也是该系列中参数最多的模型，达到了 700 亿。LAMA2 系列包括了多个不同规模的模型，70 亿，130 亿，340 亿，700 亿是最大的一个。

现在很多人喜欢这个模型，因为它可能是目前公开权重最强大的模型。Meta 发布了这款模型的权重、架构和相关论文，所以任何人都可以很轻松地使用这个模型。这与其他一些你可能熟悉的语言模型不同，例如，如果你正在使用 ChatGPT 或类似的东西，其架构并未公开，是 OpenAI 的产权，你只能通过网页界面使用，但你实际上没有访问那个模型的权限。

在这种情况下，Llama 2 70B 模型实际上就是你电脑上的两个文件：一个是存储参数的文件，另一个是运行这些参数的代码。这些参数是神经网络（即语言模型）的权重或参数。我们稍后会详细解释。因为这是一个拥有 700 亿参数的模型，每个参数占用两个字节，因此参数文件的大小为 140 GB，之所以是两个字节，是因为这是 float 16 类型的数据。

除了这些参数，还有一大堆神经网络的参数。你还需要一些能运行神经网络的代码，这些代码被包含在我们所说的运行文件中。这个运行文件可以是 C 语言或 Python，或任何其他编程语言编写的。它可以用任何语言编写，但 C 语言是一种非常简单的语言，只是举个例子。只需大约 500 行 C 语言代码，无需任何其他依赖，就能构建起神经网络架构，并且主要依靠一些参数来运行模型。所以只需要这两个文件。

你只需带上这两个文件和你的 MacBook，就拥有了一个完整的工具包。你不需要连接互联网或其他任何设备。你可以拿着这两个文件，编译你的 C 语言代码。你将得到一个可针对参数运行并与语言模型交互的二进制文件。

比如，你可以让它写一首关于 Scale AI 公司的诗，语言模型就会开始生成文本。在这种情况下，它会按照指示为你创作一首关于 Scale AI 的诗。之所以选用 Scale AI 作为例子，你会在整个演讲中看到，是因为我最初在 Scale AI 举办的活动上介绍过这个话题，所以演讲中会多次提到它，以便内容更具体。这就是我们如何运行模型的方式。只需要两个文件和一台 MacBook。

我在这里稍微有点作弊，因为这并不是在运行一个有 700 亿参数的模型，而是在运行一个有 70 亿参数的模型。一个有 700 亿参数的模型运行速度大约会慢 10 倍。但我想给你们展示一下文本生成的过程，让你们了解它是什么样子。所以运行模型并不需要很多东西。这是一个非常小的程序包，但是当我们需要获取那些参数时，计算的复杂性就真正显现出来了。

那么，这些参数从何而来，我们如何获得它们？因为无论 run.c 文件中的内容是什么，神经网络的架构和前向传播都是算法上明确且公开的。

[Shawn @Shaofeng_Liang]

@MDanelljan Congratulations ！！🎉Your research on visual tracking has been a great help to me!

[Shawn @Shaofeng_Liang]

Still can't seem to catch up with ddl...👍👍🤣🤣

[#CVPR2026 @CVPR]

An important update on the #CVPR2024 submission deadline from the conference organizing committee:

Our Program Chairs have voted to shift the CVPR 2024 submission deadline to November 17th (A one-week extension). The website will be updated shortly to reflect this change.

[Shawn @Shaofeng_Liang]

@JaminFong Sure, you can send me a summary of your article in Chinese and I'll push it out for my followers!

[Shawn @Shaofeng_Liang]

@JaminFong If you need to promote your work, my WeChat Official Accounts Platform(AiCharm) can help you for free!

[Shawn @Shaofeng_Liang]

@KyriectionZhang Congratulations!!

[Shawn @Shaofeng_Liang]

@sellan_s Good job! I hope you can make it!

[Shawn @Shaofeng_Liang]

R.I.P

[Wenhu Chen @WenhuChen]

Can't agree more. Not sure why the people who really developed the LLMs are not invited to these talks and keynotes.

[Yuliang Xiu @yuliangxiu]

The number of papers does not matter.

- professors who always tweet "N (N>10) papers got into CVPR/ICCV/SIGGRAPH/NeurIPS..." and received tens of "congrats" afterwards

[Yang Fu @yangfu21]

I will be attending ICML next week to present this work.
Don't hesitate to catch me there if you're interested in discussing it!

[Chi Zhang @dr_chizhang]

We are pleased to share our work on monocular depth estimation and single-image 3D reconstruction, Metric3D, which was accepted by ICCV2023. This method won first place in the 2nd Monocular Depth Estimation Competition at CVPR.

Arxiv：https://t.co/QoOSKrW2Bo

[Shawn @Shaofeng_Liang]

@dr_chizhang Nice results and awesome work!