Xi Xiao @markshawww99 - Twitter Profile

视觉-语言模型(VLM)领域在研究些什么？🧐 VLM是一个从去年末开始快速发展的领域，对研究者来说尚有大量“金矿”未被发掘，且当前探索仍然非常初步，对大模型的初学者上手难度较小🥰 以下是帮你快速掌握VLM领域目前发展的文章推荐📰： 1. 从宏观视角整体了解整个领域有哪些具体的探索方向（例如数据配比、Image Encoder选择、VL connector的设计、当前有哪些benchmark、VLM的训练策略等） a. Cambrian: A Fully Open, Vision-Centric Exploration of Multimodal LLMs 最全最新没有之一的全方位探索 Link: https://t.co/fqS9zVB5AS b. MM1: Methods, Analysis & Insights from Multimodal LLM Pre-training 比较老但仍然推荐一读的文章 Link: https://t.co/Q7HSytHhwB c. What matters when building vision-language models? 结论相比前两篇有很好的补充 Link: https://t.co/xOTVQj8PZ6 2. VLM特有的提升推理效率方案：设计更优的V-L Attention机制 a. An Image is Worth 1/2 Tokens After Layer 2: Plug-and-Play Inference Acceleration for Large Vision-Language Models 发现vision token存在大量的冗余，可以通过token dropping来大幅提升推理速度而不伤害效果 Link: https://t.co/4hvsgy0nr7 b. VoCo-LLaMA: Towards Vision Compression with Large Language Models 通过类似RMT的token压缩方式减少vision token数量从而提升推理速度 Link: https://t.co/8227vL5Sd0 3. vision encoder的分辨率对模型性能的影响，结论简单粗暴：影响很大，分辨率越大效果越好 a. InternLM-XComposer2-4KHD: A Pioneering Large Vision-Language Model Handling Resolutions from 336 Pixels to 4K HD Link: https://t.co/hcUik3aVlQ b. DeepSeek-VL: Towards Real-World Vision-Language Understanding Link: https://t.co/OBJRnRBlK1 4. VLM模型架构选择：All-in-one Decoder （early-fusion）还是Vision Encoder和Language Decoder分离？ a. Unveiling Encoder-Free Vision-Language Models https://t.co/puhPIluZEB b. Chameleon: Mixed-Modal Early-Fusion Foundation Models https://t.co/p5iWwWHbMA 5. 对于较为主流的VLM分离架构，Vision-Language Connector如何设计？ a. TokenPacker: Efficient Visual Projector for Multimodal LLM https://t.co/s3N1ntrajw 6. VLM分离架构的最佳训练方式 a. Long Context Transfer from Language to Vision https://t.co/eoKGiw9ufm 7. LLaVA系列的所有文章+博客 Improved Baselines with Visual Instruction Tuning https://t.co/8pLH4RNxAZ https://t.co/amvIg2TynU https://t.co/cfVN0Pf6at https://t.co/CKiCyN2d0G https://t.co/By6hrZyNyU https://t.co/PMX6iqmwHt 8. 一些快速提升你VLM码力的实战仓库推荐（见图）（列得不够全希望大家在评论区继续补充）

TsingYoga's tweet photo. 视觉-语言模型(VLM)领域在研究些什么？🧐

VLM是一个从去年末开始快速发展的领域，对研究者来说尚有大量“金矿”未被发掘，且当前探索仍然非常初步，对大模型的初学者上手难度较小🥰

以下是帮你快速掌握VLM领域目前发展的文章推荐📰：

1. 从宏观视角整体了解整个领域有哪些具体的探索方向（例如数据配比、Image Encoder选择、VL connector的设计、当前有哪些benchmark、VLM的训练策略等）

a. Cambrian: A Fully Open, Vision-Centric Exploration of Multimodal LLMs
最全最新没有之一的全方位探索
Link: https://t.co/fqS9zVB5AS

b. MM1: Methods, Analysis & Insights from Multimodal LLM Pre-training
比较老但仍然推荐一读的文章
Link: https://t.co/Q7HSytHhwB

c. What matters when building vision-language models?
结论相比前两篇有很好的补充
Link: https://t.co/xOTVQj8PZ6

2. VLM特有的提升推理效率方案：设计更优的V-L Attention机制

a. An Image is Worth 1/2 Tokens After Layer 2: Plug-and-Play Inference Acceleration for Large Vision-Language Models
发现vision token存在大量的冗余，可以通过token dropping来大幅提升推理速度而不伤害效果
Link: https://t.co/4hvsgy0nr7

b. VoCo-LLaMA: Towards Vision Compression with Large Language Models
通过类似RMT的token压缩方式减少vision token数量从而提升推理速度
Link: https://t.co/8227vL5Sd0

3. vision encoder的分辨率对模型性能的影响，结论简单粗暴：影响很大，分辨率越大效果越好

a. InternLM-XComposer2-4KHD: A Pioneering Large Vision-Language Model Handling Resolutions from 336 Pixels to 4K HD
Link: https://t.co/hcUik3aVlQ

b. DeepSeek-VL: Towards Real-World Vision-Language Understanding
Link: https://t.co/OBJRnRBlK1

4. VLM模型架构选择：All-in-one Decoder （early-fusion）还是Vision Encoder和Language Decoder分离？

a. Unveiling Encoder-Free Vision-Language Models
https://t.co/puhPIluZEB

b. Chameleon: Mixed-Modal Early-Fusion Foundation Models
https://t.co/p5iWwWHbMA

5. 对于较为主流的VLM分离架构，Vision-Language Connector如何设计？

a. TokenPacker: Efficient Visual Projector for Multimodal LLM
https://t.co/s3N1ntrajw

6. VLM分离架构的最佳训练方式

a. Long Context Transfer from Language to Vision
https://t.co/eoKGiw9ufm

7. LLaVA系列的所有文章+博客

Improved Baselines with Visual Instruction Tuning
https://t.co/8pLH4RNxAZ
https://t.co/amvIg2TynU
https://t.co/cfVN0Pf6at
https://t.co/CKiCyN2d0G
https://t.co/By6hrZyNyU
https://t.co/PMX6iqmwHt

8. 一些快速提升你VLM码力的实战仓库推荐（见图）

（列得不够全希望大家在评论区继续补充）

12

312

69

322

41K

Xi Xiao @markshawww99

about 2 years ago

@1a1a11a @RashmiKVinayak Congrats！

0

66

markshawww99 retweeted

Yujia Qin @TsingYoga

about 2 years ago

是时候把数据scale down了 LLaMA3告诉大家一个悲观的现实：模型架构不用动，把数据量从2T加到15T就可以暴力出奇迹。这一方面告诉大家基座模型长期来看就是大厂的机会；另一方面，考虑到scaling law的边际效应，我们想继续看到下一代模型能够有GPT3->GPT4的提升，很可能需要再洗出少说10个数量级的数据（e.g., 150T）给力的来了，近期DCLM [1]的团队真从CommonCrawl里洗出来了240T数据，这给scaling law信奉者带来了福音：数据是不缺的，你有卡么？其实在数据这块，暴力scale up固然重要，如何scale down（同时把单位数据质量提升上去）也很重要。模型智能由数据的压缩而来；反过来，模型将会重新定义数据的组织形式这其中最简单的方式是用模型来过滤噪声数据。例如(1) PbP[2]用小模型的ppl来filter数据，这样造出来的数据能够显著提升大模型的效果/收敛速度；(2) DeepSeek用fastText清洗高质量数据，在Math [3]和Code [4]场景下效果拔群；(3) DCLM[1]做了更细致的ablation study，发现fastText效果是最优的（相比��BGE embedding、perplexity等）。这些工作都有类似的发现，就是清洗后的干净数据+更小的模型能够更加逼近脏数据+大模型的效果。从这个角度上来说，scaling model size本质上能够让我们看到脏数据训练出来的模型能力上限，可以理解为大模型用更冗余的参数在训练阶段自动完成了降噪过程，但如果预先做好了数据降噪，实际能够表征这些数据的模型参数量不需要很大。同样可以得出，通过数据调优把小模型打磨得很好不意味着训个大模型效果就会更好，毕竟干净数据+大模型和脏数据+大模型的效果也不会有差别总结一点，前scaling law时代我们强调的是scale up，即努力追求数据压缩后的模型智能上限，后scaling law时代大家比拼的是scale down，即谁能训练出“性价比”更高的模型目前主流的数据scale down手段就是基于模型的数据去噪，近期也有工作开始用训出来的模型改写预训练数据[5]。这个过程既要注意在改写过程中不能让模型hallucinate，又要高效地清除数据中自带的噪声。Phi-2 / Phi-3 [6] 的成功也验证了这一点，如果能机造pre-training级别的数据，以小博大其实是很容易的。当前的方法仍然聚焦在单条数据的质量增强上，未来一个更重要的研究方向是如何做多条数据语义级别的去重/合并，这块很难，但是对数据scale down意义重大 [1] https://t.co/iIV9P17APS [2] https://t.co/boi2BMWe1e [3] https://t.co/4LhMcydlhB [4] https://t.co/dVyCkwn9pp [5] https://t.co/eEMQ9FFS0z [6] https://t.co/i6qha7W8NF