Cai Yu

Software engineer @Paris

[管四 @guansi]

我一直建议，想真正学大模型的人，最好自己本地部署一次。
这是给大模型祛魅最快的方法。

平时我们在网页里用 ChatGPT、Claude，很容易产生一种错觉：后面好像藏着一个会思考、会记忆、会使用工具的“智慧大脑”。

但你真把一个模型下载下来，用 vLLM 甚至ollama跑起来，再自己接 API、调上下文、设并发、看显存、搞量化、接工具调用，很多东西一下就明白了。

你会发现，大模型所谓的“记忆”，其实就是每次对话把前面的上下文重新塞进去；所谓工具调用，是它按格式吐出一段内容，再由外面的程序真正执行；所谓并发，本质上也是 batch、KV Cache、显存和调度这些工程问题。

再往下，你会开始知道一个模型有多少参数，权重文件是怎么回事，BF16、FP8、量化到底在干什么，一次请求从输入到输出，中间究竟发生了什么。一切帽子下的神秘一览无余。

这些东西看十篇文章，都不如自己部署一次来得直接。

等真正折腾完以后，大模型还是很强，但那种神秘感没了。

你会知道并不是服务器里住着一个“小人”。

它就是一个极其庞大、极其复杂的输入输出函数。只是复杂到这个程度以后，居然让人觉得它在思考了。

[Miles Ma @miles_mazy]

https://t.co/0cr9iBGG2Q

[Cai Yu @CaiYu0]

@RERD_SNCF @Dgusting1 Toujours dès excuse, jamais un jour normalement

[Cai Yu @CaiYu0]

@LaBanquePostale Vous allez nous rembourser ?? pas un geste commercial ?

[Cai Yu @CaiYu0]

@LaBanquePostale Vous allez nous rembourser ?? pas un geste commercial ?

[Cai Yu @CaiYu0]

@OLomprez @LCI

[Cai Yu @CaiYu0]

@OLomprez @LCI 😮🤭

[Cai Yu @CaiYu0]

@LaBanquePostale 😮🤭

[Cai Yu @CaiYu0]

@LaBanquePostale

[Cai Yu @CaiYu0]

@LaBanquePostale

[Cai Yu @CaiYu0]

@LaBanquePostale

[Cai Yu @CaiYu0]

@RERD_SNCF
À Cesson, l’automate ne marche pas et le guichet est toujours fermé au mauvais moment. Service public en ruine. Une vraie catastrophe.
#RERD

[Cai Yu @CaiYu0]

@RERD_SNCF
À Cesson, l’automate ne marche pas et le guichet est toujours fermé au mauvais moment. Service public en ruine. Une vraie catastrophe.
#RERD

[Cai Yu @CaiYu0]

@RERD_SNCF À Cesson, l’automate ne marche pas et le guichet est toujours fermé au mauvais moment. Service public en ruine. Une vraie catastrophe.

[Cai Yu @CaiYu0]

@RERD_SNCF À Cesson, l’automate ne marche pas et le guichet est toujours fermé au mauvais moment. Service public en ruine. Une vraie catastrophe.
#RERD

[Cai Yu @CaiYu0]

@RERD_SNCF À Cesson, l’automate ne marche pas et le guichet est toujours fermé au mauvais moment. Service public en ruine. Une vraie catastrophe.
#RERD

[Cai Yu @CaiYu0]

@0oG3W9kMKm60699 @mrjeffu Sure, it's well understood Japanese are waiting for little boys and fat men

[Cai Yu @CaiYu0]

@basedaltaccount @chenweihua @mrjeffu Full mouth of shits

[Cai Yu @CaiYu0]

@LIGNER_SNCF Bonjour, est-ce-que ce train circule ? Merci beaucoup.