Jaehoon Kim

[yibie @yibie]

从终端一条 curl 到 token 回来，vLLM 背后是一整台分布式机器。Aleksa Gordić 从引擎核心讲到多节点部署，一次讲透一个子系统。

《Inside vLLM：高吞吐 LLM 推理系统的解剖》

Inside vLLM: Anatomy of a High-Throughput LLM Inference System

缩写版，保留完整论证主干。原文：Aleksa Gordić《Inside vLLM》（2025-08-29，基于 commit 42172ad 的 V1 引擎分析，系列第一篇）

引擎与引擎核心

LLM 引擎是 vLLM 的基本构件，单独使用就能高吞吐推理——但只是离线场景，还不能对外服务。从一个最小示例出发：LLM(model=...).generate(prompts, sampling_params)，单进程、单 GPU、同步执行。

引擎构造器的主要组件：

• vLLM config（模型/缓存/并行度所有旋钮）
• processor（原始输入 → EngineCoreRequest：校验、分词、处理）
• engine core client（最小示例里是 InprocClient，规模化后是 DPLBAsyncMPClient）
• output processor（EngineCoreOutputs → 用户看到的 RequestOutput）

Engine core 内部又分：Model Executor（驱动前向，单 GPU 是 UniProcExecutor）、Structured Output Manager（引导解码）、Scheduler（决定���些请求进入下一步）——Scheduler 里有两队列（waiting/running）、FCFS 或优先级策略，以及 KV cache manager：分页注意力的心脏。

KV cache manager 维护一个 free_block_queue（可用 KV 缓存块池，视显存和块大小常有几十万个）。标准 transformer 层（非 MLA）的块大小 = 2（K/V）× block_size（默认 16）× num_kv_heads × head_size × dtype 字节数。

构造时 Worker 执行三个关键流程：

1. Init device：分配 CUDA 设备、检查显存（gpu_memory_utilization 如 0.8）、设置分布式（DP/TP/PP/EP）、实例化 model_runner（持有采样器、KV 缓存、前向缓冲区）和 InputBatch。
2. Load model：实例化架构、加载权重、model.eval()、��选 torch.compile()。
3. Init KV cache：跑一次 dummy/profiling 前向，拍照显存快照，算出可用 KV 块数；分配并对齐张量；除非 --enforce-eager，否则对每个热身 batch size 做 dummy run 并捕获 CUDA graphs——把整串 GPU 工作录成 DAG，之后前向直接重放预烘焙图，砍掉 kernel 启动开销。

generate 函数

每个 prompt：创建唯一 request ID → 分词预处理 → 打包成 EngineCoreRequest（带优先级/采样参数）→ 进 scheduler 的 waiting 队列。同步引擎里这些就是全部请求；异步引擎支持连续批处理（continuous batching）——每步之后新旧请求一起考虑。

只要还有请求，引擎反复调用 step()，每步三阶段：

1. Schedule：选哪些请求进这一步（decode 和/或（分块的）prefill）
2. Forward pass：跑模型、采样 token
3. Postprocess：把采样 token 追加进 Request、去分词、检查停止条件（超长 / EOS / stop_token_ids / stop 字符串）；结束就清理（KV 块还给 free_block_queue）并提前返回输出

调度器

两类工作负载：Prefill（对全部 prompt token 前向，通常计算受限）和 Decode（只对最新 token 前向，前面 KV 已缓存，内存带宽受限——只为算一个 token 要加载全部权重和 KV 缓存）。V1 调度器能在同一步混合两种请求（V0 只能一次处理一种）。

调度优先处理 running 队列里的 decode 请求，然后处理 waiting 里的 prefill。核心是 allocate_slots：算需要多少新 KV 块（每块 16 token，17 个新 token 要 ceil(17/16)=2 块）→ 检查可用性（不够就逐出低优先级请求做 recompute preemption，或跳过）→ 从块池取块、登记进 req_to_blocks。

前向

execute_model → Worker → model_runner：更新���态、CPU→GPU 拷贝、构建 slot_mapping、跑自定义分页注意力 kernel。所有序列被拍平拼成一条"超序列"，位置索引和注意力掩码保证每个序列只注意自己的 token——这就是连续批处理不需要右填充的原理。两种执行模式：eager（标准 PyTorch 前向）或 captured（重放预捕获的 CUDA graph）。

高级特性

Chunked prefill（分块预填充）

长 prompt 的 prefill 切成小块，避免一个超长请求独占一个引擎步、拖高所有其他请求的延迟。设置 long_prefill_token_threshold 为正整数即开启（超过 token 预算时也会自动分块）。只有最后一个分块步才采样一个新 token。

Prefix caching（前缀缓存）

多个 prompt 共享的前缀不重复计算——按 KV 块（16 token）为粒度。vLLM 的做法：hash_request_tokens 把前缀切成 16-token 块、逐块算哈希（哈希链：前一块哈希 + 当前 token + 可选元数据，如 cache salt/LoRA ID），存进 cached_block_hash_to_block；新请求用 find_longest_cache_hit 查哈希命中，命中就直接复用那些 KV 块。默认开启，enable_prefix_caching=False 关闭。只加速 prefill，不影响 decode。

Guided decoding（引导解码）

每步解码用语法驱动的有限状态机（FSM）约束 logits，只允许语法允许的 token 被采样——从正则（type-3）到上下文无关语法（type-2，覆盖大多数编程语言）。vLLM 用 StructuredOutputManager + 第三方后端（如 xgrammar）：请求的 grammar 异步编译；调度时把位掩码展开到词表大小，把不允许的位置的 logits 置为 -∞；采样后按 accept_tokens 推进 FSM 状态。

Speculative decoding（投机解码）

自回归每生成一个 token 都要一次大模型前向——每步都重载全部权重只为算一个 token。投机解码引入小 draft 模型：draft 便宜地提�� k 个 token → 大模型在 context+k 上跑一次（得到 k+1 个候选分布）→ 从左到右接受/拒绝（大模型概率 ≥ draft 概率就接受，否则按比值概率接受；全接受则白送第 k+1 个 token）。接受-拒绝规则保证期望上与大模型逐 token 采样完全等价，但一次大模型前向能出最多 k+1 个 token。vLLM V1 不用 LLM draft，用更快的方案：n-gram（在序列里找历史匹配提议后续）、EAGLE（对大模型做"模型手术"：留 embedding 和 LM head，transformer 栈换成轻量 MLP 微调成 draft）、Medusa（在大模型上训并行预测下 k 个 token 的辅助线性头）。

Disaggregated P/D（分离式预填充/解码）

prefill 计算受限、decode 内存带宽受限，性能画像不同，分开执行能更紧地控制 TTFT 和 ITL。实践中跑 N 个 prefill 实例 + M 个 decode 实例，按实时请求混合自动伸缩：prefill worker 把 KV ���进专用 KV 缓存服务，decode worker 读。vLLM 用 Connector 抽象处理实例间 KV 交换（SharedStorageConnector 教学用、LMCache 生产级但还在前沿）。

从 UniProc 到 MultiProc 到分布式

模型放不进单卡 → 张量并行（TP=8，节点内带宽高优先于 PP）→ 放不下再跨节点流水并行（PP）。MultiProcExecutor 用共享内存消息队列协调：world_size 个 worker 进程，每个有输入（rpc_broadcast_mq）和输出（worker_response_mq）队列，驱动者（rank 0）协调，busy loop 等活。引擎视角完全不变——复杂度藏在 execute_model 后面。

扩出去（DP）：headless 节点跑 --data-parallel-size 4 --tensor-parallel-size 4 等参数，API server 节点跑 AsyncLLM（asyncio 包装）。前端 DPAsyncMPClient 做负载均衡（score = len(waiting)*4 + len(running)，挑分最低的引擎），DPCoordinator 进程在前后端之间传负载���息、处理弹性伸缩。4 个 DP 副本 ×（main/input/output 三线程）。

完整请求生命周期：curl → FastAPI 的 OpenAIServingCompletion → AsyncLLM.generate → DPAsyncMPClient 挑引擎 → input socket → 引擎 input 线程 → input_queue → main 线程 step() 循环（调度/前向/后处理）→ output_queue → output 线程 → 回 API → Uvicorn 返回。一整台分布式机器，藏在你终端的一条 curl 后面。

基准：延迟 vs 吞吐

• TTFT（首个 token 时间）、ITL（token 间隔）、TPOT（平均每输出 token 时间）、E2E、Throughput、Goodput（满足 SLO 的吞吐，如 p99 e2e < 500ms 才算数）
• 延迟和吞吐天然竞争：批大小 B 越小 ITL 越低；B 越大权重 I/O 被摊薄、吞吐越高但 ITL 涨。roofline 模型：低于饱和批大小 B_sat 时，步延迟几乎持平（HBM 带宽受限，算 1 个还是 10 个 token 差不多）；超过后 kernel 转计算受限，步时间随 B 增长。

vLLM 提供 vllm bench {serve,latency,throughput} CLI：latency（短输入 128 输出 token 小批）、throughput（1000 条 ShareGPT 一次性提交，QPS=∞）、serve（按 Poisson 到达间隔模拟真实负载 + 可选并发上限），还有 auto-tune 脚本按 SLO 找参数。

结语

从引擎核心起步，加投机解码和前缀缓存，扩到 MultiProc（TP/PP>1），再扩到异步引擎 + 分布式服务栈，最后讲怎么度量性能。vLLM 还有一堆本篇跳过的专项处理（TPU/Neuron 后端、MLA/MoE/编码器-解码器/LoRA/状态空间模型、混合 KV 缓存逻辑 Jenga 等）——大多与主线正交，可以当成"插件"。系列后续会逐子系统钻进去。

原文：https://t.co/KA9XB9n75J
#本地AI #vLLM #推理系统

[LightSeek Foundation @lightseekorg]

Over the past two years, inference providers competed on engine performance. I think that era is ending. https://t.co/XVd6Gr5Yip

[Jay Alammar @JayAlammar]

The wait is over! Our book, Hands On Large Language Models is now available!

You can access the digital and Kindle versions today! The print version is in the presses as we speak and can be on their way to you in a couple of weeks.

In this visual introduction to the modern LLM, we have created over 275 original figures that cover some of the most important concepts you'll need to build with LLMs.
Part 1: Understanding Language Models
Part 2: Using Pretrained Language Models
Part 3: Training and Fine-Tuning Language Models.

I'm truly grateful so many people for their support with this project, especially my incredible co-author @MaartenGr.

Hope you enjoy it!

[Alex Xu @alexxubyte]

Logging, tracing and metrics are 3 pillars of system observability.

The diagram below shows their definitions and typical architectures.

🔹 Logging
Logging records discrete events in the system. For example, we can record an incoming request or a visit to databases as events. It has the highest volume. ELK (Elastic-Logstash-Kibana) stack is often used to build a log analysis platform. We often define a standardized logging format for different teams to implement, so that we can leverage keywords when searching among massive amounts of logs.

🔹 Tracing
Tracing is usually request-scoped. For example, a user request goes through the API gateway, load balancer, service A, service B, and database, which can be visualized in the tracing systems. This is useful when we are trying to identify the bottlenecks in the system. We use OpenTelemetry to showcase the typical architecture, which unifies the 3 pillars in a single framework.

🔹 Metrics
Metrics are usually aggregatable information from the system. For example, service QPS, API responsiveness, service latency, etc. The raw data is recorded in time-series databases like InfluxDB. Prometheus pulls the data and transforms the data based on pre-defined alerting rules. Then the data is sent to Grafana for display or to the alert manager which then sends out email, SMS, or Slack notifications or alerts.

🔹 Over to you: Which tools have you used for system monitoring?

--
Subscribe to our weekly newsletter to get a Free System Design PDF (158 pages): https://t.co/uc5M7CdXXC

[Go @golang]

Happy 14th Birthday, Go! 🎉 🥳 🎂 #golang
https://t.co/lwn2K1qsVJ

[테크크론탭 @techcrontab]

이상 탐지 4부-딥 러닝으로 이상 탐지하기
작성자 :
출처 : NHN
November 6, 2023 at 10:50AM
https://t.co/pq6AbEeHPM

[Frank Nielsen @FrnkNlsn]

For my new followers:
"Mathematics for machine learning" (CUP, 2020).

🎉Free PDF from https://t.co/mbzGgyoAVP

😊A must-read masterpiece, nicely structured and richly color-illustrated!

[테크크론탭 @techcrontab]

이상 탐지 3부-머신 러닝으로 이상 탐지하기
작성자 :
출처 : NHN
August 14, 2023 at 04:36PM
https://t.co/LYL8wbuyGb

[Go @golang]

🥳 Go 1.21.0 is released!

🗒️ Release notes: https://t.co/8yX6FMmTOq

⬇️ Download: https://t.co/AHKMZi9hp1

#golang

[Go @golang]

“Go 1.21 is released!” by @elibendersky — https://t.co/053bb3R7Zw

#golang

[Go @golang]

🎉 Go 1.21 Release Candidate 4 is released!

🏃‍♂️ Run it in dev! Run it in prod! File bugs! https://t.co/Ul1xGhvlkf

🔈 Announcement: https://t.co/uq5bQRnLke

⬇️ Download: https://t.co/QjlTz6zgBZ

#golang

[Go @golang]

🎉 Go 1.20.6 and 1.19.11 are released!

🔐 Security: Includes security fixes for CVE-2023-29406 and Go issue https://t.co/TvnTCb3lMm

📢 Announcement: https://t.co/6ahFqq7ifS

📦 Download: https://t.co/OmPG7Q663K

#golang

[Go @golang]

🎉 Go 1.20 is released!

📝 Release notes: https://t.co/V6huayE5Vi

⬇️ Download: https://t.co/DBbJPEVUJS

#golang

[Go @golang]

🎊 Go 1.20 Release Candidate 1 is released!

🏃‍♂️ Run it in dev! Run it in prod! File bugs! https://t.co/Ul1xGhvlkf

📣 Announcement: https://t.co/9zC7AEG4ny

📦 Download: https://t.co/rTk1iN8RNz

#golang

[Go @golang]

🥳 Go 1.19.4 and 1.18.9 are released!

🔏 Security: Includes security fixes for net/http (CVE-2022-41717, CVE-2022-41720) and os (CVE-2022-41720).

📢 Announcement: https://t.co/cFuWsY1bOo

📦 Download: https://t.co/JkrAPmPlqj

#golang

[PrometheusMonitoring @PrometheusIO]

Happy birthday to me!

My codebase is ten years old, as of today: https://t.co/049QjNCSyn

Today, the PromCon 2022 EU videos were released: https://t.co/02TwkWfsMm

Finally, you should follow me on Mastodon: https://t.co/B8Lfp5yk9m

[Jaehoon Kim @jaehoonkim__]

@eunjae_lee_ko 저도 주니어 일때(2000년 초반) 사수가 없었는데요. 그래도 커뮤니티들이 다양하게 많아서 누적되어 있는 질문과 답변들도 많고, 제가 아무리 바보 같은 질문을 해도 다양한 답변을 많이 받을 수 있었어요.

[Go @golang]

🧐 “Thirteen years of Go” by @_rsc

🎉🎂🥳

— https://t.co/Nh6ILAwrk2

#golang