Martian@Earth

I live in Taiwan, I love it.

[Martian@Earth @Martian_Earth]

@dabowagaga 就是沒新聞就是好新聞🤷

[四叉貓 @XXXXGAY1069]

【柯文哲的4300萬商辦賣掉了】

柯文哲當初領了說好要捐出去的選舉補助款7381萬元，

在2024/5/10買了4300萬商辦一次付清，

結果被踢爆後，柯文哲說將來要給民眾黨當辦公室使用，

但這兩年來都沒有給民眾黨用過耶...

剛才我無聊使用實價登錄系統查詢，

這棟商辦在2026/4/10賣了4380萬元。

[王語萱 @Lelechen945]

離譜他媽給離譜開門，離譜到家了

[nininana @Janina02573746]

我第一次幫中國人按讚

[fox hsiao @pirrer]

Google TurboQuant 讓 AI 推理成本崩盤：記憶體省 6 倍、速度快 8 倍

你跟 ChatGPT 或 Gemini 聊天的時候，AI 每回一句話都要做一件很耗資源的事：記住你前面講過的所有東西。

這個「記住」的機制叫做 KV cache（key-value 快取），它是大型語言模型在推理時最大的記憶體瓶頸之一。Google Research 發表了一系列壓縮演算法，統稱為 TurboQuant，把這個瓶頸的記憶體佔用縮小 6 倍以上，注意力運算速度提升最高 8 倍，而且在基準測試中達到零精準度損失。

其中 TurboQuant 將在 ICLR 2026 發表，核心元件 PolarQuant 發表於 AISTATS 2026，另一個元件 QJL 則已發表於 AAAI。以下用白話解釋它們在做什麼。

先搞懂 KV cache 是什麼

想像你在跟一個人開會，你們講到第 30 分鐘了，這時候對方問你一個問題，你需要回想前面 30 分鐘所有人說過的話、做過的決定，才能給出一個合理的回答。

AI 模型也一樣，當你跟它對話到第 50 句的時候，模型需要「回想」前面 49 句的內容才能理解第 50 句的語境。KV cache 就是那個「會議紀錄」，它把每一句話處理過的中間結果（key 和 value 向量）存起來，讓模型不用每次都重新讀一遍所有對話。

問題是這份會議紀錄非常佔空間，每一句話都要存成高維度的向量（想像成一個有幾千個數字的清單），對話越長，KV cache 越大。一個長對話下來，KV cache 可能佔掉整個 GPU 記憶體的大部分。

這就是為什麼你跟 AI 聊太久，它有時候會「忘記」前面的內容，或者回覆速度變慢，因為記憶體不夠了。

TurboQuant 怎麼壓縮這份會議紀錄

TurboQuant 的做法可以想成兩個步驟，一個負責壓縮，一個負責修正誤差。

第一步（PolarQuant）：換一種方式記錄。

原本 KV cache 裡的每個向量都用「直角座標」存（想成 X、Y、Z 三個軸的距離），這種存法需要很多位元才能精確。PolarQuant 先對向量做隨機旋轉（preconditioning），再轉成「極座標」（想成距離加上角度）。

為什麼這樣比較好壓？因為旋轉後，角度的分布會變得高度集中且可預測，可以直接映射到一個固定的「圓形網格」上壓縮，不需要傳統方法中額外的正規化（normalization）步驟，也不需要依賴資料本身來建立編碼簿。

第二步（QJL）：用 1 個位元修正誤差。

壓縮一定會有誤差，PolarQuant 壓完之後還是有一些微小的偏差。QJL（Quantized Johnson-Lindenstrauss，名字來自一個數學定理）用一種很聰明的方式來修正：它只用 1 個位元（正或負，+1 或 -1）來記錄殘差，幾乎不佔額外空間，但能把誤差消除到可以忽略的程度。

兩步加在一起，TurboQuant 可以把 KV cache 從 32 位元壓到只剩 3 位元，實際記憶體節省 6 倍以上（位元數的壓縮比和實際記憶體節省不完全等價，因為有額外開銷，Google 原文一致使用 6 倍這個數字），而且不需要重新訓練模型，直接套用就好。

數字有多誇張

Google 在 Llama-3.1-8B-Instruct、Gemma、Mistral 三個開源模型上測試，用了 LongBench、Needle In A Haystack、ZeroSCROLLS 等多個基準測試。結果：

- KV cache 記憶體縮小 6 倍以上
- 在 NVIDIA H100 GPU 上，4 位元 TurboQuant 的注意力運算比 32 位元快 8 倍
- 在測試的所有下游任務中精準度 零損失
- 在 Needle In A Haystack（大海撈針）測試中，特定模型和配置下達到 完美分數
- 不需要訓練、不需要微調
- 執行時額外的計算開銷 可忽略不計

「零損失」這三個字是最關鍵的，過去很多壓縮方法都會在壓縮和精準度之間做取捨，壓得越小答案越不準。TurboQuant 在基準測試中壓到 3 位元還是零損失（原文對 PolarQuant 的描述是「nearly loss-less」，近乎無損），這如果在更大規模的部署中被驗證，對整個 AI 推理產業的影響會非常大。

這對你有什麼影響

講幾個直接的後果，每一個都跟你有關。

對話可以更長。 目前很多 AI 產品的對話長度受限於 KV cache 的記憶體大小。記憶體縮小 6 倍代表同樣的硬體可以支持更長的對話、更大的上下文視窗。

推理成本下降。 AI 公司最大的成本之一就是 GPU 記憶體。同樣的 GPU 可以同時服務更多使用者（因為每個使用者的 KV cache 更小了），單位成本下降。

邊緣裝置上跑 AI 變得更可行。 手機、筆電上的 AI 最大的限制就是記憶體不夠。KV cache 縮小 6 倍代表更大的模型可以塞進更小的裝置。

搜尋引擎變快。 Google 在論文中特別提到 TurboQuant 對搜尋和 AI 應用有「深遠影響」。KV cache 壓縮不只用在聊天機器人，任何需要處理長序列的 AI 任務都會受益，包括搜尋引擎的排名和摘要生成。

一句話總結

Google 找到了一種方法，讓 AI 的「短期記憶」佔用的空間縮小 6 倍、注意力運算快 8 倍，而且在測試中不忘任何細節。這是把 AI 從資料中心推向每個人手上的關鍵一步。

[takumi @usahanablanc]

RT>
紐約時報的分析指出:「台灣已經提前做好了避險，因此不論 IEEPA 關稅是被法院廢除還是繼續實施，台灣的現狀都相對穩定。」

藍白兩黨是壞透了，為反而反，台灣人要傻傻地被他們騙？

[Martian@Earth @Martian_Earth]

@CC42171611 @Janina02573746 他們總是含淚投票

[文山退葆 @golci651358]

高麗菜身為一個理工女，做不出圖文並茂的手卡，他只會放證據😅
但沒關係，我們有強大的影片組，把相關的證據畫面給放在一起看👍

[王語萱 @Lelechen945]

這樣懂了？零知草

[( ͡° ͜ʖ ͡°) 卡珊德拉該練核心了8️⃣9️⃣6️⃣4️⃣ @balababada]

拜託大家不要再傳這張了
侯漢廷會很怕

[Terence Shen 公子沈 @Terenceshen]

台灣網友太有才了！晚安💤

[James Hsieh @JamesHsiehtw]

“政黑版鄉民：

剛剛看到論壇有人問；「恐嚇檢察官案件能不能法庭直播」

小草A留言：「沒確定有罪還是無罪，怎能直接實況直播」

小草B：「就這樣直播給大家看，人家也是有親人家屬的」

小草C：「在還沒確定是否有罪的情況，無罪推定原則，直播反而會讓有心人擷取片段，斷章取義，侵犯人權」

小草D：「法院直播會導致人肉公審，你要人家的親人、家屬怎麼辦？」”

原來，只要一對人肉法官檢查官的迷因小草主編還有命債命償的草女被抓

所有小草就能瞬間大轉彎

前天力挺法院直播，今天反對法院直播，兩天全變包牌仔，牆頭草，兩邊倒

原來只要事情到自己身上，腦就長出來了

個個瞬間懂無罪定論，反對民粹人肉，痛恨斷章取義，擔心家人親屬，注重司法人權

從咆哮公開透明，變成不要公開透明

從小草變青鳥

你們這些不夠純的雜草，怎麼對得起辛苦弄過法庭直播，你們的精神領袖腳尾昌呢

🖕你涼

[風暴士兵 🪐🪬Taiwan only @dabowagaga]

本篇文章置頂到7月26日結束！

方便各位推友想要跟親友宣導藍白怎麼亂刪預算時取用。

立法院藍白亂刪預算到底是怎麼刪的，及為何我們要罷免國民黨不適任立委。他們連自己刪了什麼都不知道。

[Jet 🚵🏻 @Jetchen_s150237]

喔～他的女婿叫做

“江啓臣”！

[王語萱 @Lelechen945]

小🌱

[nininana @Janina02573746]

沒想到吧，各位觀眾
罷團出手遊了～

https://t.co/08frTuc9AB

[Martian@Earth @Martian_Earth]

@maxnmsl @balababada 新聞在這

https://t.co/jFKIUGsb0D

[( ͡° ͜ʖ ͡°) 卡珊德拉該練核心了8️⃣9️⃣6️⃣4️⃣ @balababada]

加速師又來幫我們催票了

726反共投同意

[梅森DO @MASONDO_TW]

🇺🇸午夜戰錘作戰簡報🇺🇸

感謝有英文好的推主幫忙翻譯，請記得一定要訂閱他。國防部長首先起個頭，然後就交給這次任務的主要軍官仔細講述作戰過程。這次任務涉及多軍種多戰區，全程幾乎沒有通訊，同時是分秒必爭，有複雜計劃的協同攻擊。
https://t.co/FEC6LVfFD1