Home
Language
English
Türkçe
Bahasa Indonesia
About
Privacy Policy
Terms of Service
Pricing
Sign In
Download All
Share
炎朗 Gavin
@cdexsta
文有深度、思有温度 | 十年产品管理|AI Builder | 自由呼吸思考的地方才适合生存 🚀🚀🚀
United States
Joined February 2009
1.7K
Following
2.2K
Followers
8.7K
Posts
炎朗 Gavin
@cdexsta
about 3 hours ago
@_mohansolo
Please optimize the dynamic insertion of prompt words, causing a low caching hit rate
炎朗 Gavin
@cdexsta
about 4 hours ago
@xiaomovps
能用是能用,但封不封不好说
炎朗 Gavin
@cdexsta
about 4 hours ago
@feishutoday
agy cli还不错啊,别用桌面版
炎朗 Gavin
@cdexsta
about 5 hours ago
@voidJan
确实牛,没毛病
Who to follow
yangmuyi
@yangmuyi0870
yoituberTV
Rinko Itsuka
@RinkoItsu
LLLLO
@MV07025269
炎朗 Gavin
@cdexsta
about 8 hours ago
@libukai
A封之下,人人平等
炎朗 Gavin
@cdexsta
about 8 hours ago
@changchuan888
然后呢..我都用上了AI基座版的“华为手机”,每时每刻ai交互都在老大哥凝视之下
炎朗 Gavin
@cdexsta
about 8 hours ago
@flyorfall1
@YaowangMen
听着很符合实际利益
炎朗 Gavin
@cdexsta
1 day ago
硅谷和华尔街联手逼宫英伟达董事会的这出大戏,现在基本已经演到摊牌阶段了。 从最新风向看,老黄重回英伟达几乎是板上钉钉的事,唯一的悬念只剩董事会找什么台阶下。 为什么这么笃定?看看这几天台前幕后的筹码就懂了: 民间请愿光速冲破 10 万人,马斯克、Garry Tan、Tim Sweeney 这些刺头全在上面明牌站队;更要命的是英伟达内部 5000 多名核心技术骨干实名联名,这哪是请愿,摆明了告诉董事会“老黄不回,明天集体罢工递辞呈”。 再加上手握几十亿美元筹码的 Altimeter 和 Atreides 直接拍公开信发通牒,华尔街金主已经把刀架在独立董事脖子上了。英伟达本质上就是老黄一个人的神经中枢,台积电的产能配额、全球 CSP 巨头的订单信任全系在他一人身上,没有任何职业经理人接得住这个盘子。 至于对股价的影响,剧本其实非常清晰: 现在市场每天跌的就是“老黄缺席带来的权力真空和治理折价”。一旦官方通报老黄官宣回归,压抑的空头踩踏加上情绪反弹,短期必然直接迎来一波报复性暴力高开。 但狂欢过后,这件事彻底撕开了英伟达三十年没设二把手的“单点故障”伤口。华尔街后面一定会逼着老黄把接班人梯队和董事会制衡落到纸面上,中长期估值中枢能不能稳住,就看这场权力风暴后老黄怎么交接班答卷了。
See More
炎朗 Gavin
@cdexsta
about 8 hours ago
@voidJan
不得不说opus 5.5写代码,执行任务又快又稳
炎朗 Gavin
@cdexsta
about 8 hours ago
真搞不懂gemini的这个机制,产品思维真的很无语
炎朗 Gavin
@cdexsta
about 8 hours ago
Gemini 模型动态甲,token 缓存杀手,你还关不掉 用 Gemini 跑长上下文或做 Agent 的开发者,经常遇到:明明几万字的核心规则、工具定义和知识库原封不动,但看 API 后台账单,Token 消耗却居高不下,期待中的上下文缓存(Context Caching)几乎全是 Cache Miss。 排查到最后,罪魁祸首往往是模型提示词里动态插入的一个“动态变量”——比如当前时间戳、动态生成的会话 ID、或者根据状态实时微调的一句话。 而且目前用户还关不掉模型的动态插入机制 1️⃣动态插入破坏缓存的底层机制 Gemini 的上下文缓存体系(包含隐式缓存和显式缓存),底层完全建立在“最长公共前缀匹配(Longest Common Prefix, LCP)”与严格字节级哈希的基础之上。 在 TPU 集群进行注意力计算(Attention Key-Value Cache)时,KV 缓存的复用必须从整个请求的第 0 个 Token 开始逐字比对。 一旦前缀在某个位置发生变动,后续的所有静态内容无论规模多大,其相对位置和注意力掩码都会被打破。这意味着: * 只要你在 System Prompt 头部插入了会变动的动态变量,系统在计算哈希匹配时就会当场判定前缀不一致; * 紧跟其后的数十万静态 Token,在底层直接丧失所有 KV 复用资格,整段请求直接沦为全量重算。 2️⃣对用户 Token 消耗与额度的直接冲击 这一失误对开发者最直观的冲击体现在账单和延迟两个维度: 1). 价格成本翻倍至十倍:Gemini 的缓存读取费用(Cached input)通常只有标准输入(Uncached input)的 10%~25% 左右。一旦前缀被动态变量击碎,单次调用的输入成本会直接按照全额原价计费。 2). 门槛未达直接失效:Gemini 对上下文缓存有硬性的起步门槛(如 Flash 需 1024/4096 tokens 以上,Pro 等通常需 4096 tokens 以上)。如果动态变量将原本连续的长提示词切碎,导致满足门槛的公共前缀无法连续识别,隐式缓存将完全不被触发。 3). TTFT 延迟大幅攀升:原本命中缓存只需极短的首字生成时间(TTFT),缓存击穿后必须在 GPU/TPU 上对数万 Token 重新做一次完整的 Pre-fill 计算,长文本响应速度骤降。 3️⃣工程层面的避坑实操 要保住缓存命中率,核心在于彻底践行“静态前置,动态后置”的架构分离: * 静态指令最前化:将长期不变的角色人设、业务规范、工具声明(Tools/Schemas)和长文档知识库固定在 Prompt 最前端,确保第 0 字节开始的前缀绝对纯净且一字不改。 * 动态变量下沉到底部:把当前时间、用户 ID、环境参数等动态信息下沉到最后一条 User 消息末尾,或者通过 Function Calling(工具调用)让模型主动查询时间,绝不让动态变量污染根部前缀。 * 禁止中途动态增删工具:Agent 切换模式时,不要在 System 层面动态移除工具,而应通过系统参数指导行为,保持整个 Tool 声明列表的哈希一致性。
See More
炎朗 Gavin
@cdexsta
about 11 hours ago
@loganlu51268
试试吧,看不断报429能不能忍受
炎朗 Gavin
@cdexsta
about 11 hours ago
@Chiawei19840328
那些操弄政治把戏的人会受到股价和财务重击的
炎朗 Gavin
@cdexsta
about 11 hours ago
@wanxubo
现在已经不用codex了,gpt还是得加把劲吧
炎朗 Gavin
@cdexsta
about 11 hours ago
@wanxubo
都是骂人猪脑子,哈哈
炎朗 Gavin
@cdexsta
about 14 hours ago
我们骂人“鸟脑子(Birdbrain)”,结果最新的脑科学实验直接把人类给干沉默了,鸟脑子比人还聪明...? 《纽约时报》刚披露的最新对比测试里,神经生物学家把渡鸦、新喀鸦和人类受试者放在同一套复杂因果推理和快速权衡取舍的任务里打擂台。实验数据相当打脸:在多步因果推导和高压决策下,乌鸦的神经元传导速度和拍板决断的反应时间,居然把人类给甩在了身后。 很多人纳闷:乌鸦脑袋就核桃那么大点,怎么可能在复杂决策上跑得比几斤重的人脑还快? 底层机制其实非常反直觉: 人类和哺乳动物靠的是一层又厚又宽的“新皮层(Neocortex)”,神经回路拉得特别长,信息在大脑里兜圈子做深思熟虑;而乌鸦这种鸦科大佬压根没这玩意,它们进化出的是一种叫“脑室外套(DVR)”的极紧凑空间架构。 这玩意就像超高密度立体堆叠的先进封装芯片——虽然物理体积小,但神经突触的排列密度和局部互联效率极高,信号传输物理距离极短,根本不需要在冗余结构里空转耗电。 这下科技圈和类脑芯片(Neuromorphic AI)的工程师全兴奋了: 过去做 Agent 和大模型总想着暴力堆参数、死磕算力集群,结果跑起来延迟高、功耗大得吓死人。大自然早就给出了另一套解法:在物理空间被死死限制的前提下,极高密度的局部紧密互联,在特定场景的决断效率上,完全可以暴打傻大黑粗的臃肿大网络。 以后别随便用 Birdbrain 骂人了,在反应决策这块,很多时候我们还真配不上这个词。
See More
炎朗 Gavin
@cdexsta
about 11 hours ago
@TaoRay
在中国,这类问题都不能细想和深究,否则自己都活不下去
炎朗 Gavin
@cdexsta
about 11 hours ago
@magpie_router
hermes正在和谷歌的官方合作,切入cli通道。目前看下来这才是唯一的合法、靠谱的渠道,其他的使用方式,哪怕通过acp也是有风险的
炎朗 Gavin
@cdexsta
about 13 hours ago
贝索斯已经在家里哭晕了,回头还是得低头求老马。
炎朗 Gavin
@cdexsta
about 13 hours ago
商业航天的残酷与戏剧性,在这个周末被推到了最高峰。 一边是 SpaceX 刚用发射塔架上的“机械臂筷子”在空中稳稳夹住从天而降的星舰,把人类航天回收推进到了科幻片一样的魔幻高度;另一边,代表传统老牌军工牌面的 ULA(波音与洛马合资的联合发射联盟),转头就给市场整了个大活: 全新的火神(Vulcan)火箭在点火升空约 10 分钟后,二子级半人马座突发严重异常,整发火箭彻底失控,连带着上面搭载的 40 颗亚马逊 Leo 宽带互联网卫星全部报废。 这是 ULA 成立 20 年来第一次遭遇灾难性的彻底发射失败。 最破防的绝对是亚马逊。为了不给死敌马斯克的 Starlink 交“过路费”,贝索斯当年硬是咬着牙绕开 SpaceX,砸下重金向 ULA 包下了整整 38 次火神发射合同。结果作为这一大单的商业首飞,开门第一炮就直接把几十亿美元的先锋阵列炸成了太空烟花。 更要命的是头顶悬着的达摩克利斯之剑:按照 FCC 的频谱牌照硬性规定,亚马逊必须在 2026 年中前打上去一半的星座卫星。现在火神首战折戟,一旦停飞归零审查,整个排期至少停摆大半年,窗口期几乎被当场焊死。 这出商业博弈最讽刺的黑色幽默正在这里: 波音和洛马用最昂贵的传统供应链和保守体系,连造一发一次性消耗品火箭都掉链子;而马斯克已经把几百吨重的星舰当成了可以“空中接飞刀”的量产出租车。 折腾了一大圈,面临退频危机的亚马逊最后很可能不得不咽下这口恶气,乖乖掉头去找老对手马斯克,低头排队买 Falcon 9 甚至星舰的发射船票。在绝对的工程迭代与运力鸿沟面前,商业恩怨最终都得给物理法则让路。
See More
Last Seen Users on Sotwe
༒☬𝓑𝓵𝓪𝓬𝓴 𝓐𝓷𝓰𝓮𝓵☬༒
Seen from
Oman
paravapor
Seen from
Singapore
Raj Sk123
Seen from
United Kingdom
Goddess lily✨
Seen from
France
hindu wahasi darinda
Seen from
Malaysia
TKF ACTRESS WORLD(USE VPN)
🐕七海🐕
Seen from
Japan
mê se.x gay Việt Nam
Seen from
Vietnam
JANGAN DI SUSPEND !!!
Seen from
Indonesia
penikmat stw
Trends for you
1
Bond
Under 10K tweets
2
Grammy
Under 10K tweets
3
#CapCutPro90Off
Under 10K tweets
4
Daniel Craig
Under 10K tweets
5
Twilight
Under 10K tweets
6
Henry Cavill
Under 10K tweets
7
Tenet
Under 10K tweets
8
Raye
Under 10K tweets
9
Saddam Hussein
Under 10K tweets
10
AOTY
Under 10K tweets
Most Popular Users
1
Elon Musk
@elonmusk
240.8M followers
2
Barack Obama
@barackobama
118.7M followers
3
Cristiano Ronaldo
@cristiano
114.5M followers
4
Donald J. Trump
@realdonaldtrump
111.9M followers
5
Narendra Modi
@narendramodi
107M followers
6
Rihanna
@rihanna
98.7M followers
7
NASA
@nasa
92.3M followers
8
Justin Bieber
@justinbieber
91.8M followers
9
KATY PERRY
@katyperry
90M followers
10
Taylor Swift
@taylorswift13
84M followers
11
Lady Gaga
@ladygaga
75.5M followers
12
Virat Kohli
@imvkohli
73.4M followers
13
Kim Kardashian
@kimkardashian
70.8M followers
14
YouTube
@youtube
68.7M followers
15
Neymar Jr
@neymarjr
66.4M followers
16
Bill Gates
@billgates
65.2M followers
17
Selena Gomez
@selenagomez
63.1M followers
18
The Ellen Show
@theellenshow
62.2M followers
19
CNN
@cnn
61.7M followers
20
X
@x
60.6M followers
Olivia
Online
✨
⭐
💫