Alex

《不是哥，你说的万卡是GTX 690啊？！》面试官：你简历上写，有万卡大模型训练经验？求职者：嗯。面试官：H100？求职者：不是。面试官：H200？求职者：不是。面试官：B200？求职者：GTX 690。面试官：…… 面试官：什么690？求职者：GTX 690。面试官：多少张？求职者：一万。面试官：？面试官：不是哥，你的万卡是GTX 690啊？！求职者：690怎么了？面试官：那是2012年的卡！求职者：老当益壮。面试官：它还是双芯卡！求职者：所以严格来说，我们是两万GPU训练经验。面试官：…… 面试官：你甚至还给自己超级加倍了是吧？求职者：实事求是。面试官：那玩意一颗GPU才2G显存，你们拿什么训大模型？求职者：切。面试官：模型切分？求职者：嗯。面试官：切多碎？求职者：这么说吧。求职者：别人的模型是一张卡放不下。求职者：我们是一张卡…… 求职者：连一个完整的想法都放不下。面试官：？求职者：所以只能大家一起想。面试官：…… 面试官：你们训了多大？求职者：70B。面试官：两万个2G显存的老GPU训70B？求职者：对。面试官：怎么通信？求职者：尽量不通信。面试官：？求职者：通信太慢。求职者：所以我们规定…… 求职者：有事启奏，无事退朝。面试官：？？？求职者：只有真正需要参与计算的卡才能发言。面试官：这不就是稀疏专家？求职者：你们叫MoE。求职者：我们内部叫…… 诸侯会盟。面试官：…… 面试官：那路由器呢？求职者：天子。面试官：那负载均衡呢？求职者：削藩。面试官：那专家之间抢任务呢？求职者：靖难。面试官：停停停！面试官：我问的是大模型！求职者：我说的也是大模型啊。面试官：…… 面试官：那卡坏了怎么办？求职者：不怎么办。面试官：？求职者：690太老了。求职者：平均每天都掉。面试官：那模型不会崩？求职者：一开始会。面试官：后来呢？求职者：后来我们想开了。面试官：？求职者：你们训练防过拟合要Dropout吧？面试官：对。求职者：我们不用。求职者：我们硬件自己Drop。面试官：？？？求职者：训练跑着跑着随机��几十张卡。求职者：纯天然。求职者：零配置。求职者：甚至随机种子都不用设。面试官：…… 面试官：那掉卡了参数怎么办？求职者：再算。面试官：你们不做Checkpoint？求职者：做。面试官：多久一次？求职者：最开始一天一次。面试官：后来呢？求职者：一小时一次。面试官：再后来？求职者：十分钟一次。面试官：现在呢？求职者：…… 求职者：算一步存一步。面试官：？？？面试官：那你们是在训练还是在存档啊？求职者：都一样。面试官：哪里一样了？！求职者：690教会我们的第一件事就是…… 求职者：不要相信未来。面试官：…… 面试官：那万卡同步呢？求职者：这才是最麻烦的。面试官：AllReduce？求职者：一开始是。面试官：后来呢？求职者：一万张690一同步，所有卡都在等最慢的那张。面试官：木桶效应。求职者：对。面试官：怎么解决？求职者：我们把最慢那张找出来了。面试官：然后优化它？求职者：拔了。面试官：？求职者：然后第二慢的又成最慢的了。面试官：所以？求职者：又拔了。面试官：…… 面试官：最后拔了多少？求职者：两千多张。面试官：？？？求职者：训练速度提升了37%。面试官：不是哥！面试官：别人优化集群是加卡。面试官：你们优化集群怎么是减卡啊？！求职者：这叫…… 求职者：末位��汰。面试官：显卡也搞绩效是吧？！求职者：而且非常公平。面试官：…… 面试官：那被淘汰的卡呢？求职者：也没浪费。面试官：干什么？求职者：推理。面试官：…… 求职者：推理跑不动的去做数据预处理。面试官：还有呢？求职者：数据预处理跑不动的去显示监控大屏。面试官：…… 面试官：大屏都带不动呢？求职者：办公室电脑。面试官：再坏呢？求职者：挂墙上。面试官：干嘛？求职者：企业文化。面试官：？？？求职者：上面写着—— “功成不必在我。”

Alex

@Alex_ybuild

about 2 months ago

你一句缺存储——我杠杆往里冲海力士老师我还记得你一上一下把我资金都归零海力士老师我还记得你那些年爆的仓皆因你而起

Alex

@Alex_ybuild

2 months ago

丙午之岁，天下言智者若狂。资如春汛，一季之间，涌入智能体一途者五百亿金，三��于往岁之全。海内翕然，皆谓龙门在望，鲤可化龙。当是时也，有雏形而无一钱之入者，估值动辄亿计；豪杰蜂起，星火燎于四野，人人自负为天所择。然潮不认名，水不徇情。 ��及岁中而核之，能自赡者，什不及二；其余中间浮泛之辈——无数据以为田，无算力以为甲，无一技以立身者——或裁，或转，或阖门而去。识者叹曰：应用之寿，率不逾一百八十日。春以募金，秋以讣至，速若朝菌，未及镌碑。又有断言者云：九死其九，非阖则并——此江湖之铁律也。试观群雄。有龙虾者，OpenClaw 也，赤甲耀目，万众举之上坛。旬月之间，星逾三十万，登江湖之巅，掩老将十三年之功。然举之弥高，压之弥重：贡献如雪片纷至，反噬其身，遂困其人于己之荣光。彼书《难过一周》以自陈，若末路之一叹；终乃解剑相授，鬻身于巨室。烈火烹油，繁花着锦，究其终，不过自炼为他人之薪。有信使者，Hermes 也，游之最稳，聚星百八十八万，英伟达且奉为圭臬。然此鱼独游于星河：观则美矣，而未必着地；今之簇拥，安知非异日之陈迹。至若真正之坐山者——微软、谷歌、亚马逊、阿里之属——则按辔徐行，不与争锋。各闭其垣，砌生态以为高墙，坐待潮落，然后举网而收滩上之困鱼，连人带艺，一并纳之。故今之世，英雄不复跃龙门而自立，唯列队以待收编耳。龙虾之鬻，不过此长队之中，一声最亮之喟叹。而机杼自转，其疾亦骇：岁首之际，模型已能自劳十四时半，越百二十三日而其数倍之。刃愈砺愈利，利至能夺初执剑者之食——弱冠之工，两载之间，去其二成。盖其始革者，正少年之命也。此即斯世之海也：金如汐，人如蚁，机如奔马不可羁。神话以季而生，亦以季而朽；去岁之封面，今岁之残简；昨夜之豪杰，今晨之蛛网，结于无人问津之隅。龙虾、信使之属，不过滔天一浪中，先碎之沫耳——其所以惊心，独以其去浪尖太近。夫浪尖，至明之处，亦至先碎之处。当是时，造一器只需半日，而使之真活，乃需一季。举世竞溅浪之高，鲜有肯俯首而任其难者、其慢者、其一季方见功者：使物真着于地，真为人用，真能自养其身。争一时之势者众，砌百世之基者寡。当此九死其九、非并则亡之世，能自造一舟、不待人救者，方为真过江人。今日之谶曰：智能体遍于天下，而信之者无一处。盖信非模型之性，乃系统之性，乃岁月所��而后成者也。而岁月，正浪花所最匮，而深耕者所最不吝。是故—— 大江东去，浪淘尽者，非英雄，乃泡影。潮头之名，一批批冲于无形；留于滩上者，恒是那深根于泥、不亟于发光者。天下豪杰如过江之鲫，一代新神代旧神。然此奔流三载、犹将奔流十载之智海，终能抵岸者——非跃之最高之鲤，乃划之最久之人。灯犹燃，桨犹在握。 ——但划耳。