米拉之落

小菜一碟。。。

[米拉之落 @bewho]

@vista8

[米拉之落 @bewho]

@AllaAisling prompt见图片描述alt

[米拉之落 @bewho]

@AgentNEO_ss 团购代码：VIP4YOU

[米拉之落 @bewho]

😜New Avatar Patch – Generated with AI

[米拉之落 @bewho]

为新头像哨戒眼族生物机器兽生成未来工业感的工业草图

[米拉之落 @bewho]

AGI基座

[indigo @indigox]

什么是更加模块化、可扩展的“有机模型”（Organic Model）？在 Dwarkesh Patel 对 Google 最强大脑 Jeff Dean & Noam Shazeer 的最新一期采访中提到了这个概念。当前主流大模型（包括部分 MoE 模型）通常还比较“整齐划一”，所有 token 都经过相同的 Transformer Block，或者每个“专家”拥有相同规模与功能。想让模型学习某项新任务或者新数据，往往只能“整包”再训练、或微调整套参数。

这样做的代价很高，而且很难支持众多团队并行为同一个大模型做增量改进。Jeff 提到：“人脑中有不同脑区分别擅长视觉、运动、语言……”，而且随着学习会不断在相应脑区建立新的神经连接；并不是一个完全平铺、大小一致的结构。他们希望在人工模型里借鉴类似思路：各部分可以有不同专长，并且能够不断增添或改进某些模块，无需大规模重训练整个网络。

如果可以像搭积木一样，在一个庞大的底座上添加新模块、替换旧模块，就能让更多团队分头并行工作；或者让模型对某项专门任务（如多语言、医学知识）进行额外扩展。还可对数据权限、隐私进行模块化管理：某些模块可只在特定场景使用，不向外开放。这样也更便于做个性化模型或特定领域模型。

“有机模型”的核心特征

模块（Module）

- 模块可以是“专家”或“子网络”，它们各自内含一部分权重，擅长处理某类输入或特定功能（例如：自然语言理解、代码推理、图像识别、多语言等）；

- 这些模块之间可以通过一定的路由（routing）或调度机制，把输入 token、特征向量，分配给最合适的模块进行处理；

自适应路由 / 专家选择

- 传统 MoE（Mixture of Experts）通常每一层做一次专家选择，但在“有机模型”设想中，整个网络结构会更灵活。某些分支可能会走更深层的网络，有些分支只需要轻量处理，甚至可以跳过若干层；

- 不同专家规模可大可小，而并不局限于“相同大小的专家”；

- 同时需要底层系统（例如 Google 的 Pathways）能支持这样的“分布式异步”计算：在一个大集群或多集群环境里，动态调度不同模块来处理不同数据流；

可增量式生长

- 当需要让模型学习新知识或新数据，不必全部推倒重来：可以在局部模块上扩容或细化，把新增参数专门用于新领域的学习；

- 也可以替换已有模块（或用蒸馏后的小模块），而无需对模型的其他部分做大幅度修改；

多级“记忆与连接”

- Jeff Dean 设想的一种“有机”特征：在同一个芯片上（同一块 HBM），神经元之间连接最密集；跨机架或跨集群的链接更少、更高抽象；甚至跨地理位置的数据中心时，只交换少量“关键信息”；

- 这种类似“分层拓扑”的网络结构，可以在地理分散环境下实现扩展，同时避免海量冗余通信；

持续蒸馏（Distillation）

- 虽然模型整体在不断扩大、添加模块，但实际部署、推理时可能要关注效率；

- 因此可以周期性地把“有机模型”中的知识蒸馏到更紧凑的子模型，或针对某个具体任务 distill 出可快速推理的小模型；

- 蒸馏后，大部分用户推理只加载这个小模型即可；而在需要更高精度或复杂推理时，再调用完整“有机模型”；

如果当前的大模型可以视作一个庞大的函数映射，那么“有机模型”更像是一个进化中的生态系统，内部由诸多有专长的模块协同工作。这种体系不一定要一次性训练出终极模型，而是随需求和数据增长不断迭代，“学得多就长大、学得少也能插拔”。

[米拉之落 @bewho]

@AgentNEO_ss 团购代码
TOMO18IKA

[米拉之落 @bewho]

Psigear patches...👍

[米拉之落 @bewho]

{"sig":"a37c8b95c17ad0b8b06438def02318998ef2533784861aabb512e7953c77ce34a3b3ee92b1e40e594522aa430050a1bb72b10477050e72298faad839030000121","msghash":"8fccf26f3534fd5d6e32182f86a67fc76537d72f322aa4f0c9dd36d352f07e69"}

[米拉之落 @bewho]

@omaiga 刚发现dandang.com这个域名也是当当网的

[米拉之落 @bewho]

RT @omaiga: 原来当当的交易付款流程已经改版过了。现在的体验很流畅，细节也做得不错，表扬一下。#dangdang

[米拉之落 @bewho]

老柳说：最感觉的事情，是你从来都没有赢过。

[米拉之落 @bewho]

社会化的操作系统或和手机操作系统合并，移动的社会化是趋势。

[米拉之落 @bewho]

漂亮老鼠能生猫

[米拉之落 @bewho]

每只鼠都向往自由 .....猫也是这么想的.