Home
Language
English
Türkçe
Bahasa Indonesia
About
Privacy Policy
Terms of Service
Pricing
Sign In
Download All
Share
米拉之落
@bewho
AI × Systems Thinking × Knowledge Engineering
Joined January 2008
1.5K
Following
1.1K
Followers
24
Posts
米拉之落
@bewho
3 days ago
@cellinlab
应该是前端框架出错,好多天了一直没修。
米拉之落
@bewho
3 days ago
用译匠 Skill https://t.co/3BiQuwRE3s 翻了一下陶哲轩的新书《six math essentials》,读来试试看:https://t.co/BCaddAAfZ3
米拉之落
@bewho
24 days ago
@fanxing321
米拉之落
@bewho
3 months ago
@EmperoAI
always 429🙃
Who to follow
camphorball
@camphorball
Traveler, cyclist, organic farming
esbat
@esbatmop
伪宅,伪摄影师,伪篮球爱好者,伪驴友,伪linux geek,伪程序员,伪基督教徒,伪军迷,伪右派,伪萝莉控。
八云变
@art100
有点懒
米拉之落
@bewho
4 months ago
@vista8
洗数据跑数据录入数据补全各种术语表,或者整理之前一直没空花时间整理的大量的各种脏数据……
bewho
retweeted
米拉之落
@bewho
5 months ago
@lionel_mora
写了个skill中文化了一下 https://t.co/SFbQr4sMIa
米拉之落
@bewho
5 months ago
@CryptoTied
https://t.co/SFbQr4sMIa 搓了个翻译skill 中文化了一下
米拉之落
@bewho
5 months ago
@lionel_mora
写了个skill中文化了一下 https://t.co/SFbQr4sMIa
米拉之落
@bewho
5 months ago
@vista8
米拉之落
@bewho
over 1 year ago
@AllaAisling
prompt见图片描述alt
米拉之落
@bewho
over 1 year ago
@AgentNEO_ss
团购代码:VIP4YOU
米拉之落
@bewho
over 1 year ago
😜New Avatar Patch – Generated with AI
米拉之落
@bewho
over 1 year ago
为新头像哨戒眼族生物机器兽生成未来工业感的工业草图
米拉之落
@bewho
almost 2 years ago
AGI基座
indigo
@indigox
almost 2 years ago
什么是更加模块化、可扩展的“有机模型”(Organic Model)?在 Dwarkesh Patel 对 Google 最强大脑 Jeff Dean & Noam Shazeer 的最新一期采访中提到了这个概念。当前主流大模型(包括部分 MoE 模型)通常还比较“整齐划一”,所有 token 都经过相同的 Transformer Block,或者每个“专家”拥有相同规模与功能。想让模型学习某项新任务或者新数据,往往只能“整包”再训练、或微调整套参数。 这样做的代价很高,而且很难支持众多团队并行为同一个大模型做增量改进。Jeff 提到:“人脑中有不同脑区分别擅长视觉、运动、语言……”,而且随着学习会不断在相应脑区建立新的神经连接;并不是一个完全平铺、大小一致的结构。他们希望在人工模型里借鉴类似思路:各部分可以有不同专长,并且能够不断增添或改进某些模块,无需大规模重训练整个网络。 如果可以像搭积木一样,在一个庞大的底座上添加新模块、替换旧模块,就能让更多团队分头并行工作;或者让模型对某项专门任务(如多语言、医学知识)进行额外扩展。还可对数据权限、隐私进行模块化管理:某些模块可只在特定场景使用,不向外开放。这样也更便于做个性化模型或特定领域模型。 “有机模型”的核心特征 模块(Module) - 模块可以是“专家”或“子网络”,它们各自内含一部分权重,擅长处理某类输入或特定功能(例如:自然语言理解、代码推理、图像识别、多语言等); - 这些模块之间可以通过一定的路由(routing)或调度机制,把输入 token、特征向量,分配给最合适的模块进行处理; 自适应路由 / 专家选择 - 传统 MoE(Mixture of Experts)通常每一层做一次专家选择,但在“有机模型”设想中,整个网络结构会更灵活。某些分支可能会走更深层的网络,有些分支只需要轻量处理,甚至可以跳过若干层; - 不同专家规模可大可小,而并不局限于“相同大小的专家”; - 同时需要底层系统(例如 Google 的 Pathways)能支持这样的“分布式异步”计算:在一个大集群或多集群环境里,动态调度不同模块来处理不同数据流; 可增量式生长 - 当需要让模型学习新知识或新数据,不必全部推倒重来:可以在局部模块上扩容或细化,把新增参数专门用于新领域的学习; - 也可以替换已有模块(或用蒸馏后的小模块),而无需对模型的其他部分做大幅度修改; 多级“记忆与连接” - Jeff Dean 设想的一种“有机”特征:在同一个芯片上(同一块 HBM),神经元之间连接最密集;跨机架或跨集群的链接更少、更高抽象;甚至跨地理位置的数据中心时,只交换少量“关键信息”; - 这种类似“分层拓扑”的网络结构,可以在地理分散环境下实现扩展,同时避免海量冗余通信; 持续蒸馏(Distillation) - 虽然模型整体在不断扩大、添加模块,但实际部署、推理时可能要关注效率; - 因此可以周期性地把“有机模型”中的知识蒸馏到更紧凑的子模型,或针对某个具体任务 distill 出可快速推理的小模型; - 蒸馏后,大部分用户推理只加载这个小模型即可;而在需要更高精度或复杂推理时,再调用完整“有机模型”; 如果当前的大模型可以视作一个庞大的函数映射,那么“有机模型”更像是一个进化中的生态系统,内部由诸多有专长的模块协同工作。这种体系不一定要一次性训练出终极模型,而是随需求和数据增长不断迭代,“学得多就长大、学得少也能插拔”。
See More
indigox's tweet video.
米拉之落
@bewho
almost 2 years ago
@AgentNEO_ss
团购代码 TOMO18IKA
米拉之落
@bewho
over 4 years ago
米拉之落
@bewho
over 4 years ago
Psigear patches...👍
米拉之落
@bewho
almost 9 years ago
{"sig":"a37c8b95c17ad0b8b06438def02318998ef2533784861aabb512e7953c77ce34a3b3ee92b1e40e594522aa430050a1bb72b10477050e72298faad839030000121","msghash":"8fccf26f3534fd5d6e32182f86a67fc76537d72f322aa4f0c9dd36d352f07e69"}
米拉之落
@bewho
almost 17 years ago
@omaiga
刚发现dandang.com这个域名也是当当网的
米拉之落
@bewho
almost 17 years ago
RT
@omaiga
: 原来当当的交易付款流程已经改版过了。现在的体验很流畅,细节也做得不错,表扬一下。
#dangdang
Last Seen Users on Sotwe
Türk İfşa
Seen from
Turkey
Ducka ☕️
Seen from
Chile
Beyaz Ve Güzel
Seen from
Turkey
حمودي سالب اومبادل
Seen from
Singapore
Güncel Türk Porno - Yeni Türk Pornoları
Seen from
Netherlands
ابن الموصل ❤️🩹
🇵🇷🇮🇳🇨🇪🇱🇾🇦🇧🇩🇴 👑
juan canales
Seen from
Mexico
KING COLI🍆💦
Seen from
Indonesia
Diego The Cub 🐻✨
Seen from
Mexico
Trends for you
1
Mets
Under 10K tweets
2
Giants
Under 10K tweets
3
Steelers
Under 10K tweets
4
Sterling Shepard
Under 10K tweets
5
Ravens
Under 10K tweets
6
Abdul Carter
Under 10K tweets
7
Zvada
Under 10K tweets
8
David Bailey
Under 10K tweets
9
Broncos
Under 10K tweets
10
#BigBlue
Under 10K tweets
Most Popular Users
1
Elon Musk
@elonmusk
240.2M followers
2
Barack Obama
@barackobama
118.6M followers
3
Cristiano Ronaldo
@cristiano
114.4M followers
4
Donald J. Trump
@realdonaldtrump
111.8M followers
5
Narendra Modi
@narendramodi
106.9M followers
6
Rihanna
@rihanna
98.6M followers
7
NASA
@nasa
92.2M followers
8
Justin Bieber
@justinbieber
91.7M followers
9
KATY PERRY
@katyperry
89.9M followers
10
Taylor Swift
@taylorswift13
83.9M followers
11
Lady Gaga
@ladygaga
75.4M followers
12
Virat Kohli
@imvkohli
73.3M followers
13
Kim Kardashian
@kimkardashian
70.8M followers
14
YouTube
@youtube
68.6M followers
15
Neymar Jr
@neymarjr
66.3M followers
16
Bill Gates
@billgates
65.2M followers
17
Selena Gomez
@selenagomez
63M followers
18
The Ellen Show
@theellenshow
62.1M followers
19
CNN
@cnn
61.7M followers
20
X
@x
60.6M followers
Olivia
Online
✨
⭐
💫