Home
Language
English
Türkçe
Bahasa Indonesia
About
Privacy Policy
Terms of Service
Pricing
Sign In
Download All
Share
Sola356
@Mann_Ravens
专注专注还是专注 进步进步还是进步
Joined September 2020
260
Following
77
Followers
1.4K
Posts
Pinned Tweet
Sola356
@Mann_Ravens
9 months ago
对LLM “涌现” emergent abilities和智能的新理解:先说结论,现在没有AI泡沫,人类一定会为了追求完美的涌现而无止境地砸算力。(参考知乎Bigpunch小姐姐的回答。) 1 我们知道LLM的创新在于压缩数据,初代GPT很明显,在还原的时候一定会出错,比如会还原出身上有莫里斯花纹的猫咪,这种符合逻辑但是不符合自然的Output。但是当数据足够大,在追求准确性时,“模型会变,会被迫学习数据内部的规律和逻辑”,这就是Ilya所说的“压缩即智能”。 2那么就出现了对人类智能的一种破解,因为人类智能是伴随着语言的,虽然在第三次哲学转向linguistic turn中,讨论过语言是否能够反映世界真相,因而出现了语言危机的问题。但是在拼读文字中,从古希腊起,就一直有说|写就是思考的传统。(象形文字其实是相悖的,因为说不是写,我私下认为这就是中国人智商高的原因,书写汉字就需要二层嵌套了。)回到古希腊,逻辑Logic来自Logos(就是语言),而人类的语言从一开始就是带有神性的存在,因为有了语言,我们区别于一切的生物,语言本身就是对人类几千年经验和体验的一种压缩,作为一种平面二维符号系统,它包含了人类几年前的情感、经验、记忆、历史,以及人类的逻辑抽象能力,比如说我们天天使用的隐喻“时间就是金钱”,这是一种很高级的存在,通过本体和喻体,已经包含了人类几千年的生活经验。而语言那么现在LLM在学习了大量的语言之后(这也是一种解压过程),是否已经自行拥有了逻辑推理能力?答案是肯定的。为了能准确预测下一个词,模型以自己的方式理解了这个世界,虽然它的初衷是想要降低错误率,但是它已经被迫演化除了理解能力。也就是说,当模型足够大时,LLM已经自动从最初的记忆模式变成了现在的推理模式。 3 这就是涌现的本质。这里面涉及到了人类大脑的另一个black box问题,在语言学里,我们迄今无法弄清楚语言生成的生物学机制。我们只能看到有一个外部刺激(Input),随后通过大脑的语言中枢的神经元的生物活动,变成了一个我们的语言声音或者书写回应(Output),但在这个过程中大脑作为一个肉身的生物器官究竟发生了什么,是不可知的。人类的语言、逻辑、知识是一个非常高维的空间。而现在的语言模型,本质上是在学一个高维空间中的概率分布。具体来说就是向量,大预言模型的向量,其实已经把思考从线性变成了和人类大脑更相像的空间向量。比如它在输出语言时,是从空间上感受到了国王和男人的距离,比国王和女人的距离更近,所以输出了“国王是男人”这句话。而在这个过程中,LLM已经自己把二维的词汇构建成了多维的空间结构,它的语义空间里究竟发生了什么,也是不可知的。“当你输入一段 prompt 的时候,你其实是在这个高维空间里确定了一个起点和方向。模型预测下一个词,就是在这个流形上沿着概率密度最高的路径走一步。”(Bigpunch小姐姐这个叙述太美好了!)这实在是神奇,我的理解,在这个过程中,在LLM根据我们的预测进行选择和平滑涌现产出文字时,它的black box中的智能已经发生了。一个佐证,就是让模型做数学题和推理运算时,它的神经元激活模式和处理普通文本是不同的,它有自己进行逻辑推演的方式。但是“涌现”发生的前提,是量变导致的质变,也就是说必须在参数量堆积得足够多时,高位模型才能足够平滑地产出(更符合逻辑,减少出错),而确保其发生的前提就是算力、数据、参数量的指数级堆积。 从这个角度上来说,人类一定会极其迫切地进一步提高大模型的涌现能力,因为完美的预测就是神的全知全能,这已经不只是提高工作效率的问题,而是人类作为被造出来的Creature, 试图创造新神&怪兽地过程。而为了实现全知全能,现在的算力根本就不够满足这只Kraken怪兽的进化,人类一定会因为贪婪不停地找寻算力投喂它,那么根本没有AI泡沫,至少近期还远远不会到来...
See More
Sola356
@Mann_Ravens
about 10 hours ago
肌酸太牛了!记录一下:两小时前吃了三片柠檬口含片(大概一共5g纯肌酸),以及3g左右纯粉混合咖啡,我现在脑子超清醒!感觉有点神奇,我先坚持3个月看看!
Sola356
@Mann_Ravens
about 13 hours ago
mark,让我来试试!感觉女生吃蛋白粉长肌肉太慢了…可能激素分泌不太一样…
Sola356
@Mann_Ravens
about 13 hours ago
mark,让我来试试!感觉女生吃蛋白粉长肌肉太慢了…可能激素分泌不太一样…
Fox
@jhdxhl
about 19 hours ago
普通人吃肌酸补剂非常有用。肌酸是循证医学证据最完整、性价比极高的基础补剂,并非健身狂人专属: 运动增益:直接扩充细胞内 ATP“应急电池”,让深蹲、俯卧撑等多做 1~2 次,加速体力恢复,对抗随年龄增长的肌肉流失。 脑力抗疲劳:大脑是耗能大户,补充肌酸能缓解熬夜、高压下的认知迟钝与记忆衰退;对少吃红肉的人群提升尤为明显。 吃法:选最便宜纯粹的一水肌酸,每日固定 3~5 克温水送服即可,无需冲击期;初期微增的体重是细胞储水,并非长胖。
Sola356
@Mann_Ravens
about 14 hours ago
又看到了一个观点,说这是潘老师自己曲折要求放出来的,是在和好兄弟告别…妈呀太复杂了,果然老登老师们没有一个是省油的... 想起多年之前马未都老师说的:“现在的社会热点,不来回翻转个两三次,我都不敢随便评价。”
Sola356
@Mann_Ravens
about 22 hours ago
潘老师谈R老师被抓的视频为啥会流出呢? 因为大部分民众根本不知道,人是有肖像权和隐私权的。也就是说,除了未经同意照相和录视频。包括别人在任何聊天窗口跟你说的话,只要没有经过同意,包括所有的照片、视频和文字信息,你都无权二次转发,这种行为就是在犯法! 但是也没办法呀,这个世界上暴民和流氓就是何其多🙂
Who to follow
Jimmy
@Jinnymann10
嗡 嘛 呢 唄咪 吽 嗡 嘛 呢 唄咪 吽 嗡 嘛 呢 唄咪 吽
Rormac
@RormacN
Pilot into crypto
King Autist
@King_Autist
Autism to the highest order
Sola356
@Mann_Ravens
about 22 hours ago
依旧听《在希望的田野上》, GM☕️!
Sola356
@Mann_Ravens
about 22 hours ago
潘老师谈R老师被抓的视频为啥会流出呢? 因为大部分民众根本不知道,人是有肖像权和隐私权的。也就是说,除了未经同意照相和录视频。包括别人在任何聊天窗口跟你说的话,只要没有经过同意,包括所有的照片、视频和文字信息,你都无权二次转发,这种行为就是在犯法! 但是也没办法呀,这个世界上暴民和流氓就是何其多🙂
Sola356
@Mann_Ravens
about 22 hours ago
mark,据园区从业者爆料,缅越电诈行业的中国从业者有上百万...怪不得joybuy买个吃的都能被电诈...terrible!
Sola356
@Mann_Ravens
1 day ago
mark~
Fascinating History
@Fascinate_Hist
3 days ago
One of the most beautiful cafés in the world. The Café A Brasileira, which opened its doors 120 years ago in Portugal.
Sola356
@Mann_Ravens
1 day ago
川总情商可太高了!我还记得他赢了以后评价希拉里,永远是个战士,希说他把孩子们都养得很好。说明是个善良的人呀…
lorem ipsum
@altashanta
2 days ago
Me da un poco de ternura que Trump se dio cuenta de que Xi Jinping necesitaba unos segunditos para recuperarse y terminar de subir la escalera, así que frenó y empezó a señalarle cosas, dándole tiempo sin ponerlo en evidencia. Es un tipazo.
altashanta's tweet video.
Sola356
@Mann_Ravens
2 days ago
发现一个打鸡血的妙招:听彭麻麻唱歌,特别是 80、90 年代的歌曲,简直太有精气神儿了!属于听了马上就感觉,现在不努力,“回首往事心中可有愧?”
Sola356
@Mann_Ravens
2 days ago
评论也都很有意思,喜欢和讨厌她的人都如此鲜明,感觉高市女士是一个很有个人风格的政治人物
Sola356
@Mann_Ravens
2 days ago
特地强调一周两次电话,也太敏感了吧…
Sola356
@Mann_Ravens
2 days ago
特地强调一周两次电话,也太敏感了吧…
高市早苗
@takaichi_sanae
3 days ago
先ほど、午後9時から、トランプ大統領と電話会談を行いました。 トランプ大統領からは、習近平国家主席の訪米直後というタイミングで電話をいただき、今般の米中首脳会談について詳細に説明がございました。 その上で、トランプ大統領との間で、経済安全保障を含む経済や安全保障など、中国をめぐる諸課題を中心に意見交換を行い、日米の連携を確認しました。 今週22日のニューヨーク訪問時の首脳会談に続き、一週間の間に二度の首脳間の会談を実施したことは、まさに日米同盟の力強さを示すものと考えています。 日本と米国は、今や最も信頼し合える同盟国となっており、共に、地域、そして世界の平和と安定に貢献していくことを確認しました。 揺るぎない日米同盟を更なる高みに引き上げていくため、トランプ大統領と緊密に連携してまいります。
See More
Sola356
@Mann_Ravens
2 days ago
这...继加拿大之后澳大利亚,预测下一个新西兰呗...
DW 中文- 德国之声
@dw_chinese
2 days ago
美国盟友不可靠,澳大利亚准备转向欧洲? 在欧盟🇪🇺释放信号,表示愿意让加拿大以“准成员”身份成为其特殊伙伴后,澳大利亚也表示有类似想法。 澳大利亚贸易部长唐·法雷尔(Don Farrell)接受《悉尼先驱晨报》采访时表示:“我们(和加拿大)的想法一致“。他补充说,会密切关注加拿大总理卡尼接下来怎么做。不过,对于澳大利亚目前是否正在积极寻求与欧盟建立更深入的关系,以及这种关系可能采取何种形式,法雷尔没有进一步说明。 在美国对澳大利亚多项出口产品征收关税后,澳大利亚一直在寻求贸易关系多元化。此前,澳大利亚与美国长期保持安全同盟关系,并签有自贸协定。 今年3月,澳大利亚与欧盟🇪🇺经过8年谈判后签署自由贸易协定。该协定取消了几乎所有商品的关税,并有望进一步便利欧盟获得澳大利亚的关键矿产资源。
See More
Sola356
@Mann_Ravens
2 days ago
后续反思:应该练习觉知并看见自己的各种情绪。好像我一直都很忽略这些情绪觉知。比如说很开心,觉察到了这种喜悦,就思考一下为什么开心,下次这种正反馈的事情和人我就应该多接触;比如有时候明明觉得一个人很厉害,出口却变成了否定:“也就那样呗没什么了不起的。”这时候升起的是嫉妒,应该转念,让自己发掘他人的优点。如果有一些人的一些话,总是让你觉得不高兴,想起来就烦躁。你也无法判断他们是有意无意,但是却反复多次,实在让你产生了负面情绪,那么这些一定都是故意的...人间毒物多呀,一定要屏蔽。 要慢慢地隔绝坏的,靠向好的,觉知自己的感受,才能一点一点地进步😃
Sola356
@Mann_Ravens
2 days ago
"所有人都是你的绊脚石。如果你在乎绊脚石的想法,那你就死定了。就像我如果在乎其他人的看法,我早就死了,就像很多才华横溢的女人一样。空有一身本事,却无法施展,只能唉声叹气。" (抄台词,黑白魔女库伊拉)。还得是欧美女权阿姨啊,要学习起来,每天都觉得自己从头发丝儿起都好得不要不要的 ,没有任何缺点!这样应该能自动屏蔽好多只想通过演戏和卖惨来pua吸血我的坏人!20260926,记之!
Sola356
@Mann_Ravens
2 days ago
"所有人都是你的绊脚石。如果你在乎绊脚石的想法,那你就死定了。就像我如果在乎其他人的看法,我早就死了,就像很多才华横溢的女人一样。空有一身本事,却无法施展,只能唉声叹气。" (抄台词,黑白魔女库伊拉)。还得是欧美女权阿姨啊,要学习起来,每天都觉得自己从头发丝儿起都好得不要不要的 ,没有任何缺点!这样应该能自动屏蔽好多只想通过演戏和卖惨来pua吸血我的坏人!20260926,记之!
Sola356
@Mann_Ravens
2 days ago
是非常推荐的博物馆,我去的时候还赶上了金饰展,有非常精妙的古金饰做法详解,并且混合了拜占庭风格,希腊还是太有文化了!
World Heritage Vision
@ArchVisionW
3 days ago
Greek Royal Court Dress at the Benaki Museum 🇬🇷
Sola356
@Mann_Ravens
3 days ago
法国总统马克龙的任期到2027年5月,应该不会连任,法国也会向右转么?
Sola356
@Mann_Ravens
3 days ago
https://t.co/Pm8fbMAS44
Last Seen Users on Sotwe
Sexsolojii
Seen from
Germany
🍆
WOT IS WONDERFUL
Seen from
Indonesia
예린
Seen from
United States
sxx
cubanmusclebtm
Seen from
United States
نوف قمرهم
Seen from
Algeria
SS宝石箱
Seen from
Japan
マオ
Seen from
Japan
A.m.khan
Seen from
United States
Trends for you
1
Keenum
Under 10K tweets
2
Eagles
Under 10K tweets
3
Ben Johnson
Under 10K tweets
4
#WWERaw
Under 10K tweets
5
Sam Roush
Under 10K tweets
6
Rome Odunze
Under 10K tweets
7
Go Birds
Under 10K tweets
8
Jalen Carter
Under 10K tweets
9
Austin Booker
Under 10K tweets
10
Epps
Under 10K tweets
Most Popular Users
1
Elon Musk
@elonmusk
241.7M followers
2
Barack Obama
@barackobama
119M followers
3
Cristiano Ronaldo
@cristiano
114.4M followers
4
Donald J. Trump
@realdonaldtrump
111.9M followers
5
Narendra Modi
@narendramodi
107.2M followers
6
Rihanna
@rihanna
98.7M followers
7
NASA
@nasa
92.4M followers
8
Justin Bieber
@justinbieber
91.8M followers
9
KATY PERRY
@katyperry
90M followers
10
Taylor Swift
@taylorswift13
83.9M followers
11
Lady Gaga
@ladygaga
75.4M followers
12
Virat Kohli
@imvkohli
73.4M followers
13
Kim Kardashian
@kimkardashian
70.9M followers
14
YouTube
@youtube
68.8M followers
15
Neymar Jr
@neymarjr
66.4M followers
16
Bill Gates
@billgates
65.2M followers
17
Selena Gomez
@selenagomez
63.1M followers
18
The Ellen Show
@theellenshow
62.3M followers
19
CNN
@cnn
61.8M followers
20
X
@x
60.7M followers
Olivia
Online
✨
⭐
💫