DiscreteSpace

CS Student / Programming Learner / 计算机系统结构 / status: shutdown◼️ / 给岁月以文明。

[DiscreteSpace @space_discrete]

今天吃点🍥面
(以前一直好奇鲜虾鱼板面的🍥是什么味道，但那个实在太小了尝不出来)

[DiscreteSpace @space_discrete]

虚假的物理学：室温超导炼丹
真正的物理学：神经网络炼丹

[DiscreteSpace @space_discrete]

按照这个速度下一个版本rating就能超过我了 RL卷起来

[DiscreteSpace @space_discrete]

二择大失败😠

[DiscreteSpace @space_discrete]

严重怀疑我打麻将第一场就把接下来所有运气用完了(其实干别的事也差不多)
打雀魂第一场三麻不懂事大明杠杠杠杠出来四杠子
去天凤打第一场四麻知道不乱开明杠了，然后对对胡三连补杠出来三杠子
后面再也出不了这么离谱的牌了，只有被别人大三元大四喜炸飞
人生若只如初见，当时只道是寻常😰

[DiscreteSpace @space_discrete]

@IIInoki 暴论：最好的RAG是互联网搜索引擎（

[DiscreteSpace @space_discrete]

@yvbbrjdr 直接看论文吧https://t.co/AJhBkz8S2A，AI的学习过程更分步骤一些，没那么聪明。大致分三步：1. 训练出模10的按位加法 2.训练出>=10往上一位进位 3.训练出=9则连续传递进位

[DiscreteSpace @space_discrete]

翻到一篇文章[ICLR'24]Understanding Addition in Transformers
回忆起在初学oi年代被老师问了一道题：怎么直接按从左到右的顺序直接做大整数加法，不允许读完再翻转。当时想了十分钟想到一个存9和进位链的做法，被老师夸了。但我觉得这题没现实意义
没想到LLM因为必须从左到右写，也悟出了一样的算法

[DiscreteSpace @space_discrete]

@JK_GrassChan 确实反过来更容易。不过我觉得这个结果的意义在于体现了语言模型的在一些情况下局限性，导致它必须以不常见的方法去学习

[DiscreteSpace @space_discrete]

@lyq_sqsp 原来是同行...我面试了一圈说DAC都没人认识

[DiscreteSpace @space_discrete]

Overleaf服务器一天被打爆了两回，那些习惯压ddl改的人估计要升天😶
以后写论文得自己搞个本地版编译了

[DiscreteSpace @space_discrete]

总结了一下我和大语言模型的相同点和不同点🤯
相同点：
1. 偶尔说胡话
2. 只会被动回答请求
3. 无法处理复杂的数学和逻辑
4. 占用资源，部署成本比较高
不同点：
1. 知识匮乏
2. 情绪不如AI稳定
3. 回应速度显著更慢，不能长时间在线

[DiscreteSpace @space_discrete]

@jian_w3ng 按文本来说百G的数据相当于10万本数量级的图书了，在知识覆盖率上应该没什么问题。当然模型还要做大量语义上的归纳、检索和语言生成，附带一些初步的逻辑推理能力，不清楚这些高层次机制与参数的关系

[DiscreteSpace @space_discrete]

但凡干工作和学习的事情 注意力不超过三分钟
Attention is all my need😰

[DiscreteSpace @space_discrete]

@yyw2000 emmm 看到几个做芯片的同学今天刚好讨论这个

[DiscreteSpace @space_discrete]

#IJCAI deep blue甚是经典，想到现在跟风随大流的AI paper浩如烟海，怎样才能做一件事，让人们二十年后还记得呢

[DiscreteSpace @space_discrete]

冷冷清清旅游的打卡

[DiscreteSpace @space_discrete]

工具人🔧🤖

[DiscreteSpace @space_discrete]

@yyw2000 跨方向的设计，不容易看出来水平和工作量怎么样，能不能Accept像抽奖
感觉至少design automation这边是这样，审稿人很多集成电路背景的

[DiscreteSpace @space_discrete]

@DeltonDing 以前看复杂性的时候，写的人就在里面说，学这个不是为了解决问题，而是让你尽早发现问题是NP-hard的而放弃hhh