Home
Language
English
Türkçe
Bahasa Indonesia
About
Privacy Policy
Terms of Service
Pricing
Sign In
Download All
Share
wilam yang
@wilambatch
Joined December 2016
2.6K
Following
77
Followers
201
Posts
wilam yang
@wilambatch
about 1 month ago
人不做恶是边缘分布,不受环境影响坐恶是条件分布。不被环境和周围的人影响很困难。
wilam yang
@wilambatch
3 months ago
一直以来的错误就是,从局部到全部。真正的做事应该是从全部到局部。
wilam yang
@wilambatch
3 months ago
agent模式似乎还是在做强化学习,推理时强化采样。
wilambatch
retweeted
陈成
@chenchengpro
3 months ago
一个反直觉的现象:AI Coding 让代码生成速度提升了一个数量级,开发者反而更累了。 为什么?AI 只加速了写代码这 30%。剩下 70%——测试、验证、Review、部署——完全没被触及。AI 写得越多,人要验收的量指数级增长。人成了流程里最大的瓶颈。 字节 Web Infra 周晓在 D2 大会上的分享给出了破局思路:Harness Engineering。Harness 是"马具",核心理念是从"使用模型"到"驾驭模型"。 几个值得带走的洞察: ① 上下文是最贵的资源,治理它而非堆砌它。KV Cache 铁律:追加便宜、修改昂贵。一切策略的根基 = 保护前缀稳定性。命中 Prompt Cache 成本降 90%。 ② 工具要为 Agent 设计,不是为人设计。三个标准:秒级响应、结构化输出(JSON/Markdown,禁止截图 PDF)、精确的错误反馈。错误比正确更重要——模型靠报错修正方向。 ③ 用架构对抗熵增。MCP 提供原子动作,Skill 固化操作流程按需加载,Sub Agent 独立上下文并行处理。三层分工解决单 Agent 上下文爆炸。 ④ 最大的认知转变:别 Review 代码,Review 交付产物。AI 改了几十个文件不重要,关键是单测覆盖了吗?上线稳定吗?人的注意力有限,花在刀刃上。 一句话:别把大模型当大脑,要为它打造专属的工作室。工程师的新角色不是写代码,是设计环境、设计反馈、设计工具链。 https://t.co/rxB0zGkBzr
See More
Who to follow
もん
@mon__mmmmom
社会人 顔はDMへ😌お酒苦手/タバコも吸わない/住み:最寄り仙台駅
シンのすけ
@shin0suke0
パチスロで得たお金で株を買う。 注文住宅マニア。 とある分野のひよっこ講師。 稼いで地球を買い戻したい。
丑八怪
@Ogenz169
做自己的哥布林
wilam yang
@wilambatch
3 months ago
注意力机制是二次的,扩展到多次会怎样?
wilam yang
@wilambatch
3 months ago
清晰的结构,合理的抽象,关键应用。
wilambatch
retweeted
宝玉
@dotey
3 months ago
转译:Harness 工程就是控制论 读 OpenAI 那篇 Harness 工程的文章[1]时,我一直有种说不上来的感觉。然后突然想通了:这个模式我见过,不是一次——是三次。 第一次是 18 世纪 80 年代瓦特的离心式调速器[2]。在它出现之前,得有个工人站在蒸汽机旁边,用手调节阀门。有了它之后,一个带配重飞球的机械装置能自动感知转速并调节阀门。工人并没有消失,但工作变了:从亲手拧阀门,变成设计调速器。 第二次是 Kubernetes[3]。你声明期望状态——三个副本、这个镜像、这些资源限制。一个控制器持续观察实际状态。当两者出现偏差,控制器就会去协调:重启崩溃的 Pod、扩缩副本、回滚有问题的部署。工程师的工作从重启服务,变成了编写系统据以协调的规格说明。 第三次就是现在。OpenAI 描述了这样一批工程师:他们不再写代码。取而代之的是设计环境、构建反馈回路、将架构约束编成规则——然后由 AI 智能体来写代码。五个月,一百万行代码[1],没有一行是手写的。他们管这叫"Harness 工程"(Harness Engineering,意为为 AI 智能体搭建"缰绳"和"马具"般的约束框架)。 三次,同一个模式。诺伯特·维纳[4]在 1948 年就给它起了名字:控制论(Cybernetics),来自希腊语 κυβερνήτης——舵手。你不再亲手拧阀门,而是掌舵。 每一次这个模式出现,都是因为有人造出了足够强大的传感器和执行器,在那个层面闭合了反馈回路。 为什么代码库是最后的堡垒 代码库并非没有反馈回路,只是只在较低层面有。编译器在语法层面闭合回路。测试套件在行为层面闭合回路。代码检查工具在风格层面闭合回路。这些都是真正的控制论式控制——但它们只能检查那些可以机械验证的属性。能编译吗?能通过测试吗?符合规则吗? 而在这之上的一切——这个改动符合系统架构吗?这个方案是不是正确的思路?这个抽象随着代码库增长会不会埋下隐患?——既没有传感器,也没有执行器。只有人类能在那个层面运作,而且是两侧同时运作:判断质量,编写修复。 大语言模型同时改变了这两端。它们能在过去只有人类才能把控的层面进行感知——也能在同一层面采取行动:重构一个模块、重新设计一个不一致的接口、围绕真正重要的契约重写整个测试套件。反馈回路第一次可以在做出关键决策的层面闭合了。 但闭合回路是必要条件,不是充分条件。瓦特的调速器需要调校。Kubernetes 的控制器需要正确的规格说明。而让大语言模型在你的代码库上工作,需要提供一样更难的东西。 校准传感器和执行器 让基本的反馈回路运转起来——智能体可以运行的测试、能输出可解析结果的 CI、能指向修复方向的错误信息——这只是基本门槛。Carlini 已经展示过这一点[5]:他让 16 个并行智能体构建了一个 C 编译器,用的是简单到令人惊讶的提示词[6],但测试基础设施是精心设计的。"我的大部分精力都花在了为 Claude 设计周围的环境——测试、环境、反馈机制。" 更难的问题是用你的系统特有的知识来校准传感器和执行器。大多数人卡在这里,然后把问题归咎于智能体。 "它老是做错。它不懂我们的代码库。"这个诊断几乎总是错的。智能体失败不是因为能力不够,而是因为它需要的知识——什么叫"好"、你的架构鼓励哪些模式、回避哪些模式——锁在你脑子里,你从没把它外化出来。智能体不会靠耳濡目染来学习。如果你不写下来,它在第一百次运行时犯的错和第一次一模一样。 这项工作的本质是让你的判断力变得机器可读。描述实际分层和依赖方向的架构文档。内置修复指引的自定义代码检查规则。编码了你团队审美标准的黄金准则。OpenAI 也发现了这一点[1]:他们每个周五花 20% 的时间清理"AI 垃圾代码"——直到他们把标准编进了 Harness 本身。 唯一的出路 这些实践所要求的一切——文档、自动化测试、编码化的架构决策、快速反馈回路——一直都是正确的。过去三十年出版的每一本软件工程书籍都在推荐它们。大多数人跳过这些步骤,因为跳过的代价是缓慢而弥散的:质量缓慢下滑、新人上手痛苦、技术债务悄悄累积。 智能体化工程让这个代价变得极端。跳过文档,智能体就会无视你的规范——不是在一个 PR 上,而是在每一个 PR 上,以机器的速度,全天候地。跳过测试,反馈回路就根本无法闭合。跳过架构约束,漂移的速度会快过你修复的速度。而陷阱在于:如果智能体不知道"干净"长什么样,你也没法用智能体来收拾这个烂摊子。没有校准,制造问题的机器同样无法解决问题。 实践没有变。忽视它们的代价已经变得无法承受。 生成-验证不对称性——P vs NP[7] 背后的直觉,被 Cobbe 等人用大语言模型实证验证[8]——指明了未来的方向。生成一个正确的解比验证一个解要难。你不需要在实现能力上超越机器,你需要在评判能力上超越它:定义"正确"是什么样子,识别输出哪里不对,判断方向是否正确。 那些设计了瓦特调速器的工人再也没有回去拧阀门。不是因为他们做不到,而是因为那已经没有意义了。 引用链接 [1] Harness 工程的文章: https://t.co/jzMo4arK5s [2] 瓦特的离心式调速器: https://t.co/ctRxZYFXeZ [3] Kubernetes: https://t.co/D7NdAdi8tV [4] 诺伯特·维纳: https://t.co/LGPwF5eL0u [5] Carlini 已经展示过这一点: https://t.co/2C8va2j7tE [6] 简单到令人惊讶的提示词: https://t.co/deEuA0EPtz [7] P vs NP: https://t.co/i5fKjcuDd0 [8] 用大语言模型实证验证: https://t.co/ekSHhMP6zK
See More
wilam yang
@wilambatch
4 months ago
以后会不会,prompt,结构化输出格式,skills就像现在pip install安装包一样的方便,想做什么事情,直接安装一下,然后把自己文档和数据抛给ai就行了
wilam yang
@wilambatch
4 months ago
或者将vae用到moe上
wilam yang
@wilambatch
4 months ago
有没有谁将核密度估计,用到moe上?
wilam yang
@wilambatch
4 months ago
训练模型就是教模型学会某个技能。 大模型的好处是已经学习到通识知识了,然后将人类的一些技巧,操作,流程和探索方式等等数据化出来,然后让模型学会这种流程和方法,他就具备了某项能力。
wilam yang
@wilambatch
4 months ago
写自动化测试。 搭建模型评价体系
wilam yang
@wilambatch
4 months ago
结构化经验和抽象。 模型要学习的还是人类的决策逻辑和行为模式,因为这些看上去很复杂多变,实际上大多数行为背后的逻辑都是被约束到一些条条框框下的,或者人类做决策的方法和流程,很多事情被设计的框架体系都只不过那几种类型而已。当大模型学到后,就能做的和很好。
wilam yang
@wilambatch
4 months ago
海量参数和算力是强行搭建一个映射通道,将高纬信息映射到低纬。 如果数据本身物理结构存在可建设的通道,那只需要找到它就行,效率会极大提高。 如果没有,那强力建设一个也没有会非常有用。
wilam yang
@wilambatch
4 months ago
5 将剧情结构化的文本,和知识库内容送给图片生成器生成每一帧图片,然后送给视频理解器,生成文本做检验。 6. 应该不只是图片生成,可能是一个序列模型,将图片生成器改造成一个可以看到历史帧状态的模型。其实可以把历史帧嵌入和知识库嵌入一起作为下一帧输入。
wilam yang
@wilambatch
4 months ago
1. 训练一个高质量图片生成器,类似于香蕉模型,通过多个模型协同工作实现高质量输出,特别是细节的把控。 2. 理解视频内容模型,这个模型需要很了解视频细节,需要海量视频做预训练来学习基础基础知识,通过大量带标注的视频对,训练模型,让模型能够详细描述出视频内容细节。
wilam yang
@wilambatch
4 months ago
3. 剧情描述模型,对用户提前进行扩充,生成每一个分镜的剧本,要求详细,包括布局,背景,颜色,任务形态,动作,姿态,表情,服饰等等,将每一个维度都要有详细描述,并结构化,需要模型非常能够理解视频。 4. 知识库,根据用户提供的内容,从知识库中提取相似主题的视频内容。可以作为一部分输入。
wilam yang
@wilambatch
4 months ago
讲数据集分成几个大类,每一类数据独立训练一个模型,然后多个模型权重平均,在用算量数据集微调。
wilambatch
retweeted
Vivek Galatage
@vivekgalatage
5 months ago
Roadmap from Cornell - Introduction to CUDA https://t.co/Spw4ramTBl
wilam yang
@wilambatch
5 months ago
Claude Code是操作系统代理,skills是sh脚本,以后的大多数程序员,只需要用语言写skills就行。
Last Seen Users on Sotwe
Deniz
Seen from
Turkey
Melek Tayfun
Seen from
Turkey
Amanda 21+
Seen from
United States
Fley
Seen from
Turkey
Horny Mother 🥰
Seen from
India
Türk sex video
Seen from
Turkey
Kingcrab
Seen from
Turkey
16💕
Seen from
United Kingdom
Republic of Sex
Seen from
Turkey
รับเย็ดหีทุกวัย
Seen from
Thailand
Trends for you
1
Tay Keith
Under 10K tweets
2
Bosnia
Under 10K tweets
3
Vance
Under 10K tweets
4
Juneteenth
Under 10K tweets
5
Obama Presidential Center
Under 10K tweets
6
Moscow
Under 10K tweets
7
GTA 6
Under 10K tweets
8
Dolan
Under 10K tweets
9
Tylil
Under 10K tweets
10
#SUIBIH
Under 10K tweets
Most Popular Users
1
Elon Musk
@elonmusk
240.3M followers
2
Barack Obama
@barackobama
119.3M followers
3
Donald J. Trump
@realdonaldtrump
111.6M followers
4
Cristiano Ronaldo
@cristiano
109.8M followers
5
Narendra Modi
@narendramodi
106.9M followers
6
Rihanna
@rihanna
97.5M followers
7
NASA
@nasa
92.1M followers
8
Justin Bieber
@justinbieber
90.7M followers
9
KATY PERRY
@katyperry
87.3M followers
10
Taylor Swift
@taylorswift13
81.1M followers
11
Lady Gaga
@ladygaga
72.6M followers
12
Kim Kardashian
@kimkardashian
69.6M followers
13
Virat Kohli
@imvkohli
69.2M followers
14
YouTube
@youtube
68.6M followers
15
Bill Gates
@billgates
63.6M followers
16
The Ellen Show
@theellenshow
62.5M followers
17
Neymar Jr
@neymarjr
61.9M followers
18
CNN
@cnn
61.9M followers
19
X
@x
60.9M followers
20
Selena Gomez
@selenagomez
60.3M followers
Olivia
Online
✨
⭐
💫