Reyoung

SE

[Reyoung @tjureyoung]

@Orange41324306 正常一些的训练框架optimizer里的参数，optimizer state是fp32的，虽然单次更新确实down cast到bf16不会有变化。但多个step只要梯度方向比较稳定，应该是会更新的

[Reyoung @tjureyoung]

@raysp500 德川幕府

[Reyoung @tjureyoung]

@zhufengme 设计想好了差不多的。但想设计的过程感觉没办法节约时间。和AI互相用 grilling skill 讨论其实时间也挺长的。目前基本上是白天grilling写文档，晚上/goal 实现。

[Reyoung @tjureyoung]

@0xkeenz 权重是都无所谓，激活不是。没发现明显问题纯粹是模型够小够浅激活没有累积到很大。unsloth应该是为了支持多种硬件。有的硬件不支持bf16

[Reyoung @tjureyoung]

@cloudwu @YRSM_Simon 273GB的每秒lpddr5，假设生成要每秒10个token，最多读27GB的模型呀。。prefill也许还行，但decode还是不行的。

[Reyoung @tjureyoung]

@skywind3000 同等智力的token应该是每半年便宜一倍吧

[Reyoung @tjureyoung]

@jike_collection 这不是脚踝么

[Reyoung @tjureyoung]

@dongxi_nlp 他其实不是Blackwell芯片，所以不值得。sm120没有5代tensorcore。

[Reyoung @tjureyoung]

@DestinyLinker 难道不是测试集泄漏了么。。可能需要一个新的比赛验证一下😂

[Reyoung @tjureyoung]

@wsvn53 快捷指令好像能发prompt，更像crontab。不过，配置起来挺麻烦的

[Reyoung @tjureyoung]

@skywind3000 或者重点其实是能有环境快速试错。汇编写代码的问题可能主要是github上有完备单元测试的纯汇编项目太少了

[Reyoung @tjureyoung]

@skywind3000 如果不限制是cpu的二进制，而是cuda的inline ptx汇编，应该是可以的。但需要有比较完备的测试代码和性能分析工具。然后一通auto research

[Reyoung @tjureyoung]

@luoling8192 codex有bug。

[Reyoung @tjureyoung]

@astaxie 好像既没有虚拟化，又没有网络隔离。完全不如vibe coding一个sandbox

[Reyoung @tjureyoung]

@manateelazycat 大厂大忽悠的生存空间更多

[Reyoung @tjureyoung]

@9hills 因为rl的过程中就是会修改tool parse的定义。或者，其实对于第一方模型厂来说，rl和sft的过程也是让模型学会tool format的过程。所以这样做是最好的。另外有一个额外的点是，其实因为上下文不同时，同一个文本的tokenize的结果可能不同。所以通常rl这里也避免使用chat之类的api。

[Reyoung @tjureyoung]

@9hills 主要是openai除了oss，claude应该都没有开源，所以其实用户应该不知道他们模型内部定义的toolcall 格式才对（不过我也没有很细致的看过这里就是了）

[Reyoung @tjureyoung]

@9hills 另一个是，openai的api和claude的api 对toolcall的json封装不一样。这单纯是技术早期，标准没收敛。虽然确实有一些case比如prompt kvcache reuse用不同的api可能不一样，但核心是技术早期标准没收敛。

[Reyoung @tjureyoung]

@yetone 不如来模型厂做rl的模拟环境。从源头定义agent