Valor

Free speech is life, the REAL free speech, not the selective ones. Revise 230 to let free speeches live.

[Valor @ValorRed1]

也会更意识到自己的盲点 👍

[𝓣𝓸𝓪𝓷𝓷𝓮 ღˇ◡ˇ) @IDMTBR]

去傾聽與自己不同立場的聲音

不是為了爭論 而是為了理解

你不必放棄自己的立場….

[Valor @ValorRed1]

@SelenaMushroom 伊朗必须了解，只有放弃部分主权，才能有回报。像委内瑞拉那样。
但是，这里有个问题，美国政府是否有足够的人力和精力去持续verifying. 而且从目前谈判的进度看来，伊朗是比委内瑞拉更明显地表现要拖下去的。他们还是被打得不够。这点我站以色列。

[Valor @ValorRed1]

这是最现实的教育：死都是自己作出来的。

[李老师不是你老师 @whyyoutouzhele]

6月19日，一中国网友拍摄的视频显示
本次“乌克兰特别军事行动”中被击中的莫斯科炼油厂油罐，疑似是俄军防空导弹在拦截乌克兰无人机时造成的误击。
拍摄者随后发出惊呼“卧槽！”

[Valor @ValorRed1]

OpenAI 这个研究有点马后炮诶。虽然细节不完全相同，但是Anthropic类似的研究z’在一年多前了。不过强调的是RL的对齐长期有效性不如更早的训练阶段。
但是结合这次的论文，是否可以反证：RL假如对齐了谎言，其说谎范围会扩散？

https://t.co/fIvSRl86cA

[Orange AI @oran_ge]

OpenAI 发布的新论文太有趣了，有点探索人性底层原理的意味。

业界研究发现在对齐大模型的时候，有个很糟糕的现象叫 emergent misalignment（涌现失调）：
一个模型如果在训练时被教着做一件坏事，比如写不安全的代码，它会自己泛化到其他领域，包括健康、教育、科学、法律等等。也就是说，坏行为会被泛化。

OpenAI 把问题反过来想：那好行为会不会也泛化？
如果训练模型在一个领域表现得诚实、透明、谦逊、可纠正，它会不会在别的领域也变得更好？

于是他们造了一批贴近现实的对话数据，专门测这些特质：
-诚实
-认知谦逊（epistemic humility，就是"我不确定"的时候能说出来）
-元认知透明（能解释自己的思考过程）
-可纠正性（corrigibility，被指错能认）
-普遍的公平
-对人的关心

数据覆盖健康、教育、科学、法律、工程这些领域。
然后用 RL 训练，只混进去一小部分这种数据，其余还是常规训练数据。

实验结束后，有三个核心发现：

第一，在训练领域内，模型确实变得更诚实、更透明、更容易认错。

第二，在训练领域外，44 个独立的、训练时没见过的评测上，模型都变好了。欺骗、谄媚、reward hacking、有害建议……全都降了。甚至就算只拿健康数据训练，非健康领域也变好了。

第三，这种改变在对抗压力下时也表现得更有韧性。不管是 adversarial prompt 还是恶意微调，都更难把它推向坏行为。而且模型并没有变得"不可塑造"，正常指令它还是听的，只是对坏的方向变固执了。

这篇论文的启示是，RL 不仅可以强化代码，也可以强化道德。
也许对齐超级 AI 没有想象中那么复杂，只对齐底层逻辑就有很好的效果。

这跟人是很像的，人的各种行为在其底层存在一致性，通过一些小事就能看到一个人的底色。

很有意思。

论文地址：https://t.co/CYbVf3GEFV

[Valor @ValorRed1]

@FrankLSG 卢比奥在老板搞笑时全程不笑诶。
他心情要多糟才会这样？

[Valor @ValorRed1]

@YiXia90314 @taiwan_tribal FB/IG/Threads 真的是漏洞百出的软件。能不用就不用吧

[Valor @ValorRed1]

@WillyundAya @bladefrank2015 @lilaoshizuikeai 很多老民运是在微信之前出来的，后来在外面注册一个WeChat 账号。腾讯刚开始对外面的账号比较宽松。“不当言论”至少让国内不可见，并不封号。

[Valor @ValorRed1]

@linglingfa @funabashi_ahai 我听说那被宣传的故事背后，其实是他在围观时迷路了，最后在某地又出现了。☺️
俺相信阴谋论的毛病又犯了。

[Valor @ValorRed1]

@funabashi_ahai @linglingfa 真是他本人？

[Valor @ValorRed1]

@SelenaMushroom 😁我才意识到您上面是打错了吧，不是“权利”吧？

[Valor @ValorRed1]

@starlightcaesar 哪哪都有极端，莫要一竿子打翻一船人。支黑还有分自黑与核平派。白左也有要共产马斯克的那一拨人。

[Valor @ValorRed1]

@SelenaMushroom @CopZinc 内幕是怎么来的？

[Valor @ValorRed1]

@CopZinc @SelenaMushroom 可以区分一下，依靠市场来分配和利用权力来分配，这两种分配方式有本质上的不同。

[Klee Kawaii @DeepKlee]

Anthropic 有种自命不凡，总觉得自己是把 AI 引入人类文明的先知，所以要教化众生。结果关键还是在 Anthropic 要努力上市的时候，弄巧成拙哇。Anthropic 原本想靠 safety 获得合法性，结果 safety 变成了管制理由。简直是中世纪教会与王权冲突的AI 版复刻：A 社辛辛苦苦写了神学体系，最后神权被国王接管了，叙事被夺舍。

OpenAI 在安全这方面就低调很多。ChatGPT 的 safeguard 也是一个离谱的，但是没有像 Anthropic 这样胡吹海吹。而且一旦开了模型可以被出口管制的先例，整个 AI 圈都会恐慌，这下所有人都知道 safety 意味着监管风险了。

我感觉A社就是没有感受过共产的魅力，现在被政府管了就知道疼了。三权分立把美国人保护得太好了，很多美国技术精英对行政权的原始形态缺乏肉身经验，没有沐浴过共产的光辉。他们平时看到的是被宪法、法院、媒体、议会、行业游说软化过的权力；于是误以为权力天然会讲道理。

就像短视频在迎合男生想象中的女生，而不是真实的女生；Anthropic 想象中的政府——温柔、讲理、崇拜技术专家、愿意被“正确的安全理念”感化。短视频里的“女生”经常不是现实中的主体，而是男性欲望投射出来的角色：温柔、崇拜、懂分寸、不会真正挑战男方秩序。Anthropic 想象中的政府也差不多：它不是一个真正拥有暴力、边境、军工、情报、出口管制权力的主权机器，而是一个会坐下来听 AI safety seminar 的理性观众。

[Valor @ValorRed1]

@YiXia90314 她一定要继续做国民党党主席，坚持领导国民党到永远。最好每一届总统参选人都是她。😂

[Peter Girnus 🦅 @gothburz]

A short history of how we got here, because the chronology is the whole story.

January: the Pentagon demands unrestricted use of Claude for autonomous weapons and domestic surveillance. Anthropic says no.

February: the President orders every federal agency to drop Anthropic. The Defense Secretary bans Pentagon contractors from doing business with them. A rival announces its classified-network deal within hours.

March: the Pentagon designates an American company a "supply chain risk" under a statute written for foreign adversaries. A federal judge blocks it.

May: the Pentagon signs AI deals with seven companies. Anthropic is not one of them.

June 9: Anthropic releases Fable 5.

June 12: Commerce issues an export control directive over a jailbreak that, by the government's own account, was demonstrated verbally, came with no written explanation, and involves a capability you can get from other publicly available models today.

Two things are true at once.

First: Anthropic spent months marketing Mythos as too dangerous to release. Sam Altman said it was "incredible marketing to say we have built a bomb." The Commerce Department has now formally agreed it is a bomb. If you describe your product as a munition in every press release, eventually a government takes you at your word. They wrote the legal predicate themselves and called it a brand.

Second: we have run this experiment before. In the 90s the government classified encryption as a munition under ITAR. Activists defeated it by printing PGP's source code as a book, because books are protected speech and floppy disks were arms exports. A t-shirt with three lines of RSA Perl was legally a munition. The controls collapsed because math does not stop at customs.

The new wrinkle is the "deemed export" rule: showing controlled technology to a foreign national inside the US counts as exporting it abroad. Which is why Anthropic's own foreign-national employees are now locked out of the model they built. The munition is in the building and the people who made it are not allowed to look at it.

The jailbreak is the paperwork. The refusal was in January.

[Valor @ValorRed1]

@quarktalksss 信念股，有的时候，人需要一点信念。

[Valor @ValorRed1]

@WillyundAya @whyyoutouzhele 德国警察大多拎得清。

[Valor @ValorRed1]

@SelenaMushroom 😮‍💨这世道

[Valor @ValorRed1]

@CopZinc 太甜了😅