zzdev

Attention Free

[zzdev @zonemercy]

@LTrossard Legend!

[郭宇 guoyu.eth @turingou]

vibe 时代的一大好处是，思考本身的价值提升了，驱动思考的品质会成为品位的炼金石。

[howie.serious @howie_serious]

2026，完全可以用notebooklm 的fast reasearch或 deep research 来自动收集资料，取代多年来手工google，一条条慢慢收集的过程。

主题研究 80% 的资料，可以 deep research 搞定；剩下少部分 20% 的资料，自己精挑细选，包括自己的 logseq 笔记，自己的阅读库资料等。

我录了一个小视频，看起来更直观。

[宝玉 @dotey]

这套自监督提示词优化提示词的方法（Self-Supervised Prompt Optimization，SPO）挺有参考价值的：
- 你输入初始提示词和3个测试输入（不需要输出结果）
- 让 AI 对提示词进行优化
- 然后根据测试输入和两组提示词去生成A和B两个结果
- 让 AI 从 A 和 B 中选择更好的输出，然后把生成更好结果的提示词标记为当前最优
- 下一轮继续让 AI 对当前最优的提示词进行优化
- 继续用“新提示词”和“当前最优提示词”+测试输入生成A和B两套结果，继续选出最优，继续优化，继续生成，一直迭代

有点像养蛊，只是同时只有2个提示词，判定提示词好坏的依据就是看生成结果，由AI自己判断哪个结果好还是坏，整个过程完全自动。

从结果来看还不错。

[Ivan Zhao @ivanhzhao]

Why do Americans always vote on Tuesdays?
Because 1800s citizens needed a full day's horseback ride to reach polling sites after Sunday church. Pretty amazing that this democracy runs on horse-and-buggy software in the age of the Internet and AI!

[一口新饭 @onenewbite]

作为海外华人，千万不要被“海外身份认同”绑架，去容忍，甚至加入种族主义者去做“他们中国人这中国人那”的这种自恨的变态行为。你出生在中国（或者你不出生在中国），长着一张中国脸，都会一不小心成为他们的歧视对象。（难道你要天天去证明自己？）。但搞笑的是，对方也长一张中国脸，讲的中文。千万不要做精神分裂的变态的事情。

[zzdev @zonemercy]

@dotey 油腻了…

[Jon Durbin @jon_durbin]

✅ Finished up a first stab at LMoE - LoRA mixture of experts.

The airoboros package now includes an API server similar to OpenAI chat completions.

7b/13b LMoE packages available on my 🤗

https://t.co/FDuy2x3lIw

Huge thanks to @a16z for sponsoring the compute!

[Jeremy Howard @jeremyphoward]

It looks like @johnowhitaker & I may have found something crazy: LLMs can nearly perfectly memorise from just 1-2 examples!

We're written up a post explaining what we've seen, and why we think rapid memorization fits the pattern. Summary 🧵 follows.
https://t.co/CUOWyxRJBT

[Prateek Yadav @prateeky2806]

Performance degrades when merging diff task-specific models into a multitask model?

Presenting TIES-Merging🪢
We find signif *Interference* b/w model params & mitigate it 👉 improves both NLP & CV merging

https://t.co/qWc1Cxq1Pd
@dtredsox13 @LChoshen @colinraffel @mohitban47
🧵

[zzdev @zonemercy]

@tinyfool 最后一句很棒👍

[zzdev @zonemercy]

@zcwzhy 有没有可能，不带套是一种性格的结果而不是原因？👶🏻

[zzdev @zonemercy]

@lemon_hx 懂了你想要80斤的Fcup🥸

[zzdev @zonemercy]

@waylybaye @nishuang 测评里视频剪辑感觉不是最重要的。

[zzdev @zonemercy]

@pirrer 羊驼家族名字不够了…😂

[zzdev @zonemercy]

@JourneymanChina 还有优惠卷吗，已赞转

[XavierL (abc.eth) @CryptoXavierLee]

无意间看到群友分享用ChatGPT制作了一首歌，太屌了…

[Jiayuan (JY) Zhang @jiayuan_jy]

1/ 把 Meta 前两天发布的这篇论文读了一遍，mind blowing

这篇论文被近期 ChatGPT & Bing Chat 的风头盖过去了，不过我感觉论文中提到的内容可能是未来 Language Model 发展的一个重要的分支。

-- thread 🧵 --

[sunlc.ai @sunlc_crypto]

作为一个油管重度用户，我每天听油管的时间平均超过2个小时。开车、坐地铁、上厕所、洗澡都会听，是我最重要的资讯获取途径。收听的内容主要是投资类（美股、美债、币圈、宏观、日内交易）和时政类（大部分是反贼）。推荐一些我认为不错的频道，不喜勿喷，小粉红麻烦取关。有好的频道欢迎跟帖补充

[Jiayuan (JY) Zhang @jiayuan_jy]

如何从零开始 build 一个 GPT

这个视频中，作者根据 Attention is All You Need & GPT-3 的论文来从零开始构建一个 GPT，每一部分都有代码演示。

https://t.co/1lVha9vxUH