kk

[kk @pezy2423]

@thsottiaux Used ChatGPT Work to auto-fetch recent code LLM papers from arXiv and generate structured summaries for my class reading list. A multi-hour research task done autonomously while I prepped lectures. Real workflow, real time saved. 🎓
Sharing to claim $100 ChatGPT credits! ⚡️

[kk @pezy2423]

@thsottiaux Switched from Claude Code to Codex—never looked back! Community is next-level. MiniMax/Qwen couldn’t compare. As a legacy TR subscriber pre-price hike, the value is unbeatable. Codex gives too much to refuse! 🚀 #GPT5_6Sol #Codex

[瞎玩菌 @Blind___Gamer]

什么才是真正的带孩子见世面？ 分享一些低成本带孩子见世面的方法，不用成人的思维衡量孩子心意，站在孩子的角度看这个世界

[kk @pezy2423]

听音乐的时候看书和玩游戏，会突然出现一种类似琥珀的感官固定，好像那一段音乐和看的那一行字，游戏中的画图���天生就应该绑定在一起一般。

[kk @pezy2423]

cheer真是不用��何做作就足够性感了

[kk @pezy2423]

辅导的5个考研复试的同学，都录取了。一开始是想着这些哥们录了研究生就相当于成功就业了，解决了我就业率指标的压力。现在看来，他们的录取是对我教学事业的认可，这让我的获得感更高。

[kk @pezy2423]

我想我已经领悟到了怎么把一件事情做好的方法，上个月领悟到的是如何做好科研的方法。还是需要多总结

[九原客 @9hills]

看论文看到哈哈大笑，用「弱智吧」标题+GPT-4回答微调后的Yi-34B模型评估结果超过了精心收集的 SFT 指令集数据，安全性评估也是第二名。

弱智吧就是百度弱智吧，里面的帖子是这种画风：「既然监狱里全是罪犯，👮♀️为什么不去监狱里抓人？」

论文：https://t.co/VKn5sGEmCu

[歸藏(guizang.ai) @op7418]

发现一个讲的很细的大语言模型微调教程，详细介绍了整个流程,包括数据准备、参数设置、资源监控等关键步骤。

基本没有技术能力也可以完成微调。想要了解 LLM 原理的可以按这个实践一下。

时间轴：

0:00 概念概览
3:02 自定义数据的准备
8:17 微调操作演示（T4 版本）
16:52 微调操作演示（A100 版本）
19:13 在 Hugging Face 上的保存与使用方法

文字版整理：

✲ 如何使用自己的数据对大语言模型进行微调(fine-tuning)：

对大语言模型进行微调并不一定非常困难和昂贵。通过使用自己的数据集对预训练模型进行微调,可以让模型更好地适应特定的任务需求。微调过程能够在保留原模型语言理解能力的基础上,进一步提升其在特定领域或任务上的表现。

✲ 使用Hugging Face模型库和Unslaw工具进行模型微调：

Hugging Face提供了丰富的预训练语言模型��源,用户可以根据任务需求选择合适的模型作为基础进行微调。而Unslaw工具则提供了一套简单高效的微调流程,其优点包括出色的内存使用效率以及对扩展上下文窗口的支持。通过Unslaw,用户能够以较低的资源开销完成模型微调。

✲ 在Google Colab上使用免费/付费GPU资源进行微调：

Google Colab提供了免费和付费的GPU资源,用户可以根据任务的复杂程度选择使用T4或A100。对于大多数微调任务而言,免费的T4资源已经足够。但如果数据集较大或模型较为复杂,升级到A100可以获得更充裕的算力支持。Colab为用户提供了一个易于上手的模型微调环境。

✲ 准备自定义的微调数据集：

准备微调数据的过程并不复杂。用户可以直接使用纯文本文件作为数据来源,而无需进行额外的预处理。为了获得理想的微调效果,建议至少准备100-200个样本。在示例中,为了快速演示,仅使用了几个样本。通过一个简单的Python脚本,可以方便地将原始文本数据转换为微调所需的JSON格式。

✲ 修改Colab笔记本中的参数设置：

在Colab笔记本中,需要根据实际情况调整一些参数。例如,可以根据数据集的token数量来设置max_sequence_length参数,借助rope scaling技术,模型能够支持任意长度的上下文。此外,还可以选择使用Instruct系列模型作为base model,直接在其基础上进行指令微调。为了节省资源,可以启用4-bit量化。同时,参考Q-Lora论文的建议,调整R值和alpha值,以在资源占用和模型质量之间取得平衡。

✲ 训练过程中的资源使用监控：

在模型训练过程中,用户可以通过Colab的资源监控选项卡实时观察GPU、内存和硬盘的使用情况。如果发现资源不足,可以考虑从T4升级到A100。通过监控资源占用,用户能够及时调整配置,确保微调任务稳定高效地进行。

✲ 模型训练的loss变化和最佳checkpoint的选择：

通过记录不同训练步数下的loss值,可以判断模型的收敛情况。理想的做法是选择loss下降曲线趋于平缓的点作为最佳checkpoint,这样既能充分训练模型,又能避免过拟合。为了事后方便筛选,可以设置每隔一定步数保存一次checkpoint。

✲ 模型微调完成后的保存与使用：

微调完成后,可以选择只保存adapter layers以加快保存速度。但更推荐的做法是保存完整模型,并使用float16精度,这样可以得到一个更通用和标准的模型格式,方便后续的部署和使用。

✲ 在Hugging Face上公开或私有发布微调后的模型：

用户可以选择在Hugging Face的模型库中公开或私有地发布自己微调后的模型。发布之前,需要在Hugging Face账号中创建一个访问令牌,并在发布时提供相应的用户名和令牌信息。通过在Hugging Face上发布模型,用户可以方便地与他人分享自己的微调成果。

✲ 使用微调后的模型进行推理(inference)：

在使用微调后的模型进行推理时,首先需要加载保存的模型。接着,使用tokenizer对输入的文本进行处理,并将其传入模型。进行推理时,max_length参数需要与训练时保持一致,以��保生成的结果不会被截断。完成以上步骤后,就可以利用微调后的模型进行各种实际应用了。

[Datou @Datou]

零知识证明的实际用处大吗？

[酱紫表 @pengchujin]

这个网站挺有意思，能帮你检查分享的链接是否会泄露自己的隐私（很多平台分享的链接会隐藏带着你的账户信息）。除了能检查自己的，你也可以反着来查看别人分享的🤡。🔗 https://t.co/SmfIEDZ6Yk

[plantegg @plantegg]

一个知识储备少的人，TA 学习东西，是在捡砖头，看到一块，就捡起一��；而知识储备多的人，TA 学习东西，是在盖房子，这体现在两个方面：

一是，TA 看到一块砖头，能够立刻放在自己的知识大厦的合适的位置上，与原有的知识建立联系，形成更高水平、信息密度更高的组块，组成知识整体的一部分；
二是，有时候，TA 看到的不是一块砖头，而是一整片有联系的砖头。

那你的体系在哪里，以前我都放心里，但是后来发现心里容量太有限，还经常丢数据，后来我就把他们持久化到了MD文档中

积累多了，小体系性地可以整理成一篇blog，算是一个提取信息的喵点。看到一块新的砖头，可以继续按关系插入到blog中（没必要写一篇新的）

学习就是输入，学习的时候带着输出的目标去学习，比输入更重要的，是输出；用输出，来指导自己如何输入。"输出"包括考试、工作、闭卷回忆等等。

学习工作只有走出舒适区能力才能跃迁，走出舒适区就是爬台阶。

[plantegg @plantegg]

N年前我刚加入一家公司几个月，有一个客户购买了我们的产品上线后金额对不上（1类生产事故），于是经理带着我们几个技术去现场看看是什么原因，路上经理说你们不要有什么心理压力，我不懂技术但是我过去就是帮助你们挨骂的，我好好跪在客户那你们好好安心解决问题。

问题大概就是客户代码在一段事务中，但是提交到后端我们的服务上后前对不上了，客户认为我们产品事务有问题。

到了现场客户不让下载他们代码，只能人肉趴在他们指定的机器上用眼睛看问题在哪里，看了三天大家非常沮丧地回来了，自然产品被下线，客户直接用MySQL了，但是三天后一个振奋人心的消息传过来了：金额还是对不上 ……

于是我们再度派出技术人员帮他们看为什么（这次客户配合度高了很多），最后有个同事提了一嘴tcpdump抓个包看看，到底应用代码有没有set autocommit=0, 半个小时后传来喜讯用户代码发出的就是autocommit=1,说明用户代码的事务配置没生效。

最后查出来配置文件中有中文注释，而生产环境机器不支持中文出现了乱码，导致事务没有生效！

事情还没完，当我听到这个结果后���不得实际抽自己，tcpdump咱也会用，怎么当时就没想到呢！于是后来我天天看tcpdump、分析网络包，有段时间最开心的是在酒店看书了。一个月后写了几篇文章放在公司内网，再然后公司内部各个团队开始拿着各种问题找过来，我的case也越来越多，然后我把这些命令和技巧都整理到了我的博客，不过你们也不会有好习惯去看 https://t.co/ZEB3sWDsTG 随缘吧

有一次产品调用是这样的 1->2->3->4->5->6 产品5是我们的，1说性能上不去，rt太大，扯了两天皮，然后说5有问题，于是我到5上抓了个包，明确告诉他们5的rt是多少，压力还没有到5这里来，另外按照我抓包结果的rt分析，5的能力是20万，现在还不到1万，瓶颈在1-5之间，后来我上1/2/3/4用 netstat 分别看下网络状态发现1-2之间网络到了瓶颈（2回包给1的时候大量的包no ack）,不要怀疑netstat真有这么强大，只是你不会看而已。如图 2上的9108服务端口给1发回结果的时候1那边迟迟不给ack。其实这个case用好工具只是很小的一点，关键的是我能抓包分析出rt，然后从rt推断出系统的能力（别说全链路监控之类的，有时候还得拼刺刀），进而快速定位到瓶颈

现在我们的产品文档必备一份tcpdump、tshark（wireshark命令行版本）救急命令箱，有时候让客户复制粘贴执行后给我们某个结果，好多问题不再是问题了

[kk @pezy2423]

我觉得我半个月也就能搞个壳子出来

[kk @pezy2423]

有些文章虽然发的平台不好，但是idea还是不错的，没人���忙好好改一下挺可惜

[Orange AI @oran_ge]

Sora参考论文合集 ，总共32篇。（即刻 @ P小二 整理）
https://t.co/QIbjPPoI5V

[Barret李靖 @Barret_China]

非常真实有趣的一张图，明确自己的主线任务，而��是长期迷失在支线任务中。

[kk @pezy2423]

@ShouldHaveCat 为了生存，是不是都进化成了不怎么愿意感受世界带来的痛苦的样子

[kk @pezy2423]

似乎还是对家里布置得满满当当有一些要求

[kk @pezy2423]

不要随便去定义别人的年龄，没死之前我都还年轻