橙兮

Primary area of activity: curation and redistribution of visually appealing feline media
Secondary area of activity: AI research

[橙兮 @Isidore_Canton]

@bolckAshley 😢

[Max For AI @MaxForAI]

我感觉现在很多人对Benchmark的理解是不是有点偏差😅

似乎提到Benchmark，大家第一反应就是刷榜，找几个大模型跑一圈，看看谁的分数高，然后发篇论文。
但其实Benchmark在AI研究里是非常重要的东西。

就拿斯坦福这篇BrickBench来说，表面上是在让大模型设计乐高积木，看谁拼得更好。

但你仔细想想，它实际上在评测的是什么？

是模型能不能理解一个具有物理约束的世界，能不能根据自然语言描述规划出合理的三维结构，知道不同零件之间应该怎么连接，以及最终设计出来的东西能不能真正搭建起来。

这里面涉及空间推理、物理约束、结构规划，还有Agent对工具和环境的使用能力。

这些能力对于未来的具身智能、机器人，以及各种PhysicalAI都有研究价值。

而且论文也不只是拿几个模型跑一下。
作者专门构建了BrickAgent环境，让Agent可以调用工具、选择零件、搭建结构、检查碰撞、模拟稳定性，再根据这些反馈不断调整自己的设计。

这其实也是我觉得很多人忽略的一点。

你想让模型在某个领域变得更好，首先得知道这个领域到底需要哪些能力，以及怎样判断模型有没有真的进步。

否则你连一个稳定、可复现的评价标准都没有，模型训练完之后，怎么知道它究竟是学会了什么，还是仅仅在某些Case上碰巧表现不错？

Benchmark的意义就在这里。

它能够把一个复杂领域的问题拆解成具体的任务和评价指标，让研究者发现模型的能力边界，再围绕这些问题持续改进模型和系统。

顺带一提，这篇论文其实也并非作者随便找了个UseCase。

第一作者PeterKulits今年已经有一篇BrickNet论文发表在CVPR2026，研究的是如何让语言模型生成符合积木连接约束的搭建序列，还构建了超过10万个人类设计作品的数据集。

这篇BrickBench本身就是他此前研究方向的延续。

所以我觉得，大家可能有点低估Benchmark这件事情了。

一个新的Benchmark最重要的贡献，未必是告诉我们今天哪个模型排名第一。

更重要的是，它为一个此前难以量化的问题，建立了可以持续研究和改进的标准。

毕竟如果连问题是什么、什么算做好都没定义清楚，又怎么知道AI到底进步了多少？

请尊重一下做Benchmark的人吧，这些人的贡献一般都没人能意识到（我也是开始做才知道的）。

[橙兮 @Isidore_Canton]

@kiligulyanov 好厲害！

[橙兮 @Isidore_Canton]

@Sorcerer1311 甜品領域大神

[橙兮 @Isidore_Canton]

反革命黑貓

[猫猫猫 @M1002lllyyyttt]

这就是我呀…

[Nightbloom @Nightbloomc]

one notification from you and suddenly life is good again

[w @afterd4rkk]

yo tratando de atravesar la pantalla para darle besos:

[凪棠sama @samambms]

很久之前画的了，在这边也发发（）
#ぜんぶ壊して地獄で愛して

[alex ☆ @maoismaus]

sie ist literarisch nur ein baby

[John Carter @martianwyrdlord]

Another angle to this is that dogs effectively stumbled onto what is for them the equivalent of artificial superintelligence 20,000 years ago. The Singularity already happened for dogs. They live in a world they cannot understand, surrounded by miraculous wonders they take entirely for granted, their every need seen to by entities whose thoughts they cannot begin to fathom.

The result is that there are about a billion dogs on the planet now. Most of them are pretty happy. Almost none of them need to work. It worked out pretty well for them.

[𝗺𝐚𝐧𝐢𝐚𝐜 @smotherxx]

ล่าสุดรับแมวจรมาใหม่แต่นางหน้าแก่มาก ตอนพาไปหาหมอเลยถามเผื่อๆไว้ว่าอันนี้น้องหน้าแก่เป็นปกติไหมคะเพราะแมวดำอีกตัวหน้าไม่เห็นแก่เลย
หมอ: *ยื่นมือไปปิดหูแมว* อย่าไปฟังลูกหนูไม่ได้หน้าแก่

แก่จิง ยิ่งรูปแสงตกกระทบหน้าคือแก่เลย5555555 ชีเพิ่งสี่เดือนเอง

[なおNaO @TomoriNao2022]

1980，为了给前三十年历史盖棺定论，中直机关召开了讨论历史决议草案的“四千人大会”。

这四千人大会上的老干部们说的也没什么问题啊我看

[Pope Leo XIV @Pontifex]

The war in tormented Ukraine continues to cause suffering far beyond its borders, especially in the poorest countries, where so many people depend on grain imports. I make a heartfelt appeal to the parties to the conflict to allow for the safe transport of grain through the Black Sea. The daily bread of millions of people cannot be held hostage by the war.

[Camille Dias @cdiasf]

O dia que o centro de distribuição de gatos me enviou a cacau