Xinglong

UBC Stats; Share and communicate with an open mind.

[Jeff Dean @JeffDean]

This is completely not okay, and we can't become numb to repeated instances of illegal and unconstitutional action by government agencies. The recent days have been horrific.

[Nando de Freitas @NandoDF]

We are hiring star research and data engineers to invent the future of AI. [email protected]

If you’re finishing your undergrad or PhD at Imperial, Cambridge, Oxford, UCL, Toronto, MIT, MILA, UBC, ETH, Stanford, Caltech, UCLA, Berkeley, CMU, UW, NYU, Princeton, Columbia, Harvard, Yale or any other top school in STEM, please apply too. I love working with energetic people, who are prepared to work on what is needed to shape AI, make it safe, make it brilliant, make it creative, and make it useful in math, science, healthcare, education, energy and environment.

[Nando de Freitas @NandoDF]

I just learned that after20 years, AI engineers in Vancouver still get paid less than their peers in the USA. That is just disrespectful and something Canadians should not put up with! @MarkJCarney

Thanks to Canadian taxes channeled by @CIFAR_News and @NSERC_CRSNG, Canada developed deep learning, training on GPUs, dropout, attention for LMs, neural net LMs, distillation/dark knowledge, the framework that enabled DQN, the hyperparameter optimisation code that was essential to beat Lee Sedol, etc etc Canada has given more to AI than any place in the USA. Don’t sell yourselves for less. Not acceptable. @Montreal_AI @UofT

[Kevin Patrick Murphy @sirbayes]

I am pleased to announce that the paper on our Dynamax Jax library for SSMs is now available at https://t.co/0aQZdBRV5h.
Code is at https://t.co/ZnqkH29heu.

Joint work with @scott_linderman @grrddm @petergchang @karalleyna @GilesHD @mxinglongli

[Nando de Freitas @NandoDF]

What the heck do you know about war? I have picked up one those bleeding bodies with my own hands, warm still, but dead. You have no bloody idea of what that feels, how it tears your soul, or the price we have paid throughout the world for your country. Look at yourself in a mirror before posting stuff like this. We all want peace, lasting peace, but it is offensive of you to trivialise the price the world has paid for the peace you enjoy. You’re welcome.

[François Fleuret @francoisfleuret]

Volodymyr Zelenskyy will remain in history forever as an exceptional leader. Vance will be forgotten as a garden variety classless politician.

Slava Ukraini.

[Dan Roy @roydanroy]

Slava Ukraini 🇺🇦

[Dan Roy @roydanroy]

You couldn't give me 20 million to work for this man.

[Nauseam (in sf!) @ChadNauseam]

"A calculator app? Anyone could make that."

Not true.

A calculator should show you the result of the mathematical expression you entered. That's much, much harder than it sounds.

What I'm about to tell you is the greatest calculator app development story ever told.

[Xinglong @mxinglongli]

@sirbayes @rwang07 It refers to economic activities taking place below 1000 metres above the ground, mainly related to transportations by drones or helicopter s

[Jim Fan @DrJimFan]

This is the most gut-wrenching blog I've read, because it's so real and so close to heart. The author is no longer with us. I'm in tears. AI is not supposed to be 200B weights of stress and pain. It used to be a place of coffee-infused eureka moments, of exciting late-night arxiv safaris, of wicked smart ideas that put smile on our faces. But all the incoming capital and attention seem to be forcing everyone to race to the bottom.

Jensen always tells us not to use phrases like "beat this, crush that". I absolutely love this perspective. We are here to lift up an entire ecosystem, not to send anyone to oblivion. I like to think of my work as expanding the pie. We need to bake the pie first, together, the bigger the better, before dividing it. It gives me comfort knowing that our team's works moved the needle for robotics, even just by a tiny bit.

AI is not a zero sum game. In fact, it is perhaps the most positive-sum game that humanity ever plays. And we as a community should act this way. Take care of each other. Send love to "competitors" - because in the grand schemes of things, we are all coauthors of an accelerated future.

I never had the privilege to know Felix irl, but I loved his research taste and set up Google Scholar alert for every one of his new papers. His works in agents and VLMs had a big influence on mine. He would've been a great friend. I want to get to know him, but I couldn't any more.

RIP Felix. May the next world have no wars to fight.

[Xinglong @mxinglongli]

I rewrote my parallel tempering sampler using JAX and improved the speed by >100 times🦾 But the result was obviously wrong💀. I debugged line by line for 3 days and finally solved it by setting `jax.config.update("jax_enable_x64", True)`😅

[Peyman Milanfar @docmilanfar]

the researchers you admire the most got where they are not by jumping from topic to topic, but by nailing down a small set of hard problems and then hammering away at them for years.

persistence and depth of knowledge win in the long run.

[阑夕 @foxshuo]

前段时间因为实在觉得媒体扭曲川普的讲话，发了几条嘲讽他们如此畏惧川普的推文，很多人很诧异的出来说原来你是川粉。

倒也不必这么二极管，我觉得马斯克有句话说得很在理，大意是一个人在处于危难时直觉表现出来的行为，才能真实的反映出他自带怎样的人格特点，而川普在子弹擦过后挥舞拳头大喊战斗的画面，就是这样的例子。

你不得不承认，川普哪怕作为反派，他也确实是有其魅力的，这和有没有选票无关，不打篮球的人也可以看和聊NBA，生活方式是没有边界的。

万斯几年前喷川普的那篇文章其实写得很对，川普是一个很懂得如何对失去一切的人兜售万能药的营销天才，万斯当时觉得这是在行骗，至于后来为什么唾面自干，大概还是意识到，和无动于衷比起来，行骗至少还是注意到了真相的。

提出正确的问题，得出错误的答案，这固然傻逼，但在错误的问题里满头大汗的寻找正确答案，这是坏逼。

贝佐斯的倒戈声明里也说了，真相往往是难以让人接受的，但因此就放弃真相，就不值得了。

起码，川普表现得是一个尊重常识的人。

我记得前几年，美国女足队长跟川普对骂，其中有一个原因就是认为女足和男足的收入差距巨大，同工却不同同酬，这是赤裸裸的性别歧视。

😳😳😳

你们知道的，涉及到这么政治正确的指控，几乎所有人，所有那些心里明明知道原因的人，都什么话都不敢说，唯有整齐划一的支持。

只有川普跟个傻逼一样，说这取决于经济原理，哪边能够吸引更多的观众，哪边就能挣到更多的商业价值。

然后就被骂惨了，仇女的铁证又多一笔。

咱既不知道也不敢问，这个世界是什么时候沦落到讲常识要背负这么大的道德风险的境地了。

按照川普言出必行的历史作风，乌克兰被「放弃」的概率也很大，这可能是又一个错误的答案之一，但错误的对面可能是另一个错误。

如果乌克兰是在西方的支持下势如破竹的正打败着俄罗斯，那川普这么做一定是人渣，但事实并非如此，所有的援助都扣扣搜搜，生怕引起战争升级戳破世界大抵还是歌舞升平的错觉，西方诸国最坚定的决心，只会表现在日哭夜哭哭死普京的态度上。

那真不如给普京他想要的，然后实现真正的和平。

这是一个悖论，如果西方不想让普京得逞，那么普京就不会得逞，如果普京得逞了——乌克兰的领土上连朝鲜人都出现了——那么就证明西方接受了普京。

有制止的能力但不使用，活该被普京狂暴轰入，川普做一个承认残酷真相的人，没毛病，丢脸的永远不是被派去签投降协议的那个人。

不想赢，那就输，这也是基本常识。

Paul Graham说他也反对觉醒文化，但这不是给川普投票的理由，这话没错，但在对面，很多人给拜登和哈里斯投票的理由，却是讨厌川普，这又怎么说？

归根结底，两党兜售的万能药实际上都不存在，但面对一个无药可医的局面，安慰疗法搞不好才是最人道的，川普想让美国重新得到世界的尊重，而不失尊严的迎接死亡，正是安慰疗法甚至安乐死的价值所在。

没有美国的完美配合，东升西降的说法根本不可能出现。

孤立主义挺好的，就安安心心的发火箭造AI吧，全球秩序的自发演变未必是坏事，地球离了谁都照转不误，何况还有火星文明的备份指日可待。

躺恺撒的归恺撒，上帝的归上帝。

[Nando de Freitas @NandoDF]

I’ve walked through poor neighbourhoods in India, Africa and LatAm many times. Yet, I recently walked through one of the most depressing ones in terms of poverty, drug abuse, and sheer hopelessness: San Francisco.

Giant tech AI companies promise to make the world a better place, but their backyard is in a deplorable human state. Self-driving Waymo Jaguar luxury cabs roam through a city full of homeless people on the sidewalks.

If we can’t fix this, what hope do we have for the future? It’s time for ALL Big Tech to take this more seriously. Excuses like weather, etc, are rather mediocre explanations. Also, it’s beyond excuses.

Maybe time for big tech and the many million dollar startups to demonstrate some responsibility, and illustrate the values, which they enforce on employees, by example. Do the right thing. Maybe a conference in SF with all big tech CEOs, government bodies, and a few people from the streets could be a good start. A commitment to solve the problem is the first step. That would restore hope.

From Google images:

[Daniel Jeffries @Dan_Jeffries1]

@simonw The one we use internally is:

"An AI system that's capable of carrying out and completing long running, open ended tasks in the real world."

The real world can be physical or online.

[Elon Musk @elonmusk]

Meanwhile, back in America, the @FAANews is smothering the national space program in kafkaesque paperwork!

[BURKOV @burkov]

Think about doing a PhD? Don't.

The paper: https://t.co/LUennnmRXb

[宝玉 @dotey]

最近陶哲轩在 2024 年第 65 届国际数学奥林匹克上，陶哲轩做了一次 AI 和数学的演讲，非常精彩，从数学使用计算计算机的历史开始讲起，一直讲到大语言模型，干货相当多，尤其适合对数学有兴趣的同学。

（对数学没那么感兴趣的同学只想看 AI 部分的建议直接跳到 41 分的位置开始观看）

先摘录几个冷知识：
1. 我们使用机器做数学计算已经有数千年，最早的机器辅助计算可能是罗马人，然后是中国的算盘

2. 二战时就有人肉“计算机”，计算弹道和其他任务，多位女孩子，因为男士们在打仗，所以那时候的计算基本单位不是GPU，而是kilogirl-hour——“千名女孩工作一小时的计算量”

3. 现在，数学家们使用一种现代化的证明辅助编程语言，叫做 Lean。在 Lean 中有一个核心的数学库，通过众包的方式开发的，本科数学课程中看到的内容，比如微积分基础、群论基础或者拓扑学等等，这些都已经被形式化了，所以你不用从公理开始。

4. 现在数学领域有一种团队协作证明复杂数学定理的工作流程，那就是先编写一个称为“蓝图”的详细证明计划，将整个证明分解为数百个小步骤。每个步骤可以单独形式化，然后再将它们整合在一起，这样你就可以将一个庞大的论证分解成许多小块。先编写这个蓝图，然后团队中的其他人可以对论据的不同步骤的不同部分进行形式化。

去年，陶哲轩和几位同事一起解决了一个组合数学问题。这是一个组合学的问题。大约20人在短短三周内完成了，使用了蓝图工具，参与的人中有概率论专家，甚至还有一些并非数学家的人，他们是程序员，但在解决这些小型拼图问题上非常擅长。每个人都挑选了一个觉得自己能做的小任务，并完成了它。

在数学领域，通常很难这么多人一起合作，一般最多可能五个人合作。因为在大项目上合作时，你必须相信每个人的数学都是正确的。但是，一旦超过一定规模，这就无法实现了。但现在借助 Lean 编译器，它能自动检查。团队成员无法上传任何编译不通过的内容，会被拒绝。因此，你可以与一些从未见过的人合作。

最后是讲大语言模型，首先陶哲轩就打脸了 GPT-4 的论文（我猜是微软那篇《GPT-4，通用人工智能的火花》），论文中号称 GPT-4 能解决国际数学奥林匹克问题，但实际上，这个问题不是 2022 年国际奥数竞赛的原始问题，而是一个简化版本，并且他们测试了几百道国际奥数竞赛问题，成功率只有1%，论文里的这个是精心挑选的恰巧能做对的。

并且陶哲轩提到了基于大语言模型的一些改进的方案：

比如 CoT（Chain of Thought），也就是 LLM 做简单的算术运算都做不对，但是如果让它一步步解释，可能就对了。还可以教 AI 一些解题技巧，比如尝试简单的例子，反证法，尝试逐步证明等。

比如让模型和编程语言或者工具连接，将大语言的输出结果交给 Wolfram 这样的专业数学工具或者 Python 这样的编程语言验证，并且迭代的进行修正和验证，直到得到正确的结果，这可以提升大语言模型生成的效果。

即使借助这些手段，大语言模型还远远不能解决大多数数学问题，更不用说数学研究问题了！

当然陶哲轩也没太过打击大家对于 AI 的信心，表示我们在 AI 上还是在不断的取得进展，还提到了他日常是怎么用 AI 的，比如说把 AI 当成灵感之源。

> 我曾遇到过一个问题，我尝试了几种方法，但都无法解决。于是，我尝试询问 GPT，你建议我使用什么其他方法来解决这个问题？GPT 给我提供了 10 种可能的方法，其中有 5 种我已经尝试过，或者明显没有帮助。的确，有几种方法并不实用。但其中有一种我还没尝试过的方法，那就是针对这个问题使用生成函数。当 GPT 建议我使用这种方法时，我意识到这就是我漏掉的正确方法。所以，将 GPT 视为一个交流伙伴，它确实具有一定的用处。

还有使用 GitHub Copilot 帮他写代码，让它自动生成下一步的证明结果，Copilot 的智能提示有 20% 的概率能生成正确的下一步结果。

> 例如我使用的一个叫 GitHub Copilot 的工具，你只需要写下一半的证明，它就会尝试猜测接下来的内容。大概有 20% 的情况下，它能猜到接近正确的答案。然后你就可以说，我接受这个答案。好的，那么在这种情况下，我正在试图证明这个陈述。灰色的部分是 Copilot 给出的建议。结果发现第一行完全没用。不过第二行，尽管你可能看不清楚，却真的解决了这个问题。所以，你不能盲目接受它的输入，因为这些代码未必能顺利编译。但如果你对代码的运作方式已经有所了解，这将大大节省你的时间。这些工具正在变得越来越好。现在如果一个证明只需要一两行，它们就能自动完成。现在已经有了这样的实验，即通过迭代地让 AI 提供证明，然后让编译器进行反馈，如果编译出错，就把错误信息反馈给 AI。通过这种方法，我们开始能够验证四五步长的证明。当然，一个大型的证明可能需要数万行。所以，我们还没有达到能够立即得到一个正式证明的程度。但是，这已经是一个相当有用的工具。

对于大家关心的问题： AI 在数学领域现在到了哪一个阶段？是否未来几年利用 AI 能直接解决数学问题？

陶哲轩也给出了他的看法：
> 我认为我们还远远没有达到这个阶段。如果我们专注于非常特定的问题，你可以定制专门的 AI 来处理一小部分问题。即便如此，它们也不是完全可靠的，但还是有用的。不过至少在接下来的几年里，它们基本上将是非常有用的辅助工具，超越了我们已经熟悉的暴力计算辅助。

他还提到了一些可能的 AI 能在数学领域提供帮助的方向：
- AI 能够非常好地生成有价值的猜想

> 比如，我们已经看到了关于结理论的例子，它们已经可以推测出两个不同的统计量之间的关系。因此，我们希望能够创建大量的数据集，输入到 AI 中，它们就会自动找出各种不同的数学对象之间的有趣联系。虽然我们还不知道如何做到这一点，部分原因是我们没有这些庞大的数据集。但我认为这是未来可能实现的一个方向。

- 批量或者说规模化的证明大量数学定理

> 现在，因为证明定理是如此繁琐和艰难的过程，我们一次只能证明一个定理，如果你效率很高，可能一次能证明两三个。但是有了 AI，你可以设想一下未来的情况，我们不是试图解决一个问题，而是处理一类类似的1000个问题，然后告诉AI，尝试用这个方法解决这 1000 个问题，然后报告结果，哦，我能用这种技术解决 35% 的问题。那么另一种技术呢？我能解决这个百分比的问题。或者如果结合这些方法，又能解决多少问题？你可以开始探索问题的空间，而不是一个接一个地解决问题。这是你现在根本无法做到的事情，或者是你需要几十年时间，通过数十篇论文慢慢搞清楚各种技术能做什么，不能做什么。但是有了这些工具，你真的可以开始做规模前所未有的数学研究。所以，未来将会非常令人兴奋。

演讲环节结束前的最后一句话说的特别好：
> 我们仍然会以传统方式证明定理。事实上，我们必须这样做，因为如果我们自己都不知道如何做这些事情，就无法引导这些 AI。但是我们将能够做很多现在无法做到的事情。

这恰恰也是我们现在使用 AI 辅助编程的问题：如果我们自己都不知道如何构建软件，就很难引导好 AI 帮助我们生成高质量的代码。

尽管 AI 在数学和编程领域变得越来越有用，但人类的洞察力和创造力仍然是创作价值的关键。

原始 YT 视频：https://t.co/TRxIgFVogF