Yun Chen

Nobody in @g0vtw. Product manager in #civictech #opengov #digirights towards decolonizing tech and Feminist Internet

[Yun Chen @aelcenganda]

Exciting news! One of my @g0vtw projects, #Disfactory, is featured on BBC @digitalplanet! Join us to discover how the #civictech community and civil society stopped illegal factories from building on Taiwan's farmland. Tune in from 22'03-28'15 https://t.co/rvn0utSXP3

[支布林殺手の紅魔亂舞篇 @damncold66]

各位台灣人～你們有想過自己最常吃的”滷肉飯l會被人作成一首歌嗎？

而且還是日本人作的🤣🤣🤣

這是日本女歌手Veno自創曲”midnight Luroufan深夜的滷肉飯”

第一次聽的我：乾！這三小！？

第二次還是我：咪都奈都魯都韓～～

旋律其實蠻輕鬆輕快的，容易琅琅上口

愛吃滷肉飯的台灣人都該來聽一遍😂

[Yano 🟪 @JasonYanowitz]

1/ I finally read Leopold Aschenbrenner's essay series on AI: Situational Awareness

Everyone, regardless of your interest in AI, should read this.

I took notes, they're sloppy but figured I'd share.

Welcome to the future:

[The Royal Society of Arts @theRSAorg]

Audrey Tang was Taiwan’s first Digital Minister. She is a champion of the ‘Taiwan Model’ – a playbook for using safe, sustainable and citizen-led AI to revitalise societies worldwide. Learn more about the Taiwan Model here: https://t.co/CRZYK0MJsn

Interview audio: @HumaneTech_

[OpenAI @OpenAI]

The ChatGPT desktop app for macOS is now available for all users.

Get faster access to ChatGPT to chat about email, screenshots, and anything on your screen with the Option + Space shortcut: https://t.co/2rEx3PmMqg

[Alex Reibman 🖇️ @AlexReibman]

UC Berkeley just hosted a hackathon. Over 1000 students from around the world came to build for 36 hours straight.

The reward? $100k+ in prizes.

Here are the winners and crowd standouts we saw at CalHacks ‘24 @CalHacks (🧵)

[Kai is a journalist @teo_kai_xiang]

Oh wow, so Uniqlo IS aware of the chokehold it has on how Singapore men dress

[李老师不是你老师 @whyyoutouzhele]

6月21日晚，兰州大学公众号突然以“8964”为标题发布毕业典礼相关内容。
随后紧急删除。

[宝玉 @dotey]

OpenAI CTO Mira Murati 在母校达特茅斯工程学院的访谈

可能是因为在母校的原因，感觉 Mira 回答的问题都挺坦诚的，有些内容也有一些启发性。

摘录部分问答：

AI 的基本知识与当前应用

Jeff: 可以为大家介绍一些基础知识，比如机器学习，深度学习，以及现在的人工智能。它们都是相互关联的，但也有它们各自的特性。那么，这些是怎么运作的呢？又是如何在 ChatGPT，Dall-E，或者你们的视频产品中展现出来的呢？它们是如何工作的呢？

Mira: 对于这些，其实并没有什么特别新颖的地方。我们所做的，实际上是建立在过去几十年人类的努力基础之上。事实上，这一切就是从这里开始的。过去十年间，发生的主要变化是 "神经网络"、"大数据"和"强大算力"这三者的结合。将这三者结合起来，创造了这些具有变革性的 AI 系统或模型。这些系统能够完成许多惊人的任务，比如说处理各种通用任务，但具体是如何实现的并不清楚。深度学习确实能奏效。我们一直在尝试理解并应用各种工具和研究方法，去理解这些系统是如何真正工作的，但我们知道它能工作，因为我们在过去的几年里已经实践过了。我们也看到了它们随着时间的推移，表现得越来越好。就像我们大约三年半前部署的 GPT-3 那样的大型语言模型。GPT-3 的能力...

Jeff: 所以说，其实就是预测下一个词元。

Mira: 没错，基本上就是这样。

Jeff: 对。

Mira: 然后我们发现，如果你给这个模型设定一个目标，让它预测下一个词元，你用大量的数据来训练它，并且使用了大量的计算能力，你得到的也是一个模型，它在理解语言的水平上与我们人类非常接近。

Jeff: 因为它读过很多书。它读遍了所有的书。

Mira: 基本上所有的内容在互联网上的。但它并没有记住什么是下一个词。它实际上是通过理解先前接触过的数据模式来生成对语言的理解。然后我们发现，好的，这不仅限于语言。事实上，如果你输入不同类型的数据，比如代码，它也能编写代码。所以，说到底，它并不关心你输入的是什么类型的数据。无论是图像、视频还是声音，它都能做同样的事情。

Jeff: 但是，对的，文本提示可以生成图像或视频，现在你甚至看到了反过来的情况。

Mira: 是的，正是如此。所以你可以...我们发现，这个公式实际效果非常好，数据 + 算力 + 深度学习，你可以输入各种类型的数据，提高算力，那么这些 AI 系统的性能就会越来越好。我们称之为规模化定律。但这些并非真正的定律。它更像是一个统计预测，你投入更多的数据和计算力，模型的能力就会相应提高。这就是目前推动 AI 进步的原动力。

***

为什么从聊天机器人开始呢？

Jeff: 你们为什么从聊天机器人开始呢？

Mira: 是的，在产品开发上，我们其实是从 API 开始的。我们并不清楚如何将 GPT-3 商业化。将 AI 技术商业化实际上非常困难。最初，我们以为这是理所当然的，因此我们专注于构建这个技术和进行研究。我们认为，我们有这个了不起的模型，商业伙伴们，拿去吧，然后在它的基础上开发出惊人的产品。然后我们发现，事实上这非常困难。这也是为什么我们开始自己动手的原因。

Jeff: 这促使你们开始构建聊天机器人，

Mira: 是的，我们一直在努力理解，为什么对这些非常成功的公司来说，将这项技术转化为实用的产品如此艰难？

Jeff: 我明白了。

Mira: 这是因为构建产品的方式非常特别。你是从能力着手。你是从技术入手。而不是从我想解决的世界性问题入手。这是一种非常通用的能力。

***

ChatGPT 何时能达到或接近人类的智能水平？

Jeff: ChatGPT 变得更聪明了吗，它何时能达到或接近人类的智能水平？

Mira: 是的，这些系统在特定任务中已经达到了人类水平，当然在许多其他任务中，它们还达不到。如果你观察一下我们的进步轨迹，像 GPT-3 这样的系统，大概可以说智能水平相当于一个幼儿。而像 GPT-4 这样的系统更像是高中生的智能水平。在未来几年，我们期望看到针对特定任务的博士级别的智能。

***

Jeff: 你对 AI 安全问题一直持有看法，我很高兴你一直在重视这个问题。三年后，当它的智能惊人地高时，会怎么样呢？

Mira: 是的，我们正在深入思考这个问题。确实会有具备智能体能力的 AI 系统，它们能连接到互联网，相互交流，智能体之间相互连接并共同完成任务，或者与人类无缝协作。就像我们今天与人相互合作一样与 AI 合作。在谈及此项工作的安全性、保密性和社会影响时，我认为这些并非是事后才需要考虑的问题。你可能需要在开发技术的过程中就考虑如何应对这些问题。你必须要与技术一同构建这些应对措施，而且要深入地融入其中，才能做得正确。智能和安全性实际上并不是两个独立的领域。它们是相辅相成的。引导一个更聪明的系统更容易，只需告诉它，“好的，不要做这些事情”即可。他们需要引导一个不那么智能的系统。就像训练一只聪明狗比一只笨狗更容易，所以智能和安全是相辅相成的。

Jeff: 它更聪明，因此更了解安全防护栏。

Mira: 对，是的，完全正确。现在有一场辩论，究竟是进行更多的安全研究，还是进行更多的能力研究。我认为这种看法有些误导，因为在部署产品时，必须考虑安全性和周围的防护措施。但说到研究和开发，实际上，他们是相辅相成的。从我们的角度看，我们对待这个问题的思考方式是非常科学的。那就是，试着预测这些模型在我们实际完成训练之前会具备什么能力。然后在这个过程中，我们要准备好如何处理这些模型的防护措施。然而，这在目前的行业中并没有真正实现。我们训练这些模型，然后有一些我们称之为“能力涌现”的情况，就像突然出现的。我们并不知道它们会出现。我们可以看到一种统计表现，但我们并不知道这种统计表现是否意味着模型在翻译，或生物化学，或编程等方面变得更好。开发这种新的能力预测科学有助于我们为未来做好准备。

***

特别感兴趣最期待的应用场景

Jeff: 有你个人特别感兴趣，或者正在看到，或者期待看到的应用场景吗？

Mira: 是的，我认为无论你在尝试做什么，无论是设计新的项目，编写程序，写文章，写邮件，或者其他任何事情，人工智能都能让你的第一步变得更加容易。这就是我最喜欢的应用方式。到目前为止，我一直在用它来帮助我完成。

Jeff: 所有事情的初步草稿。

Mira: 是的，所有事情的初稿。它使得工作的效率大大提升。人工智能降低了开始做某事的难度，使你能够专注于更具创意和难度更大的部分，尤其在编程中。你可以把大部分繁琐的工作交给它来做。

Jeff: 文档和所有这些东西。

Mira: 是的，文档和...但在行业中，我们看到了很多应用。客户服务绝对是与聊天机器人的一个大应用，还有写作，还有数据分析，因为我们已经让很多工具和核心模型相连接，这使得模型的使用更加方便，效率也更高。所以，你有像代码分析这样的工具。它可以分析大量的数据。你可以把各种数据导入，它会帮你分析和筛选数据，或者你也可以使用图像，也可以使用浏览工具。所以，如果你正在准备一篇论文，这项工作中的研究部分可以更快、更严谨地完成。所以我觉得，提高生产力的下一步，是将这些工具添加到核心模型中，使其运行更加流畅。模型会自行决定何时使用分析工具，何时搜索，或者进行其他操作。

Jeff: 编写一个程序。是的，是的。有趣。它看过全球所有的电视节目和电影吗？它会开始写剧本和制作电影吗？

Mira: 嗯，它是一个工具。因此，作为一个工具，它绝对有能力做这些，我预计我们实际上会和它一起工作，它将能够激发我们的创造力。现在，人们对创造力的理解往往是，它是一种只有少数才华横溢的人才能接触到的特殊东西。而这些工具实际上降低了门槛，让任何人都可以认为自己是有创造力的，并且进一步激发他们的创造力。所以在这个意义上，我认为它将是非常令人惊奇的。

***

AI 对就业的影响

Jeff: 好，你提到了工作岗位的问题，我们先不谈好莱坞的事情，但是有很多工作岗位，人们担心它们可能面临风险。你对 AI 导致的就业流动，以及你在 OpenAI 的工作，甚至整体状况有什么看法？人们是否真的应该对此感到担忧？哪些工作受影响最大，或者你怎么看待这整个问题的？

Mira: 是的，我的意思是，我们其实还不太理解 AI 会对就业带来什么影响。首先，我们需要做的是帮助人们明白这些系统有什么能力，能做什么，把它们融入到他们的工作流程中，然后开始预测和预见它们的影响。同时，我觉得人们没有意识到这些工具已经在大范围内被使用了，这是一个目前尚未被研究的问题。所以，我们应该去研究现在的情况，研究现在的工作性质和教育性质，这将帮助我们预测如何为这些能力的提升做好准备。在具体的工作岗位方面，我不是经济学家，但我确实预计很多工作会发生变化，有些工作会消失，有些工作会增加。我们并不特别清楚这会是什么样子，但你可以设想，那些重复性的工作，那些完全重复的工作，并且人们没有进一步发展的工作，这些工作可能会被取代。

Jeff: 像 QA，和测试代码，和类似的工作，这些工作都都已经完成了。

Mira: 是的，如果只是那种或者仅仅是

Jeff: 这只是一个例子。有很多类似的情况。

Mira: 是的，很多情况。

Jeff: 你认为会有足够的工作在其他地方创建出来来补偿那些失去的工作吗？

Mira: 我认为会有很多新的工作岗位产生，但具体会有多少新工作，改变多少工作、以及失去多少工作，我真的不确定。我甚至认为没有人能够准确预测，因为这是一个没有被深入研究的领域，但它确实应该被重视和研究。然而，我相信经济会随之改变，这些 AI 工具将会创造出巨大的价值。所以，问题在于我们如何有效利用这些价值？如果工作的性质发生了根本性的改变，那么我们应如何将经济价值更公平地分配到社会各个角落？是通过公共福利？还是通过无条件基础收入（UBI）？或者是通过其他全新的系统？这些都是需要我们去探索并找出答案的问题。

***

AI 在教育中的作用

Jeff: 你刚才提到的这个任务中，高等教育起着重要的作用。只是现在还没完全开始。

Mira: 是的。

Jeff: 那么对于高等教育以及 AI 的未来还有什么？你认为高等教育在你眼中的这个演变过程中应该扮演什么样的角色？

Mira: 我觉得我们真正需要搞清楚的是如何利用这些工具和 AI 来推进教育。因为我认为 AI 的最大用途之一就是在教育中，它能够提升我们的创造力和知识水平。我们有机会建立高质量且易于获取的教育资源，理想情况下可以免费提供给世界上任何人，不论其语言或文化背景。我们真的可以为全世界的任何人提供定制化的理解和教育。当然，在像达特茅斯这样的学校里，由于教室规模较小，学生可以得到更多关注。但即使在这里，你也可以想象存在一对一的辅导，更不用说世界上的其他地方了。

Jeff: 辅助。

Mira: 对。因为我们并没有花足够的时间学习如何学习。这种情况通常在大学才开始发生。这其实是一种很基础的东西，你如何学习，否则你可能会浪费大量的时间。课程、课程大纲、习题，所有这些都可以根据你作为个体的学习方式来定制。

Mira: 所以你认为，像在达特茅斯这样的地方，AI 可以补充一些正在进行的学习吗？

Mira: 哦，绝对的，是的。

Jeff: 就像让 AI 当私教一样。

完整文稿：https://t.co/vDfVhnL5o3
原始视频：https://t.co/jF6KSfN1pi

[M Mohan @mukund]

$AAPL $QCOM $NXPI $AVGO

[Andrew Ng @AndrewYNg]

On Father’s Day last weekend, I sat with my daughter to help her practice solving arithmetic problems. To give her practice problems, I used OpenDevin, an open-source agentic coding framework, to write a Python script that generated questions that she enjoyed answering at her own pace. OpenDevin wrote the code much faster than I could have and genuinely improved my and my daughter’s day.

Six months ago, coding agents were a novelty. They still frequently fail to deliver, but I find that they’re now working well enough that they might be genuinely useful to more and more people!

Given a coding problem that’s specified in a prompt, the workflow for a coding agent typically goes something like this: Use a large language model (LLM) to analyze the problem and potentially break it into steps to write code for, generate the code, test it, and iteratively use any errors discovered to ask the coding agent to refine its answer. But within this broad framework, a huge design space and numerous innovations are available to experiment with. I’d like to highlight a few papers that I find notable:
- “AgentCoder: Multiagent-Code Generation with Iterative Testing and Optimisation,” Huang et al. (2024).
- “LDB: A Large Language Model Debugger via Verifying Runtime Execution Step by Step,” Zhong et al., (2024).
- “SWE-agent: Agent-Computer Interfaces Enable Automated Software Engineering,” Yang et al. (2024).

How can we test the code without requiring the user to write test cases? In a multi-agent system, each “agent” is an LLM prompted to play a particular role. An interesting result from AgentCoder shows that having separate agents for writing code and generating tests results in better performance than letting a single agent do both tasks. This is presumably because, if the agent writing the code is also responsible for writing the tests, the tests might be influenced by the code and fail to consider corner cases that the code does not cover.

When people think of testing code, many initially think of output testing, in which we see if the code generates the correct outputs to a specific set of test inputs. If the code fails a test, an LLM can be prompted to reflect on why the code failed and then to try to fix it. In addition to testing the output, the LDB method is helpful. LDB steps through the code and presents to the LLM values of the variables during intermediate steps of execution, to see if the LLM can spot exactly where the error is. This mimics how a human developer might step through the code to see where one of the computational steps went wrong, and so pinpoint and fix the problem.

A lot of agentic workflows mimic human workflows. Similar to other work in machine learning, if humans can do a task, then trying to mimic humans makes development much easier compared to inventing a new process. However, the authors of SWE-agent noticed that many tools that humans use for coding are very inefficient for agents. For example, giving an agent access to a bash shell and having it find a piece of code by executing numerous cd, ls, and cat commands is inefficient, even though humans can do this rapidly. Similarly, visual coding editors like VSCode, emacs, and vim are easy for humans to use, but hard for LLMs (or LMMs) to navigate. Because agents interact with computers differently than humans do, the authors found that building special-purpose tools (functions) to let an agent search, view, and edit codebases resulted in better performance.

One reason research into coding agents is making rapid progress is that their performance can be evaluated automatically and reliably. With benchmarks like HumanEval, MBPP, and SWE-bench, researchers can try out an idea and automatically test how often it generates correct code. In contrast, even though there’s considerable activity on AI research agents that search the web and synthesize an article (I’ve enjoyed using the open-source STORM system by Stanford's Yijia Shao et al.), they are hard to evaluate and this makes progress harder.

Github Copilot was released in 2021, and many developers have been getting coding help by prompting LLMs. The rapid evolution from that to more sophisticated coding agents is expanding how computers can help us with coding tasks, and the pace of progress is rapid. With these tools, I expect programming to become even more fun and more productive.

[Original text (with links): https://t.co/QP1JRomjrZ ]

[Luke de Pulford @lukedepulford]

🤯Watch this video.

Outer vessels = 🇨🇳
Middle vessel = 🇵🇭

Now read what Beijing said:

“No direct measures” were taken against @TeamAFP

“…the China Coast Guard at the site were professional and restrained” (source: BBC)

Mind blowing.

[Yian Lee 李易安 @YianLee6]

Thrilled to receive two SOPA awards for my works with The Reporter last year!

[李老师不是你老师 @whyyoutouzhele]

6月17日，女性内容账号“她刊”被多平台设置禁止关注

[端傳媒 Initium Media @initiumnews]

英國大選將於7月4日舉行，而在6月18日前登記選民的BN(O)移英港人，也可以投票決定英國未來。

但英國議會政制不易理解，也少有統一資訊。到底誰為香港議題做過甚麼？誰對英國政治﹑經濟未來的想像和你最相近？

想知就登記Email，免費接收端傳媒英國大選限定新聞信：https://t.co/haVxGkRq8n

[juan @juanbuis]

every year, roland garros (the french open) asks an artist to create a poster for the tournament

today, the collection has become an *incredible* display of tennis as modern art

let's take a look at some of the best ones — starting with this iconic 1984 poster by gilles aillaud

[Paul Graham @paulg]

If your opponents are opportunists, one way to beat them is to outlast them. Opportunists almost by definition lack staying power.

[李老师不是你老师 @whyyoutouzhele]

6月16日，上海著名的女同性恋酒吧ROXIE宣布因不可抗力因素关门停业。

[Yun Chen @aelcenganda]

Very interesting. It is definitely a white supremacy thing. In Taiwan, we hate some rich white overseas exchange students partying all night loud and drunk because we need to study or sleep. But then we are considered, well, not living our life 🤷‍♀️ not party enough in America

[The Atlantic @TheAtlantic]

If gentrification has a sound, it’s silence. Xochitl Gonzalez on why the rich love quiet so much, and what it means for everyone else: https://t.co/MeC8hnoMmg

[The Washington Post @washingtonpost]

A Chinese court on Friday found activists Sophia Huang Xueqin, an independent journalist known for her role in China’s #MeToo movement, and Wang Jianbing, a labor activist, guilty on charges of “inciting subversion of state power,” according to supporters. https://t.co/jBnKlTWbAb

[Sharon W. Kiburi (S.w.K) @KiburiSharon]

Internews Earth Journalism Network: celebrating 20 years since its founding by James Fahn. Five years in East Africa: With the Wana Habari
@earthjournalism @AIJC_Conference @CharmAfric @AMWIK @TalkAfrica1 @AFJFreelance @marymwendwa @Obuchunju