这是斯坦福2023年公开课CS25第一课:《Introduction to Transformers》(中英文字幕)
讲师: Andrej Karpathy
自2017年首次亮相以来,Transformer已经彻底改变了自然语言处理(NLP)的领域。现在,Transformer在深度学习的各个领域都找到了应用,无论是计算机视觉(CV),强化学习(RL),生成对抗网络(GANs),语音甚至生物学。在其他诸多领域,Transformer帮助实现了强大的语言模型如GPT-3,并在DeepMind最近的AlphaFold2中发挥了关键作用,该模型处理蛋白质折叠问题。
在这个讲座系列中,将详细探讨Transformer是如何工作的,并深入研究各种不同类型的Transformer以及它们在不同领域中的应用。斯坦福大学通过邀请在不同领域的Transformer研究的前沿人物进行客座讲座来实现这一目标。
相关教材:
Attention Is All You Need:https://t.co/9BiVi4BpDV
The Illustrated Transformer:https://t.co/lnVAYWO1Nd
The Annotated Transformer:https://t.co/6wFhzfWDIc
关于这个课程的更多信息可以在这里找到:https://t.co/hYb1TPbckR
Google的教学视频《Introduction to Large Language Models | 大语言模型介绍》(中英双语字幕)
这个视频介绍了大型语言模型(Large Language Models,LLMs)的概念、使用场景、提示调整以及Google的Gen AI开发工具。
大型语言模型是深度学习的一个子集,可以预训练并进行特定目的的微调。这些模型经过训练,可以解决诸如文本分类、问题回答、文档摘要、跨行业的文本生成等常见语言问题。然后,可以利用相对较小的领域数据集对这些模型进行定制,以解决零售、金融、娱乐等不同领域的特定问题。
大型语言模型的三个主要特征是:大型、通用性和预训练微调。"大型"既指训练数据集的巨大规模,也指参数的数量。"通用性"意味着这些模型足够解决常见问题。"预训练和微调"是指用大型数据集对大型语言模型进行一般性的预训练,然后用较小的数据集对其进行特定目的的微调。
使用大型语言模型的好处包括:一种模型可用于不同的任务;微调大型语言模型需要的领域训练数据较少;随着数据和参数的增加,大型语言模型的性能也在持续增长。
此外,视频还解释了传统编程、神经网络和生成模型的不同,以及预训练模型的LLM开发与传统的ML开发的区别。
在自然语言处理中,提示设计和提示工程是两个密切相关的概念,这两者都涉及创建清晰、简洁、富有信息的提示。视频中还提到了三种类型的大型语言模型:通用语言模型、指令调整模型和对话调整模型。每种模型都需要以不同的方式进行提示。
原始视频链接:https://t.co/GZhmD7Sfl4
I am open sourcing the MEV bundle generator and multicall which was winning most Uniswap v2 arbitrage for a few months in 2021. https://t.co/bAs6iKA9j9 - it's written in rust, and kind of in a messy state, but there is stuff to glean for the MEV researchers out there.
Thrilled to launch @Modular_Capital with my dear friend & co-founder @jamesjho_
Modular Capital is a thesis-driven fundamental crypto investment firm
Grateful for the support of @multicoin@paraficapital@altcap @roadcapitalmgmt @ledgerprime &others
https://t.co/isrKkpGCML