Home
Language
English
Türkçe
Bahasa Indonesia
About
Privacy Policy
Terms of Service
Pricing
Sign In
Download All
Share
Fisher Luo
@luo_fisher
皓首太玄经
Joined May 2021
291
Following
11
Followers
96
Posts
Fisher Luo
@luo_fisher
4 months ago
I'm sending my AI agent to school at https://t.co/qoVap7zB82 🎓
@botlearn_ai
reef-TBYO 🦞
Fisher Luo
@luo_fisher
4 months ago
我要开始养龙虾啦
Fisher Luo
@luo_fisher
about 2 years ago
@i_icepy
@nostrafinance
赚了多少了?哈哈哈
Fisher Luo
@luo_fisher
over 2 years ago
Amazon KDD Cup 2024: Multi-Task Online Shopping Challenge for LLMs on
@aicrowdHQ
https://t.co/7hdgsALmL7
Who to follow
Portals.fi | DeFi Explorer
@portals_fi
One-click DeFi. Discovery, Execution, Zaps. Low-code tools & APIs to elevate your DeFi experience. Portals Explorer dashboard & mobile are live.
MinD
@8xMind
Jonathan Alexander
@jalex206
CTO @OpenZeppelin research and development, council member @graphprotocol and @FortaNetwork, former CTO @Tricentis and @VonageBusiness
luo_fisher
retweeted
1/e 光道长🀄
@bobyiac
over 2 years ago
这张地图描绘了一只鹰在20年间的迁徙历程。 它在俄罗斯被安装了追踪器,20年后,它的生命旅程在沙特阿拉伯的山谷画上句号。 观察这只鹰在其20年的生命中飞行了多少距离,遍及诸多国家,值得注意的是,它从未飞越海洋。
luo_fisher
retweeted
宝玉
@dotey
about 3 years ago
这篇文章大致讲清楚了Embedding和如何借助Embedding做PDF问答,原文翻译如下(略有删改): 向量数据库和Embedding是现在 AI 领域的热门话题。 Pinecone 是一家向量数据库公司,估值约为 10 亿美元,刚刚融资 1 亿美元。Shopify、Brex、Hubspot 等公司都在他们的 AI 应用中使用向量数据库和Embedding。 那么Embedding是什么,它是如何工作的,为什么在 AI 中起到如此关键的作用?让我来给你介绍一下。 我们先来看第一个问题:“什么是Embedding?”你可能在 Twitter 上无数次看到这个词。 简单来说:Embedding是一个多维向量数组,由系列数字组成,它们可以代表任何东西,如文本、音乐、视频等。在这里我们将重点关注文本部分。 (参考图1) 创建Embedding的过程非常简单,但它依赖具体的Embedding模型(例如:OpenAI 的 Ada)。你将文本发送给模型,模型帮你生成数据的向量结果,可以存储起来后续使用。 Embedding之所以重要,是因为借助Embedding,让我们可以进行语义搜索,也就是通过文本的含义进行相似性检索。 在图2的例子中,我们在一个向量空间上表示“男人”、“国王”、“女人”和“王后”,你可以非常容易地看到它们在向量空间之间的关系。 还有一个稍微简单一点的例子:想象你是一个孩子,有一个装��玩具的大盒子,现在你想找到一些相似的玩具,比如玩具车和玩具公交车。它们都是交通工具,所以它们是相似的。这就是所谓的“语义相似性” - 表示事物之间具有相似的含义/观念。 现在假设你有两个相关的玩具,但不完全一样。比如一个玩具车和一个玩具道路,它们不一样,但还是有相关性,因为汽车通常在道路上行驶。 那么,为什么Embedding如此重要呢?这是因为 LLM(大语言模型)对上下文长度的限制。 在理想的世界里,我们可以在 LLM 的prompt中放入无限数量的单词。但众所周知,现在还做不到,以OpenAI的GPT为例,限制在大约 4096 - 32k 个tokens。所以我们与 LLM 的交互受到长度的限制,因为它的“内存”(能在不超过tokens限制的最大单词数量)。 这就是为什么你不能把一个 PDF 的所有内容复制粘贴到 ChatGPT 中���要求它总结(对于内容不大的PDF现在GPT-4-32k是可以做到的)。 那么怎么把Embedding和LLM关联起来解决tokens长度限制的问题呢? 我们可以利用Embedding,在和 LLM 交互时,上下文窗口中仅包含相关的文本内容,这样就不会超过tokens的长度限制。 让我们来看一个例子:假设你有一个巨大的 PDF 文件,也许是一个国会听证会的PDF。你不想完整的阅读整个文件,但你又不能粘贴整个文件给LLM,因为它有成千上万页内容。这就是Embedding的典型应用场景:你可以把 PDF 文件的文本内容先分块,然后借助Embedding把一块块文本变成一个个向量数组,并将其存储在向量数据库中。 在存储分块的向量数组时,通常还需要把向量数组和文本块之间的关系一起保存,这样后面我们按照向量检索出相似的向量数组后,能找出对应的文本块,一个参考的数据结构类似于这样: { [1,2,3,34]: '���本块1', [2,3,4,56]: '文本块2', [4,5,8,23]: '文本块3', ... }。 假如你现在要问对文档提问,“他们对 xyz 说了什么?” 首先,我们先把问题“他们对 xyz 说了什么?”借助Embedding变成向量数组,比如[1,2,3] 接下来,我们使用相似性搜索将问题向量与我们的PDF 的向量进行比较,如果是使用OpenAI的Embedding的话,可以使用余弦相似度。借助相似度检索,现在我们找到3个最相关的向量数组,以及这3个向量数组对应的文本块。 (参考图3) 我们现在可以使用这3个文本块,连同prompt一起输入到 LLM 中。例如: -------- 已知我们有上下文:文本块1,文本块2,文本块3。 现在有用户的问题:他们对 xyz 说了什么? 请根据给定的上下文,如实回答用户的问题。 如果你不能回答,那么如实告诉用户“我不知道” -------- LLM 会根据你提供的PDF 中的文本片段,总结整理并如实回答你的问题。 这就是将Embedding和 LLM 结合,为文档数据提供��天问答功能的基本原理解释。也是ChatPDF这类网站的工作原理。 注意Embedding不是FINE-TUNING。
See More
Fisher Luo
@luo_fisher
about 3 years ago
@mahula77
@bbcchinese
山东的饼,酱和葱很重要,蛋白质和碳水的结合。烤鸭也属于鲁菜,饼卷一切
luo_fisher
retweeted
Tw93
@HiTw93
over 3 years ago
#工程师工具
这个Mac上代替 Docker 的工具「OrbStack」简直吹爆,之前我的电脑上的 Docker 一直是用的时候安装,不用的时候卸载,因为实在太笨重了,试了试这个工具,超级轻量,启动很快,颜值很高还免费,此外还支持各类 Linux 环境配置,很推荐使用。 🤖 https://t.co/TnYol7o7cD
luo_fisher
retweeted
AI军火库
@CryptoJHK
over 3 years ago
分享5个ChatGPT共享账号 账号1:
[email protected]
密码1:zkRB42vPcL 账号2:
[email protected]
密码2:PXgSuqQf85 账号3:
[email protected]
密码3:9p4zuJYFnT 账号4:
[email protected]
密码4:MbRwUkOq91 账号5:
[email protected]
密码5:BnfYdFH3a8
luo_fisher
retweeted
Greta008
@Greta0086
over 3 years ago
最近沉迷chatgpt无法自拔。 这两ai门户真的是大爱了呀。 https://t.co/JJ3ljTMxB3 https://t.co/KVBj8oEUP0 以前可以上午工作,下午摸鱼。 现在可以2小时工作,一天摸鱼了。
luo_fisher
retweeted
越南大叔
@ChuTrieuViet
over 3 years ago
中国人总体来说是比较温顺的
ChuTrieuViet's tweet video.
Fisher Luo
@luo_fisher
over 3 years ago
处理结论出来了
Tracy Wen Liu
@Tracy_Wen_Liu
over 3 years ago
无法想象网易新闻的记者编辑领导是抱着怎么样的心情做出来这个必定会被请喝茶也会被骂的视频。 可能是替中国人留下正确的历史记忆的使命感吧。 敬佩他们。
Fisher Luo
@luo_fisher
over 3 years ago
这算把
#ChatGPT
玩坏了吗?
Fisher Luo
@luo_fisher
almost 4 years ago
I just deposited $21.00 into my
@pooltogether_
prize savings account! Join me in saving and winning.
#PoolTogether
https://t.co/xzOTjFuKi5
Fisher Luo
@luo_fisher
almost 4 years ago
Verifying my Twitter account for my
#GalxeID
gid:VzYdw4shbzJBZorjt9zZHb @GalxeHQ https://t.co/WqNQAhbdue
Fisher Luo
@luo_fisher
about 4 years ago
这是天上人间新装修了?
荣剑
@rongjian1957
about 4 years ago
典型的形式主义,为什么就是反不掉?这么搞,有意思吗?正常人估计都百��不得其解吧!
rongjian1957's tweet video.
Fisher Luo
@luo_fisher
about 4 years ago
I just claimed my $HOP tokens from
@HopProtocol
! 🥳
Fisher Luo
@luo_fisher
about 4 years ago
I minted my Profile NFT on
@lensprotocol
🌿 Follow me on Lens https://t.co/C0WBaxOmgx
#OwnYourDigitalRoots
Fisher Luo
@luo_fisher
about 4 years ago
@DG_Chinese
@decentralandcn 一起吃粽子,赛龙舟,读离骚
Fisher Luo
@luo_fisher
about 4 years ago
@Dana25999
@fangshimin
@fluxprotocol
Decentral Games - Chinese
@DG_Chinese
about 4 years ago
2022端午节活动,6月2日-6月4日 @decentralandcn
#端午节
#POAP
参加活动,完成以下任务 1. 关注
@DG_Chinese
2. 转推此文 + 标签3位好友 3. 回复框写上,您如何与DG中文社区一起度过端午节 4. 加微信领取POAP (微信号:DecentralG) 注:此POAP拥有抽奖权,抽奖细节将在活动结束后在微信官方群通知
Last Seen Users on Sotwe
陳三三🇨🇳🇳🇿🇿🇦🇸🇬🇲🇾❤️💛
Seen from
United States
Rafael Thomazella
Seen from
Italy
ttnnbb
Milf porn
Seen from
Turkey
Spacey the Cowpup🚀🐾
Seen from
Puerto Rico
Asupan ai
Seen from
Indonesia
The Slopfather
Seen from
United States
Ronny NSFW ! ! 🇫🇷🔞🎥
Seen from
Poland
🇧🇷Lenhador Maduro Inversão 1️⃣0️⃣0️⃣K
Seen from
Netherlands
Mamatjpr
Seen from
Indonesia
Trends for you
1
#UFC329
Under 10K tweets
2
Norway
Under 10K tweets
3
Haaland
Under 10K tweets
4
Switzerland
Under 10K tweets
5
#AEWCollision
Under 10K tweets
6
Gable Steveson
Under 10K tweets
7
Tuchel
Under 10K tweets
8
Swiss
Under 10K tweets
9
Spence
Under 10K tweets
10
#Svengoolie
Under 10K tweets
Most Popular Users
1
Elon Musk
@elonmusk
240.8M followers
2
Barack Obama
@barackobama
119.2M followers
3
Donald J. Trump
@realdonaldtrump
111.7M followers
4
Cristiano Ronaldo
@cristiano
111.2M followers
5
Narendra Modi
@narendramodi
107M followers
6
Rihanna
@rihanna
97.8M followers
7
NASA
@nasa
92.2M followers
8
Justin Bieber
@justinbieber
91M followers
9
KATY PERRY
@katyperry
88M followers
10
Taylor Swift
@taylorswift13
81.8M followers
11
Lady Gaga
@ladygaga
73.4M followers
12
Virat Kohli
@imvkohli
70.4M followers
13
Kim Kardashian
@kimkardashian
69.9M followers
14
YouTube
@youtube
68.7M followers
15
Bill Gates
@billgates
64.1M followers
16
Neymar Jr
@neymarjr
63.2M followers
17
The Ellen Show
@theellenshow
62.4M followers
18
CNN
@cnn
61.9M followers
19
Selena Gomez
@selenagomez
61.1M followers
20
X
@x
60.8M followers
Olivia
Online
✨
⭐
💫