Home
Language
English
Türkçe
Bahasa Indonesia
About
Privacy Policy
Terms of Service
Pricing
Sign In
Download All
Share
Adrian Zhang
@adrianzhang4
Tech guy
Los Angeles, CA
Joined August 2014
161
Following
23
Followers
344
Posts
Adrian Zhang
@adrianzhang4
1 day ago
@tomgreenwald
@SvenMeyer
What? 10-15 tok/s for 2 bit? SSD is not matter you mean? Currently the speed already reach that without your SSD tech, I'v tested project-maya, Strata, etc.
Adrian Zhang
@adrianzhang4
1 day ago
@HeyLingerAI
read websites and operate on behalf me.
Adrian Zhang
@adrianzhang4
3 days ago
@jackluos3lpo
登录进去,没有领取页
Adrian Zhang
@adrianzhang4
3 days ago
@zhangboknight
@gengdaJ
谢谢!我也是。
Who to follow
10U韭菜 🌞
@Src20Dao
开心的赌下去~ 学习是目的,赚钱是过程~ 记录别跟,纯渣不负责~
Crow Moon
@CrowMoon27
Retired university writer, editor. Artist. Forever curious. No Mandates. No war.
🟨 Kaia_Hans
@yakgood1
카이아와 이별 중… 4년 전으로 돌아간다면 비트코인을 사겠습니다!!!
Adrian Zhang
@adrianzhang4
3 days ago
@zhangboknight
@gengdaJ
云api会越来越贵,圈地运动完成后必然这样,我赞同你您这个判断。它还有个不稳定问题,中断、降智、模型升级,用户端都需要折腾。本地模型在这方面完胜。端侧一定有它的生存空间,重点是做好成本效益的考量。
Adrian Zhang
@adrianzhang4
3 days ago
@zhangboknight
@gengdaJ
最后,就是我之前回复您的,云bot有它自己的问题。它们用浏览器插件以及桌面 app,来将手伸向用户设备,目的终归还是数据可访问性。这决定用户付费多少。做个自动化不是难事,难点还是在于数据访问。
Adrian Zhang
@adrianzhang4
3 days ago
@zhangboknight
@gengdaJ
前面也有人回复您,关心手机app。手机用户是PC用户的好几倍,太多的人,信息终端就只有一个手机。云bot趋势逐渐超越前几个月的computer use,我相信也有这方面的因素。
Adrian Zhang
@adrianzhang4
3 days ago
@zhangboknight
@gengdaJ
对于很多没有我这么折腾的用户,就像您提到的那些,只想每天看点自己关心的信息,那么云bot是他们的首选,从Muse的成功也可以看出这个趋势,Muse解决掉的是两大点:轻松完成一些自动化任务,生态内外用户数据可访问。
Adrian Zhang
@adrianzhang4
3 days ago
@zhangboknight
@gengdaJ
其实您从我的回复和用法来看,就比较容易看到一个思路:AI的自动化,究竟给用户带来多大收益(包括数据隐私考量),在这个收益前提下,用户究竟愿意付出多少成本?
Adrian Zhang
@adrianzhang4
3 days ago
@zhangboknight
@gengdaJ
是的,3060这台模型服务器,做推理时才会300W,空闲时的功率是100W。由于本地模型的速度限制,做一个任务,往往需要比云模型一样甚至更久的时间。对比了免费的云api和任务的电力消耗,最终使用云api给个人助理类用途。
Adrian Zhang
@adrianzhang4
3 days ago
@KalinJunYAI
@zhangboknight
@gengdaJ
嘿嘿你看懂了
Adrian Zhang
@adrianzhang4
3 days ago
@zhangboknight
@gengdaJ
以上就是我的一点愚见
Adrian Zhang
@adrianzhang4
3 days ago
@zhangboknight
@gengdaJ
所以,从个人24*7助理,数据握在自己手里这个角度。目前的痛点并不是轻易运行一个高能力的本地模型,而是,怎么访问被各个巨头看得死死的个人数据,怎么在消费不多的情况下尽可能自动化自己的任务。这才是computer use和云bot想做但还没做好的事。
Adrian Zhang
@adrianzhang4
3 days ago
@zhangboknight
@gengdaJ
未来,硬件会便宜,电力消耗也会降,但需要好几年。
Adrian Zhang
@adrianzhang4
3 days ago
@zhangboknight
@gengdaJ
你看,即使我这样懂技术的用户,也不会大费周章天天开着300w的模型服务器,而是想尽办法分散用途,减少电力消耗。前面讲的这些用法里,没有本地模型用于个人助理,这块我是用云api来解决的。有很多免费提供的api,我做个网关,用最后付费的ds来兜底,就够了。
Adrian Zhang
@adrianzhang4
3 days ago
@zhangboknight
@gengdaJ
所以我的用法,实际上就是践行了harness/agent/app与模型的搭配。把必须开的机器的额外能力用上,多增加一点电力消耗。nas在夜间使用模型时多消耗70w ,主力黑苹果多消耗也就差不多。而它们用不着7*24多消耗这么多电。
Adrian Zhang
@adrianzhang4
3 days ago
@zhangboknight
@gengdaJ
我为什么分散折腾这些呢?就是因为功耗。那台3060模型服务器,300w,24*7,一年是2628度电 ,按2度电1元,这就是1300多元。从电网的阶梯电价可以得知,这样的额外电力消耗,根本是不可能普及的。
Adrian Zhang
@adrianzhang4
3 days ago
@zhangboknight
@gengdaJ
这就要权衡用户到底要干什么了。你说的一体化能榨干硬件,这点我相信。但是如果用不到呢?给你个实际例子:我跑模型,有云api,有本地12g 3060+128g的主机跑strata/proj-maya,还有6600xt+64g ddr4 的黑苹果是主力台式机。我的用法是:在主力机上部署了hy-mt用于chrome翻译插件,gemma用于文本搜索。
Last Seen Users on Sotwe
Azooo0
James Woods
Seen from
United States
Angolanas Ao
瞬
Seen from
Germany
トレぴ 日本橋店@7/18グランドオープン‼️
Seen from
Japan
Basher qtws
afghan bull 🇦🇫
Seen from
Singapore
Deshi Friend
Seen from
Saudi Arabia
Lyle 60% off 😘
Seen from
United States
Verona Lang
Seen from
Turkey
Trends for you
1
Tom Jackson
Under 10K tweets
2
Liverpool
Under 10K tweets
3
Joe Milton
Under 10K tweets
4
Mike Green
Under 10K tweets
5
Barcola
Under 10K tweets
6
Boomer
Under 10K tweets
7
De Ligt
Under 10K tweets
8
#HereWeGo
Under 10K tweets
9
Go Birds
Under 10K tweets
10
#thebodywatchparty
Under 10K tweets
Most Popular Users
1
Elon Musk
@elonmusk
240.3M followers
2
Barack Obama
@barackobama
118.6M followers
3
Cristiano Ronaldo
@cristiano
114.4M followers
4
Donald J. Trump
@realdonaldtrump
111.8M followers
5
Narendra Modi
@narendramodi
106.9M followers
6
Rihanna
@rihanna
98.7M followers
7
NASA
@nasa
92.2M followers
8
Justin Bieber
@justinbieber
91.7M followers
9
KATY PERRY
@katyperry
89.9M followers
10
Taylor Swift
@taylorswift13
83.9M followers
11
Lady Gaga
@ladygaga
75.4M followers
12
Virat Kohli
@imvkohli
73.3M followers
13
Kim Kardashian
@kimkardashian
70.8M followers
14
YouTube
@youtube
68.6M followers
15
Neymar Jr
@neymarjr
66.3M followers
16
Bill Gates
@billgates
65.2M followers
17
Selena Gomez
@selenagomez
63M followers
18
The Ellen Show
@theellenshow
62.1M followers
19
CNN
@cnn
61.7M followers
20
X
@x
60.6M followers
Olivia
Online
✨
⭐
💫