Top Tweets for #AirLLM

4 months ago

4GB显存跑70B大模型？这事儿真成了！ AirLLM 玩了个骚操作：分层推理，不一次性把整个模型塞进显存，而是一层一层加载、算完就扔，硬生生把70B巨无霸塞进了小破卡！最爽的是： 100%开源，完全白嫖本地部署党、显存党、穷人玩家，直接冲就完事了！ https://t.co/NjWYgm7bLU #AirLLM #本地大模型 #70B #开源神器 #显存拯救者

RelaxView's tweet photo. 4GB显存跑70B大模型？这事儿真成了！

AirLLM 玩了个骚操作：
分层推理，不一次性把整个模型塞进显存，
而是一层一层加载、算完就扔，硬生生把70B巨无霸塞进了小破卡！

最爽的是：
100%开源，完全白嫖本地部署党、
显存党、穷人玩家，直接冲就完事了！ https://t.co/NjWYgm7bLU
#AirLLM #本地大模型 #70B #开源神器 #显存拯救者

ハカセアイ(Ai-Hakase)🐾生成AI・ComfyUI

@ai_hakase_

8 months ago

超巨大AIを格安PCで動かす「AirLLM」が凄い！ via: 4GBメモリで巨大AIが動作する革新技術。レイヤー毎の処理でメモリを劇的に節約し、高価なGPUなしで最高峰モデルも動かせます！✨ #AI #AirLLM

ai_hakase_'s tweet photo. 超巨大AIを格安PCで動かす「AirLLM」が凄い！
via: https://t.co/LiHzAqG7ac
4GBメモリで巨大AIが動作する革新技術。レイヤー毎の処理でメモリを劇的に節約し、高価なGPUなしで最高峰モデルも動かせます！✨
#AI #AirLLM

451

Top Tweets for #AirLLM

Last Seen Hashtags on Sotwe

Trends for you

Most Popular Users