#RAM64GB - Twitter Hashtag

11 months ago

この方法 + ”モデルをメモリに保持OFF” 使えば、残330MBとかwメモリぎりぎり+コンテキスト5k程度ですが、#RAM64GB + dGPU(4GB程度)で #gpt_oss_120b 動きます！< 約15tok/s前後 96GBだと多分(未確認)コンテキスト長もっと行けるはず #LM_Studio

PhotogenicWeekE's tweet photo. この方法 + ”モデルをメモリに保持OFF” 使えば、残330MBとかwメモリぎりぎり+コンテキスト5k程度ですが、#RAM64GB + dGPU(4GB程度)で #gpt_oss_120b 動きます！< 約15tok/s前後 96GBだと多分(未確認)コンテキスト長もっと行けるはず
#LM_Studio https://t.co/DW4oxNRiJK

LM Studio Developers

@lmstudiodevs

11 months ago

In LM Studio 0.3.23, you can enable a setting similar to llama.cpp's `--cpu-moe`. If you're low on VRAM and need to split the model between GPU and CPU, give this setting a try.

lmstudiodevs's tweet photo. In LM Studio 0.3.23, you can enable a setting similar to llama.cpp's `--cpu-moe`.

If you're low on VRAM and need to split the model between GPU and CPU, give this setting a try. https://t.co/SjSFm66QWH

4

316

38

67

30K

3

20

4

8

4K

Photogenic Weekend

@PhotogenicWeekE

about 2 years ago

#AIサーバーを #RAM64GB にして便利になったこと。#AUTOMATIC1111 Forge、#StableSwarmUI 、#ComfyUI、#Fooocus 、#SdScripts 系UI…全部同時起動してもOKなこと。同時には使わないけど、使うとき毎回起動は面倒w。32GBだと何か2つ+αまで。で、使用量見ると約44GB(笑)

0

9

2

1

1K