#Command_R_Plus - Twitter Hashtag

Photogenic Weekend

@PhotogenicWeekE

over 2 years ago

今月ラスト！前回に引き続きやはり趣味的な(笑) #LM_Studio #gradio_llm.py #LLM #Command_R_Plus #Phi3Vision128KInstruct https://t.co/viUfWqHtQg

0

3

1

352

Photogenic Weekend

@PhotogenicWeekE

over 2 years ago

#command_r_plus 、c4ai-command-r-plus-IQ2_XXS.ggufなら2 tokens/秒出た。これならギリギリ耐えられる！(笑) < メモリは32GB python gradio_llm.py -m ./mmnga/c4ai-command-r-plus-gguf/c4ai-command-r-plus-IQ2_XXS.gguf -ngl 50 -c 4096 --chat --listen #gradio_llm #LLM #RTX3090 #GPUBOX

PhotogenicWeekE's tweet photo. #command_r_plus 、c4ai-command-r-plus-IQ2_XXS.ggufなら2 tokens/秒出た。これならギリギリ耐えられる！(笑) < メモリは32GB
python gradio_llm.py -m ./mmnga/c4ai-command-r-plus-gguf/c4ai-command-r-plus-IQ2_XXS.gguf -ngl 50 -c 4096 --chat --listen
#gradio_llm
#LLM #RTX3090 #GPUBOX https://t.co/MCuGoUv9QP

Photogenic Weekend

@PhotogenicWeekE

over 2 years ago

#FineTune で働き中wだった #RTX3090 、一段落したので噂の #Command_R_Plus 、IQ2_M.gguf版で動かしてみた！メモリは普通に32GB。1 token/秒と激遅いけど雰囲気は味わえる(笑) python gradio_llm.py -m c4ai-command-r-plus-IQ2_M.gguf -ngl 40 -c 2048 --chat --listen @kohya_tech

PhotogenicWeekE's tweet photo. #FineTune で働き中wだった #RTX3090 、一段落したので噂の #Command_R_Plus 、IQ2_M.gguf版で動かしてみた！メモリは普通に32GB。1 token/秒と激遅いけど雰囲気は味わえる(笑)
python gradio_llm.py -m c4ai-command-r-plus-IQ2_M.gguf -ngl 40 -c 2048 --chat --listen
@kohya_tech https://t.co/WPGWmrUIsA

1

5

0

3K

0

4

2

0

2K

Photogenic Weekend

@PhotogenicWeekE

over 2 years ago

#Command_R_Plus や #Llama3、環境的に2bit or 3bit程度しか使えないけど、去年の同Bよりギアが数段あがった感じだな。技術的な会話が普通に成立する(^^;

Photogenic Weekend

@PhotogenicWeekE

over 2 years ago

#FineTune で働き中wだった #RTX3090 、一段落したので噂の #Command_R_Plus 、IQ2_M.gguf版で動かしてみた！メモリは普通に32GB。1 token/秒と激遅いけど雰囲気は味わえる(笑) python gradio_llm.py -m c4ai-command-r-plus-IQ2_M.gguf -ngl 40 -c 2048 --chat --listen @kohya_tech

1

5

0

3K

0

2

0

1

628

Photogenic Weekend

@PhotogenicWeekE

over 2 years ago

#FineTune で働き中wだった #RTX3090 、一段落したので噂の #Command_R_Plus 、IQ2_M.gguf版で動かしてみた！メモリは普通に32GB。1 token/秒と激遅いけど雰囲気は味わえる(笑) python gradio_llm.py -m c4ai-command-r-plus-IQ2_M.gguf -ngl 40 -c 2048 --chat --listen @kohya_tech

1

5

0

3K

Top Tweets for #Command_R_Plus

Last Seen Hashtags on Sotwe

Trends for you

Most Popular Users