たなかり

業務システム開発に携わるエンジニア／アーキテクト／技術コンサル。
Java・Spring Boot・AWSあたりが中心ですがフロントも好きです。
個人では、あったら便利そうなものを作ったり、システム設計や開発の相談に乗ったりしています。
最近はAI駆動、コーディングエージェントに夢中！

[たなかり @tanakari_P]

ということで、OllamaをOpenVINO Model Server + Qwen3-VLへ切り替え中。

Intel GPUでローカルLLMを試すなら、OpenVINOの方が相性よさそう。

「どのモデルを使うか」だけじゃなくて、「どの推論ランタイムならGPUをちゃんと使えるか」も考えないといけないか。。。

#ローカルLLM #OpenVINO #Qwen3VL

[たなかり @tanakari_P]

ローカルLLMで領収書OCRをお試し中。

WSL2 + Docker + OllamaでQwen3-VLを動かしてみたら、Intel ArcをGPUとして認識せず 100% CPU 推論に。

4Bで領収書画像のOCRに30分以上かかる。。。
ローカルでサクッとできたと思ったら、そんなに甘くなかった。。。

#ローカルLLM #Ollama #Qwen3VL #IntelArc

[たなかり @tanakari_P]

@do_M_gaToru こちらこそ、ありがとうございました！
天野さんが相手してくれたので寂しくなりませんでした(笑)
また、よろしくお願いします！