Top Tweets for #M5StackLLM

ラズベリーパイのような小型コンピュータでも、LLMのサイズと使い方を選べば十分に使えることが分かっています。 安価では本当に小さなモデルしかまともに動きませんが、比較的大きなモデルまで対応できるデバイスも存在します。 面白いのは同じハードでもソフトによって性能が大きく変わる点です。 ソフトウェアを変更するだけで3〜4倍速く動き、電力消費も3〜4割少なくて済むことがあります。 また、必ずしもコンピュータのコア数を増やせば速くなるわけではないそうです。 クラウドサービスに頼らず、プライバシーを守りながら自前でAIを動かしたい中小企業にとっては良い時代です。 記事では価格の異なる3種類のシングルボードコンピュータで25種類のLLMを実行するテストの結果を細かく見ていきます。