あいろぐ

とある企業のしがないサラリーマン AI関連の情報を追いかけながら、面白いと思った技術や実装して遊んでみた話を呟きます 今はエッジLLM / ASR / TTS / VLM あたりに関心あり
いつまでもワクワクする技術に触れていたい

[あいろぐ @AILogDev]

ｽﾀｯｸﾁｬﾝ向けファームウェアに続いて、スマホアプリ側もベータ版として共有します！

スマホとｽﾀｯｸﾁｬﾝを接続し、音声で会話したり、好感度に合わせたキャラ変更が可能です

スマホのローカルでASR, LLM, TTSなどの推論が可能ですしAPIに変更もできます

https://t.co/XHcQnebC8V

[あいろぐ @AILogDev]

横浜のヨドバシでもEven G2売ってるんだね

[あいろぐ @AILogDev]

新しいモデルの検証もやりたいけど、ｽﾀｯｸﾁｬﾝ用アプリのアプデ作業もやらないとな

まあまあ安定してきたから土日にアップデートしちゃいたい

[あいろぐ @AILogDev]

QATによって量子化後の精度劣化が抑えられるようになったため、Q2やQ4のようなメモリ使用量の少ない低bit量子化モデルでも、実用レベルで運用しやすくなった、っていう話を言ってるのかな？

[あいろぐ @AILogDev]

なんかGemma 4のQAT版を使えばメモリ削減できるみたいな感じで書かれているように見えるけど、どういうことなんだろ？

QAT自体はfake quantizationなどで量子化を意識して学習し、量子化後の精度劣化を抑える手法であって、基本的にアーキテクチャやパラメータ数を小さ��するものではないはずだけど

僕の読み間違いなのかな？
それともアーキテクチャ自体が変わってる？

[あいろぐ @AILogDev]

RayBan Metaに鼻パッドをつけて、調光レンズに変えた結果、妻がメッチャ気に入ってくれ��

これは贈呈かな？

[あいろぐ @AILogDev]

LFM2.5-Audio-1.5Bも気になるなぁ
J-Moshiとかと同じfull duplex型のモデルってことだよね

1.5Bならかなり軽いしどんな感じか試したい

[Liquid AI @liquidai]

Today we’re releasing two new models for Japanese: LFM2.5-Audio-1.5B-JP (audio) and LFM2.5-1.2B-JP-202606 (text).

🧵

[あいろぐ @AILogDev]

gemma4 E2BとE4BのQAT版は、モバイル用に2bit化する場所を絞りつつ、KVキャッシュや活性化も含めて最適化したモデルも配布してるのね

[あいろぐ @AILogDev]

QATって学習時のパラメータ調整が難しいし、量子化後のモデルが前よりちょっと良くなってるといいなっていう淡い期待

[あいろぐ @AILogDev]

mlxとggufはQAT版のGemma 4が用意されてるけどLiteRT-LMが来ない

とりあえずggufをllama.cppで使っておくか

[あいろぐ @AILogDev]

Gemma 4のQAT版も出たんだ

量子化モデルを使うならこっちの方がいいのかも

[Google Gemma @googlegemma]

We just dropped Gemma 4 Quantization-Aware Training (QAT) checkpoints on Hugging Face!

All Gemma 4 model sizes and their drafters are now optimized with QAT to cut memory requirements and maximize on-device performance!

[あいろぐ @AILogDev]

なるほどこんな使い方が…！

これは実質Meta Ray-Ban Displayってことなんでしょうか？！

[null-sensei @GOROman]

ダブル GUiDE01 を考案した

[あいろぐ @AILogDev]

よしよし、ちゃんと電車からcodex弄れますね

[あいろぐ @AILogDev]

@UtaAoya 一応、改善は進んでいるのですね

僕も3月頃にQwen 3.5で試していたのですが、対応していないOpenCLのカーネルコードを自分で実装しまくって、ようやくCPUより少し速くなる程度だったので、採用を見送りました

またどこかのタイミングで最新の環境を試してみたいですね

情報ありがとうございます！

[あいろぐ @AILogDev]

仕事終わりー！
今日はMacBookオンの状態で家を出たよね？

[あいろぐ @AILogDev]

今作ってる機能はprefillの速度が重要になるからCPUだと相性悪いかな？

token数を抑制すればCPUでもある程度使えるかも？

[あいろぐ @AILogDev]

そういえばllama.cppのAndroid GPU対応って最近どうなったんだろう？

いまだにカオスなのかな？

[あいろぐ @AILogDev]

自作のアプリにもLM Linkって連動できるのかな？

[あいろぐ @AILogDev]

@TiaStaC 会社の方がjun ginzaやヨドバシにEven G2を見に行ったときは大行列だったそうです

まだまだ新しいAIグラスがたくさん出そうですし、波が来ているかもしれないですね！

[あいろぐ @AILogDev]

僕のせいで会社の人が何人かEven G2を買ってくれてちょっと罪悪感

僕はドンピシャだけど、万人受けするわけじゃないと思うしなぁ…

[あいろぐ @AILogDev]

Androidのllama.cppを使った時に動作が安定してないな…
もうちょっと修正しないと