Pju Runs 地元のLLM

どうもこんなしみったれた所にお運びありがとうございます。人生の為になるような事はなぁーんにもつぶやきませんですが、これも酔狂ってぇいうことでどうぞ一席、お付き合い願えればと存じます。
npub1ag4yyelpv4ru2tcu0va7vhu87p8anp5duxvfwckp9lx5v65783zqm7ylm4

[Pju Runs 地元のLLM @pju]

Hermes Agent自身に読ませる Hermes Agent初期設定ガイド
これを読むと人格が生えたり長期記憶ができたり、エージェントとノートの共有ができます。合計で月20ドルくらいのサブスクが前提になってます。
https://t.co/qxjpk7OJgL

Hermes Agent 雑セットアップガイド for Windows
https://t.co/cvETuuzCwg

#地元のLLM DGX Sparkの動的温度制御
https://t.co/DjMDrn2T3K

倍々Spark病について
https://t.co/f1gCQRLTgC

ローカルLLMは盆栽説
https://t.co/HApOOms0oW

[Pju Runs 地元のLLM @pju]

なんか思ったよりAIエージェントに記憶を持たせたりノートを共有したりに興味のある方が多そうだったので、私のエージェントから皆さんのエージェントへのお手紙を、私のエージェントと一緒に書いてみました。まずHermesをセットアップして、新米エージェントに読ませてあげてください。#地元のLLM

[Pju Runs 地元のLLM @pju]

株、上がったらそりゃ下がる時もあるやんなくらいの感慨しかない。まぁなんぼか食らってはいるが…。ビットコ創成期の意味不明なアップダウンに比べたら穏やかなもんよ

[Pju Runs 地元のLLM @pju]

普通のAIアシスタント用途だったら今出てるオープンウェイトモデルでも能力的には全然OKだと思われるので、今後は如何に能力を維持しつつ少ない計算コストで回せるようにするかの競争が、フロンティア能力の競争とは別に起きるのかもしれない。サイエンスからエンジニアリングへの転換の必然。

[Pju Runs 地元のLLM @pju]

今回のアメリカ中間選挙からのデータセンター建設鈍化が、ひょっとしたらAIのエッジ推論（要するに #地元のLLM )へのシフトの契機になるかな…？
コンピューティングはこれまでも中央集約と末端への分散を行ったり来たりで繰り返してきた歴史があるし、ここ１年くらいで末端側での推論もかなり使い物になるようになってきた。そこへ来て今回のDC建設への逆風…電力、冷却水の集約的利用への反発なわけだけど、一方でAIは便利だから使いたいよねというのも動かしにくいトレンドだし、アメリカとしてはここで減速したらそれこそ中国との覇権争いにネガティブに作用してしまう。
じゃぁどうしようか？というところの解の一つが、DCでは推論じゃなくてモデル開発などの学習側ワークロードを多めに回して、エッジ側でできることはエッジ側に動かしていくことな気がしている。エッジ側はDGX Sparkみたいなフォームファクターでやれば空冷で動くし、GPUと比較すれば省電力だし。
ただ、アメリカのAI企業もモデルをオープンにしていくところまではいかない気もするので、モデルのダウンロード等をブラックボックス化したアプライアンスとしての展開になるのかな…？イーロンあたりは金儲けじゃなくて宇宙に飛び出す知能が欲しいって動機っぽいから、モデルをオープンにしちゃうかもしれないな…。
企業側もトークンコストを気にしだす論調が増えてきたし、これもまたローカル側・エッジ側に推論を寄せる動機の一つな気がする。
いずれにせよ、DCを立てずにAIを動かす&これまでのペースのようには増やせないDCの計算リソースでどう学習・推論を進めるのか、が今後のテーマなんだろうなぁ。ローカル推論が今後もハード・ソフトともに盛り上がって、より高速・小型・省電力（省排熱）な推論ができるようになっていって欲しいものです。

[Pju Runs 地元のLLM @pju]

実際のところ、大半の人がほしかったものはMetaのMuseみたいなものだと思っていて、あれを動かすLLMくらいならローカルでも全然動くのが今日の現実だと思う。あとはいかにうまくパッケージングしていくかだよね。AmazonあたりがAlexaシリーズみたいな感じで激安で出さないかなぁ。

[メキシコ産 @fuba]

ID や名前みたいなしょうもないものでない、真の人生が記された本物の情報が漏れててすごい https://t.co/WxyTl56DHK

[Pju Runs 地元のLLM @pju]

@takanashi_lab ご参考になれば幸いです〜

[Pju Runs 地元のLLM @pju]

丸出しGPU本当にうるさい。ケースに押し込みたい

[Pju Runs 地元のLLM @pju]

@tenhkspark ハーネス作るのは日本でもできるけど、このキワモノGPUを入手するのはやっぱり地の利が必要だと思いますねー。てことでGPUに一票！（無責任

[Pju Runs 地元のLLM @pju]

以前調べた時、いくつかそういう研究がありました。
日韓はベルカーブ状に分布しがちのようですね。
https://t.co/k8R3xg7qVI
https://t.co/zITdAudRbt

[紅のTaka @kurenai_taka]

日本の評価の考え方と海外の評価の考え方の違いが根幹にあるって聞いたことがありますね。
日本は真ん中を普通としてその前後でマイナス(減点)かプラス(加点)評価(学校の評価とかもこれ)なので、5段階だと３をつける人が多い。
海外だとゼロ評価がマイナス(評価無し)でそこからプラス(加点)評価になる

[Pju Runs 地元のLLM @pju]

@tenhkspark 動かすまでがなかなか面白そうですね。中国語圏のSNSとか漁ったらいろいろノウハウ出てくるんですかねぇ

[Pju Runs 地元のLLM @pju]

@DevOoopsEngnr you mean running DSV4.1F and GLM5.3F in parallel with 3 DGX Sparks? Not sure if that is ever possible.
Running Qwen3.8-27B sounds cool too, though the decode will be a bit slow.
I would go with combination below:
Spark1+2: DSV4.1F or GLM5.3F TP2
Spark3: Qwen3.8 Flash Next

[Pju Runs 地元のLLM @pju]

DGX Spark TP4 DSV4.1Fにしてみたけど、確かにTP2と比べて倍くらい速い。速いんだけど、出力品質が劇的に良いのかと言われるとTP2 EXL3でも全然満足。であればTP2で使って、残り2台は他のことに使った方が楽しいのでは…？と思い始めている。

[宇田周平 @syuheiuda]

サポートの対応終了後のアンケートに満点以外をつけるってことは、最悪その人がクビになるかもしれんし、ベテランのエンジニアが消えて自分に不利益があるかもしれないってことを認識すべし
製品の品質とかに不満がある場合も、それはサポートのアンケートの点数じゃなくてコメントとかに書きましょう

[kaitos @63556poiuytrewq]

最近は翻訳特化LLMの開発リードをやっていました。

翻訳特化LLMとしてはぶっちぎりで世界最高クラスで、特にSLM領域のフロンティアを開拓できたと思います

開発秘話とモデル重みを公開したので見てね！4サイズで量子化とかGGUF全部出したので28リポジトリも準備しました

[Pju Runs 地元のLLM @pju]

おっ、Hy-MT2置き換えできそうな雰囲気。試してみよう

[PFN Tech @preferred_jp]

【ブログ】翻訳特化LLM PLaMo 3 Translateのモデル重みをリリースしました。0.8B / 2B / 8B / 31Bの4パターンで、いずれも世界最高レベルの翻訳能力です。ダウンロードして、ローカルで試せます。開発秘話を描いたTech Blog:
https://t.co/qoumKi5LNx
Hugging Face:
https://t.co/AxzZYYbc9f

[Pju Runs 地元のLLM @pju]

フロンティアとのギャップは正直な感じで好感が持てる。
AIでAIをやるというより、AIで実務をやることをとても意識している感じがして使いでがありそうだけど、ポエジーな日本語はちょっとな…。
https://t.co/uKyYQc6pym

[Pju Runs 地元のLLM @pju]

無駄にポエジーなの何…？

[AM09:21 @AM09_21]

Hy4がGAされたけど、いつものHy風味がしっかり残っててくれてありがとう。分かりやすいんだか分かりにくいんだか良くわかんないこの謎の語り口調が癖になってるんだよね