PlotttttA!

プロット作成を重視した、小説を書きたい人のための執筆ツール「PlotttttA!」の開発を行っています。tは5つ！

[PlotttttA! @PlotttttA]

電話したらすごく自然で、こっちが途中で「あっ、もしかして電話番号間違えてマジ人間喋ってたりします…？」ってなった。

[higurashi @HigurashiAI]

Haru 4Bは9言語に対応し、テキストと音声によるモデルの人物/声色設定が可能です

また、以下の電話番号に電話いただくことで、Haru 4Bと会話することができます
・050-5444-3154 (日本語: 男性)
・050-5444-3155 (日本語: 女性)

ファインチューニング前の不安定なモデルですが、full-duplexならではの「人間らしい対話」を体験いただけます
是非「自己紹介をお願いします」から始めて色々質問してみてください

[PlotttttA! @PlotttttA]

オーン！#RTXON

[NVIDIA GeForce JP @NVIDIAGeForceJP]

DLSS 5 の対応を記念して、『ホグワーツ・レガシー』をテーマにしたカスタム GeForce RTX 5090 をプレゼント🎁

応募方法:
🟢 このアカウントをフォロー
🟢 投稿をシェア
🟢 #RTXON とコメント

応募規約: https://t.co/Mlc84zSurL

[PlotttttA! @PlotttttA]

わかる。

[Фабон (ふぁぼん) @syobon_hinata]

自分は旧時代のエンジニアになってしまったのでは https://t.co/ZHZ5HBn0tN

最近かなりこれになりつつある

[PlotttttA! @PlotttttA]

すごすぎて脳から目が落ちた

[かっか @kakka_q]

弊社研究チームが、日本語の音声対話モデル「Shizuku-Duplex」をアーキテクチャから自社開発しました！

GPT-Liveのように相づちも割り込みもある人っぽい日本語対話ができるFull-duplexモデルです！
開発チームも負けてられないです💪

👇️日本語テックブログ
https://t.co/J7DIenqLmO

[PlotttttA! @PlotttttA]

ここまでドラスティックに仮に変わるとしたら、例えば「食料とか確保しておこうかな］と一瞬思ったけど、それが大した違いを産まないくらいに何もかも変わってしまうんだろう。ここまで分からない未来にはもう備えることしかできないから、開き直って今を楽しむくらいが丁度いいのかもしれない。

[みずくん @mizkun]

https://t.co/AFWjQfaq6l

[PlotttttA! @PlotttttA]

3090+3060 65GB RAMではこんなもんだった。経済性の面でもLocal LLMは不利だ。でも以前の「破綻してる」は脱しつつある。
MoEモデルの精度が小パラメータでももっと上がればあるいは。

[PlotttttA! @PlotttttA]

Strataが出てきて「Hermesをlocalだけで運用できるかも！」とずっと実験に取り組んだ1週間の結論。

・本体はクラウドAPIが正解
・外部API依存減らそうとしてもLocal LLMのctx不足とパラメータ不足がすべて引きずる
・ LocalLLM の正しい居場所はCron Job
・Aux modelのローカル化はコスト削減効果薄

[PlotttttA! @PlotttttA]

正直Q3_XXSのQwen 3.8 Flash nextよりも、Qwen3.8 27b 4Q_K_Mのほうが安定している。ちゃんと仕事できる。
ただしめっちゃ遅い。Prefillで3分くらいかかる。LLLMは金持ちの遊びなのだよぉ…

[PlotttttA! @PlotttttA]

今日一日、Hermesと一緒にStrataをチューニングして「ローカルでHermes運用できるかも！」と夢中になって実験をしたが、IQ3_XXSの限界か、壊れたコマンドを永遠にたたき続ける症状がどうしても制御できずに、実用に耐えないと判断した。動くと使えるは違う。
メモリ増やしたんだけどな…

[PlotttttA! @PlotttttA]

@Isichan_Hitori うちのマシンではIQ3_XXSでせいいっぱいで、割と動くところもあるんですが、無限ループに何度もはまりました。ループ検知でコンテキスト挿入してLLMに伝えても無視するし、再開しても作業に固執するしで…。

[PlotttttA! @PlotttttA]

強く同意。すごいけど魔法じゃない。
動くのはすごい。でも外部APIを置き換えられるかと言ったらそうではない。Hermesを動かしたら、壊れたコマンドを永遠にたたき続ける子になっちゃった。

[石ちゃん🎤LLMでアプリ開発 @Isichan_Hitori]

【 Strataを使ってみて思ったこと 】
～ 便利だけど魔法じゃないよ ～

Strataは、VRAMに収まらない大きなLLMを、DRAMやSSDで処理して最速化する仕組み。

私が測定をするときはChromeも閉じて、少しでも空きRAMを確保して、F1マシンのようにカリカリにチューニングして数値を出しました。

でもね、サーキットの最速セッティングと、普段の街乗りセッティングは違うんですよね。
なにより自分の用途って、ほとんどが街乗りです。

「動かせる」と「快適に使える」は、やっぱり別のお話だよ。

Strataは、足りないところを上手に補ってくれる画期的なシステム。
技術的にはこれからも突き詰めたいし、もちろん普段も使っちゃう。これ無しでは生きられない体になったのも事実。

だけど、最初からそれを当てにしてハードウェアまでギリギリにすると、きっと後で苦労する。

限界をギリギリも楽しいけど、普段使いだからこそ余裕を持ちたいな。

そんな自分への覚え書きでした🌱

[PlotttttA! @PlotttttA]

It looks @bynara_ai is down.

[PlotttttA! @PlotttttA]

私のHermesが凄まじくバカになって、原因はprompt_builder.pyが関連スキルを読めと命じたおかげで178個のSkillを一気に読み込んでコンテキストが圧迫されていたからだった。こんなことある！？

[PlotttttA! @PlotttttA]

Nararouter落ちた…