さくらんぼ

さくらんぼ亭の代表やってるらしい。
Common Lisp, Haskell, C++など色々な言語が好きです。中日ドラゴンズ、Chelsea FC 好き。

[さくらんぼ @lambda_sakura]

hermesが3つ、OpenClawを2つ動かしているから色々面倒くさい

[さくらんぼ @lambda_sakura]

update失敗すると、opencodeとかcodexとかを自動で起動して修正させようとするのは大変面白い仕組みだとは思うけど

[さくらんぼ @lambda_sakura]

OpenClaw、updateがとにかく失敗するのが体験悪すぎるなぁ

[さくらんぼ @lambda_sakura]

同じ年に生まれた子どものうち97%は、わたしより長く生きる。
インド・チェンナイの暮らし向きのよい家庭に女の子として生まれた。
16歳のとき、高血圧性心疾患で世を去った。
あなたはどこに生まれると思う？ #80億分の1 https://t.co/mPKjlVjdrk

[さくらんぼ @lambda_sakura]

鯖長いこと運用してる身としては、IPアドレス遮断はそれなりに意味がある。ログの見通しは良くなるし、国内だと国の法律が及ぶので対処出来る範囲は増える。攻撃の明確な標的になっていたら、あまり意味がないのはそう。

[さくらんぼ @lambda_sakura]

防衛手段は複数ないとダメだろうから、入力プロンプト、出力文字列のチェックなども実施して、さらにモデルのToolの呼び出しもチェックするとかやっていかないと無理そうだなぁ

[さくらんぼ @lambda_sakura]

あとは攻撃側も十分にエントロピーが高くなるように多数の攻撃パターンを学習させれば回避できそうですね。学習コストが高くなるからどれくらい現実的かは不明ですが。

[さくらんぼ @lambda_sakura]

ただし、誤検知する場合があってそもそも応答に対するエントロピーが低くなるような場合。ぬるぽの応答にガッが返ってくるみたいな場合はエントロピーが低くなるので反応してしまう。

[さくらんぼ @lambda_sakura]

特定のワードが来たら攻撃を行うようなモデルの対策としてエントロピーを計測して異常検知するというのがあると聞いたので実装してみたらうまく行った気がする

[さくらんぼ @lambda_sakura]

ちなみに使っているのは bluesoundのNODE ICONです。サブスクの曲とNASのファイルを五月雨で再生できるので超便利です。

[さくらんぼ @lambda_sakura]

BluOSのコントローラにLinux版が無くて不便だったので、Claude先生にWebアプリ作ってとお願いしたら作ってもらえた。

[さくらんぼ @lambda_sakura]

最近スマホの入力がイマイチでてにをはがおかしいの増えた気がするなぁ

[べいえりあ @mr_bay_area]

Jev「高速で高性能な汎用分類器を作りました！」
ワイ「お、いいね☺️」
謎のJev-like「Local LLMをタスクA〜Fでfine tuningして、タスクA〜FでJevより速くて高性能なモデルを作りました！！！」
ワイ「それはBERTで良くない？？？」

[さくらんぼ @lambda_sakura]

Jev面白いし色々使い道はあると思うけど、しばらく前までCNNとか使って分類タスクやってたじゃないですかーという気持ちになった。

[さくらんぼ @lambda_sakura]

Jev的なものはこんな感じかなぁと思って遊んでみた結果。AIに任せるとシュッと作れるの最高。vLLMでは上手く動いたけど他の実装はためしてません。
https://t.co/tX9eqSK0aj

[さくらんぼ @lambda_sakura]

@mmm_tech そうですね。自分もここまで早いのかと驚きました。プロンプトが長くなると遅くなってはいくようなのですが、それでも秒オーダーで返ってくるので使い道は結構ありそうです。

[さくらんぼ @lambda_sakura]

Qwen 3.8 27B、DGX SparkとかStrixHaloだと遅くて辛いと思っていましたが、こういう使い方だと200msとかで応答返ってくるんだというのは良い知見でした。難しい処理をフロンティアモデルに投げる前の判定とかにはローカルモデルにやらせるのはアリかもしれないです。

[さくらんぼ @lambda_sakura]

max_token少なくして、logprobs出すのがポイント

[さくらんぼ @lambda_sakura]

こんなクエリをOpenAI互換サーバに投げて適当に集計すればjevもどきに出来る(多分

[さくらんぼ @lambda_sakura]

世間で話題のjev、ローカルLLM上で似たような物を自前実装してみて遊んでいますが200ms程度で応答を得られるし、まぁまぁ実用になるのではという気がしています。