𓅳𓆏𓅳𓆏るーとん𓅳𓆏𓅳𓆏

IT関係です。 本八幡でだらだらしてます。お酒、音楽、マンガ、アニメ、ゲーム、旅行、温泉好きです。美味しいものも勿論好き。
2021/5にこどもが生まれて絶賛育児中です。
FGO、Diablo4やってます！

[𓅳𓆏𓅳𓆏るーとん𓅳𓆏𓅳𓆏 @ro__ot]

サファイア、義手になってる？
#リボンの騎士

[𓅳𓆏𓅳𓆏るーとん𓅳𓆏𓅳𓆏 @ro__ot]

結局、お安く使い放題したい場合はどのモデルを契約するのが良いんですかね？gpt？

[𓅳𓆏𓅳𓆏るーとん𓅳𓆏𓅳𓆏 @ro__ot]

hermes agent&grok、無制限かと思って使いまくってたら、月の制限あるんだね。。。

[𓅳𓆏𓅳𓆏るーとん𓅳𓆏𓅳𓆏 @ro__ot]

Hermes Agent＆Grokちょっと試したらいい感じなので、ちゃんと環境を構築して本格的に使おうと思う。

[uzzy @uzzy6969]

ここにいますwww

[𓅳𓆏𓅳𓆏るーとん𓅳𓆏𓅳𓆏 @ro__ot]

え？
#fgo

[⭕ Brock Pierson @brockpierson]

Good morning to everyone who used Winamp back in the day

[cali≠gari_official @caligari_offici]

＜大切なお知らせ＞
2028年9月10日（日）
cali≠gari第8期終了、解散。
終活はじめますーーー。

詳細はこちら↓
https://t.co/moIFiS2hii

#caligari
#カリガリ
#カリガリの終活

[𓅳𓆏𓅳𓆏るーとん𓅳𓆏𓅳𓆏 @ro__ot]

Antigravityくん、Windowsのスマートアプリコントロールに引っかかって起動しなくなったんだけど。。。🤮

[𓅳𓆏𓅳𓆏るーとん𓅳𓆏𓅳𓆏 @ro__ot]

これ。

[yamad @yamad_javad]

これも問題なのですが，我々人間には「謎の個人サイトからフリーソフトを落とすのは若干抵抗があるが，GitHub の Releases にあるソフトはほぼ無抵抗で入れる」という最大の脆弱性がありますね。

特に署名されているexe がある個人サイトよりも無署名の GitHub のが心理的抵抗があまりない。

[𓅳𓆏𓅳𓆏るーとん𓅳𓆏𓅳𓆏 @ro__ot]

FGO、無事終了。
いやー、長かった。
でも来年もあるらしいけどどうなるんだろ？？

[𓅳𓆏𓅳𓆏るーとん𓅳𓆏𓅳𓆏 @ro__ot]

ひえっ

[𓅳𓆏𓅳𓆏るーとん𓅳𓆏𓅳𓆏 @ro__ot]

で、Qwen Image Edit 2511はまだなの？
もうちょっとで11月終わっちゃうけど。。。

[𓅳𓆏𓅳𓆏るーとん𓅳𓆏𓅳𓆏 @ro__ot]

ちょっと早いけどWinter, again聴きたくなったな。

[木下勝寿🔥東証プライム社長兼現役マーケター @kinoppirx78]

【それ、GLAYやん】

昔、GLAYのテルさんが脱退するという話になって、タクローさんがテルに「辞めてどうするの？」と聞いたら「ソロでやろうかな。タクロー、曲書いてくれる？」と言った。
するとジローさんが「じゃあ、俺ベース引くよ」と言い、「せっかくだしヒサシも呼ぼう」という事になったという話が好き

[𓅳𓆏𓅳𓆏るーとん𓅳𓆏𓅳𓆏 @ro__ot]

それぞれの要素はさておき、json形式で入れる必要があるのか？というのがよく分からない。

[さとり @satori_sz9]

Nano Banana Proを使いこなすための必須テクニック。Geminiに任意の画像をアップして「画像のサイズやディティールまで含めてjsonプロンプト化して」と指示する。そうすると画像を再現するためのプロンプトが出力されるので、変更したい部分のみ変えて使えば良い。

[𓅳𓆏𓅳𓆏るーとん𓅳𓆏𓅳𓆏 @ro__ot]

請負出来ない（し辛い）からとか？

[ぶっかん @bukkan817]

大規模システムはウォーターフォールでしか対応できないと言ってる人をよく見かけるけど、そう思う根拠はなんなのだろう？

[𓅳𓆏𓅳𓆏るーとん𓅳𓆏𓅳𓆏 @ro__ot]

妻のリクエストでフォアグラソテーを作ろうとしている。フォアグラといえばバルサミコ酢要るよな、でも量多くていつも使い切れないんだよなーって思ってたけど、KALDIに丁度よいサイズのやつ売ってて感動！

[𓅳𓆏𓅳𓆏るーとん𓅳𓆏𓅳𓆏 @ro__ot]

画像生成でseedとかプロンプトとか条件全て揃えれば同じものできますって言うのと同じ？
ただ、隠れ状態にアクセス出来るなら入力内容そのもの見れるだろっていう気はするが。。。

あと、最近GPUのキュー的なやつで結果が変わるっていうのをみた気がするので、それも踏まえるとどうなるのか気になる。

[Kaito @Kaito___AI]

『『LLMは単射かつ可逆』』

LLMの内部表現についてのかなり興味深い研究が出ました。

ポイントはこうです。今回の論文は、いま主流の「decoder-only型Transformerによる言語モデル」では、離散的な入力トークン列を最後の隠れ状態（連続ベクトル）に写像する処理が、理論的にほぼ必ず「単射（1対1）」になる、と示しました。単射であるということは、異なるプロンプトを入れたときに、同じ隠れ状態になることが基本的に起こらないということです。つまり、隠れ状態にさえアクセスできれば、その状態を“ほどいて”元の入力トークン列を復元できる、という構図になります。

重要なのは、これは「たまたまそういう重みになった」わけではなく、「解析的（real-analytic）な関数で組まれたdecoder-only Transformerなら、初期化の時点でそうなっているし、学習を進めてもその性質は壊れにくい」という“構造的”な話として説明されている点です。しかも著者らは、GPT-2やGemma、Llamaなど複数の実在モデルで、大量のプロンプトから作った「プロンプトペア」（違う入力同士が同じ隠れ状態にならないかを確かめるための組）を何十億回規模でチェックし、衝突が観測されなかったと報告しています。ここで強調したいのは「何十億のプロンプト“そのもの”」を全部流したというより、「手元のプロンプト集合から作れる組み合わせを非常に大きなスケールで検査した」という意味合いだ、ということです。なので「全宇宙のあらゆるプロンプトでゼロ衝突が実証された」とまでは言えませんが、現実的な範囲では十分に強いエビデンスがある、という言い方ができます。

論文がさらにユニークなのは、この“ほぼ必ず単射になる”という性質を実用的に使うためのアルゴリズムも同時に提示しているところです。それが「SipIt」と呼ばれるものです。これは、モデルが出した隠れ状態を入力側へと逆変換していく手順で、トークン数に比例した線形時間で処理できるとされています。ここがSNSで広まりやすいところですが、元の論文は「従来より100倍速い」といった具体的な倍率を前面に出しているわけではなく、「初めて、隠れ状態から元のテキストを厳密に・効率的に復元できることを理論と実験で示した」というトーンです。なので「100倍速い」と断言するのは控えめにして、「線形時間で現実的に解けるようになった」とするのが論文に忠実です。

ただし、ここで必ず添えておくべき条件があります。今回の結果は「その時点の隠れ状態（アクティベーション）を持っているなら復元できる」という意味です。推論システムが中間表現をすぐに破棄してしまえば、当然そこからは復元できません。つまり「LLMはあなたの入力を永遠に覚えている」という話ではなく、「捨てられていない隠れ状態は、ほぼ生テキストと同じくらい情報量を持っているので、ログやデバッグ出力として扱うならテキスト同様に慎重にしないといけない」ということです。逆に言うと、内部表現を保存するタイプのモニタリング・可観測性ツール・性能解析パイプラインでは、その保存がそのまま“入力の保存”に近い意味を持ってしまう、ということになります。

もう1つ押さえておきたいのは、この単射性が「絶対に壊れない」わけではない点です。論文自身も、量子化を強くかけたり、解析的でない活性化をわざと混ぜたり、同じ位置埋めを共有するような非標準的構成を入れたりすると、人為的に衝突を作れると述べています。つまり、今回の結果は「標準的で解析的なdecoder-only Transformerの設計をして、ふつうの学習をすれば、ほぼ確実に単射になる」という主張です。極端な最適化や特殊な前処理を入れたら、その保証は自分で再検証する必要があります。

この発見が面白いのは、「LLMは途中で情報を“抽象化して捨てている”からこそ高レベルな意味を扱える」というこれまでの直観に、ややブレーキをかけるところです。今回の論文が示したのは、「少なくともこの構造・この前提・この長さの世界では、情報はほとんど失われずに、別の形（高次元ベクトル）に写されているだけだ」ということです。これは、埋め込みや隠れ状態を「もう個人情報じゃないでしょ」と雑に扱う設計をやりにくくしますし、GDPRの“忘れられる権利”やログ削除を真面目にやりたいサービスにとっては、「中間表現までちゃんと消せているか？」という新しいチェックポイントを加える必要がある、ということでもあります。言い換えれば、LLMの安全なデプロイメントを考えるときに「テキストとして残っていなければOK」では済まなくなるかもしれない、という示唆です。

まとめると、
- 標準的なdecoder-only Transformerは構造的にほぼ単射で、内部表現は損失がない形で入力を持っている
- 著者らは何十億ものプロンプトペアで衝突を探したが見つからなかった
- SipItでその性質を現実的に使えることも示した
- ただし“永遠に覚えている”わけでも“どんな実装でも壊れない”わけでもない
- それでもプライバシー・ログ管理・モデル解釈にはかなり大きな影響が出る

[𓅳𓆏𓅳𓆏るーとん𓅳𓆏𓅳𓆏 @ro__ot]

ブラウザで、範囲選択で翻訳される拡張入れてるけど、画像になってたりとかうまく翻訳できないやつあるから、これ良いのでは。。。！？

[ぬるっぽ @PcotNullpo]

秋だ！ホラーだ！Steamだぁ！！
しかし！面白そうなゲームを見つけても、立ち塞がるこの警告！PCOTが力になるかもしれません！
PCOTはそんな日本語がないゲームを遊ぶ為に開発した翻訳支援ツールです！
無料なので、まずは手に取って試してください！

DLはこちらから！
https://t.co/j6WEmKVsoi

[RATATAN (ラタタン) @ratatan_game]

さぁ！天国を目指す楽しい冒険の始まりです！
ラッタ・ラッタ・ラッタッタ♪

Now, it’s time for you to join them on their adventure to the Everafter!
Ratta Ratta Rattatta ♪

Ratatan  Now Available on Steam :
https://t.co/tl3if3dD8y