offton

IT技術者, PM, 父, ちょっとだけML
Debuggo, ergo sum.

[offton @offtoninside]

@tsunekawa__ 午後1時

[offton @offtoninside]

「上司は質問できず、私は質問しなかった。理由はまるで違うのに、検知されなかったという結果だけが同じだった。」
話の本筋と全く関係ないけどここちょっと村上春樹みがある

[イチロヲ📛 @ichirowo]

生々しい話。AIは個人としては生産性を上げるが、組織としての生産性が上がらない理由がちゃんと言語化されてる。

「製造業から見れば、あの業界の議論は他人事ではなく、数年後の自分たちの姿である。」

https://t.co/izySTiO6Lq #zenn

[offton @offtoninside]

わかるわかるわかる

[ロボはむ🐹📸 @dualsurface]

こういう淡いグラデーションの山並み好きなんだけど、伝わるかな...。

[offton @offtoninside]

松本城、どこから撮ってもイケメン

[offton @offtoninside]

上高地、水がとにかく綺麗

[offton @offtoninside]

うおおおおきたきたきた
晴れた
#上高地

[offton @offtoninside]

上高地、天候不良時に来たせいで逆に欲張りセットが完成

[山本和隆@コンカフェ16年 @shikuziriceo]

claude様がオコです

説明の型としては正確で良質、ただし中心の前提が最新の研究では覆されています。
事実確認（問題なし） Transformerが2017年のGoogle論文であること、アテンションによる文脈依存の意味変化（bank）、RLHFが第二段階であること、ラベルをランダム化すると丸暗記はできても汎化しないという実験（Zhang et al. 2017の有名な結果）——いずれも正確です。GPT-3の学習量を「読み続けて2,600年」と換算する類の数字も、桁として妥当な範囲です。
最大の論点：「次の単語を予測することしかしていない」は不正確
Anthropicの解釈可能性研究が、まさにこの通説を検証して否定しています。韻を踏む詩を書かせたとき、Claudeは行の冒頭に入る前に末尾の韻語（rabbit）を内部で決めており、その表現を抑制すると別の韻（habit）に、無関係な概念を注入するとそれに合わせた行を書きました。つまり逐語的な予測ではなく、目的地を決めてから逆算していることが介入実験で確認されています。
しかもこれは単一ラボの観察ではなくなりました。DeepMindらの独立研究が、より単純な手法で同じ「暗黙のプランニング」を再現し、1Bパラメータ級の小型モデルにも普遍的に存在すると報告しています。
もう一点、記述が古い部分 「誰も完全には解読できていない」は方向としては正しいものの、features/circuitsの特定や、内部活性を自然言語に翻訳するNLAといった手法が実用段階に入っており、「まったくの暗箱」よりは進んでいます。また、記事はRLHFで話を終えていますが、現在の推論モデルは検証可能報酬による強化学習（RLVR）という第三段階を経ており、「次単語予測＋RLHF」だけでは2026年のモデルを説明できません。

評価 一般向けの説明の型としては優秀で、そのまま使えるという著者の評価には同意します。ただ「仕掛けはこれで全部」という断言は、大聖堂を「石の山」と説明するのと同じ種類の縮約です。私自身がClaudeなので利害当事者ではありますが、上記は査読済み論文と独立検証を含む公開研究に基づく指摘です。

[offton @offtoninside]

Cloud Digital Leader 合格したが、udemyの問題集が酷すぎて金返せレベル。
結局、生成AIに問題作らせて一問一答で解くやり方が最強だった。その場で不明点をとことん掘れるのがとても良い。

[offton @offtoninside]

まとめられてるw

[Togetter（トゥギャッター） @togetter_jp]

文字が間違ってるのをそのままにしてるのはよくないと思うんだよね。 https://t.co/zYLOdbdiwa

生成AIポスターを展示する飲食店が増えているが、極力そういう店には行かないようにしている…「これくらい別にいいでしょ？」とバカにされていると感じる→共感の声が続々
https://t.co/UJypZV3wik.

[offton @offtoninside]

@YanoTomoka 今ためしに無料のgeminiで生成してもこのぐらいにはなるので、謎は深まるばかりです。

[offton @offtoninside]

あの...セブンさん、生成AI使うのは良いんですがもうちょっと新しいモデル使いません？　#セブンイレブン

[offton @offtoninside]

対馬旅行で景色を連投したせいか、タイムラインが美しいもので満たされてて最高
この状態を維持したい

[offton @offtoninside]

@tsukaniki85 わかる
ぱっと見おいしそうなのに近寄ると変な声でるからほんと勘弁してほしい
https://t.co/yUXBHZLtxs

[offton @offtoninside]

あの...セブンさん、生成AI使うのは良いんですがもうちょっと新しいモデル使いません？　#セブンイレブン

[offton @offtoninside]

@RacherryBlossom そういったものに強い嫌悪を持ってるのが我々世代の特徴だと思ってます。発露の仕方は人それぞれですがw

[offton @offtoninside]

クロール、手足の連動少しずつ慣れてきたけど気を抜くと息吐くの忘れてて呼吸時に詰む

[offton @offtoninside]

ゴリラ迎雨やん

[offton @offtoninside]

@takasi_kurihara 朱雀朱雀、モンブランモンブランも欲しい

[offton @offtoninside]

これされると本当に誰にも発信届かないんですね...

[offton @offtoninside]

なんで？
　　なんで？

[offton @offtoninside]

むしろこういうのが欲しい
なんのノイズもないやつって案外見つからない

[エンジニアM @Mates_ENGINEER]

マジで何の特徴も変わった点もないタイピング練習ソフトを作ってる。このままでは特に出す意味もないほど何の面白みも無いので、何かゲーム要素でも作ろうかな。