古賀信哉 (Shin-ya Koga)

自称、体育会系プログラマ。
Keep on Rollin'.

[異邦人 @Narodovlastiye]

今や完全に感覚が麻痺してしまっていますが、マトモな議会制民主主義国家であれば、政治家の「虚偽答弁」は一発アウトです。つい最近も、イギリスのジョンソン元首相が「虚偽答弁」で辞任に追い込まれました。高市早苗首相のようにウソを連発しているような人間が、平然と居座っている本邦は異常です。

[How To Prompt @HowToPrompt__]

Google has published a paper that might end the transformer era.

For the last 7 years, every major AI, ChatGPT, Claude, Gemini, has been built on the exact same architecture: The Transformer.

But Transformers have a fatal flaw.

To remember context, they have to process every single word against every other word. It’s called quadratic complexity. As your prompt gets longer, the compute cost explodes.

The alternative is the old-school RNN (Recurrent Neural Network). RNNs are incredibly cheap and fast, but they have a fixed memory size. If you give them a long document, they get amnesia.

Until today.

Google researchers published Memory Caching: RNNs with Growing Memory.

And it fixes the biggest bottleneck in AI.

Instead of an RNN having a fixed, rigid memory that constantly overwrites itself, Google gave it a "save" button.

The technique allows the RNN to cache checkpoints of its hidden states as it reads.

The memory capacity of the RNN can now dynamically grow as the sequence gets longer.

They built four different variants, including sparse selective mechanisms where the AI actively chooses exactly which checkpoints matter most.

The results rewrite the rules of efficiency.

On long-context understanding and recall-intensive tasks, these new Memory-Cached RNNs closed the gap with Transformers.

They achieved competitive accuracy without the explosive, quadratic compute cost. It perfectly bridges the gap between the cheap efficiency of an RNN and the massive capability of a Transformer.

We have spent billions scaling Transformers because we thought they were the only way an AI could remember a long conversation.

But Google just proved we don't need to process the whole history every single time.

We just needed a smarter cache.

[こたうち さんさん @kotauchisunsun]

もと計算科学をやっていた人からするとかなり正しい。
当時、HPC分野に近い場所にいたけど、

スパコンは15年後のPCのスペックである

って教授は言ってた。そう考えると、ほぼほぼ正しい。

[国賊討伐！ 統一教会と竹中平蔵の犬、自民党を日本から叩き出せ！！ @Baikoku_Jimin]

【悲報】高市早苗さん、日本国民の病歴データを中国企業に渡せるようにしようとしている超絶売国奴だと指摘されてしまうwwww

[🦅¿¿ƎꓶꓨⱯƎ⛩️スマホ復活 @wing4T1E999]

おぉ！文春がなんと木下剛志が関与したとされるZoom会議音声を無料公開してる！

聞いてみたがこの独特の訛りと声質が完全木下剛志と一致。

高市の「高い声で違和感」という浅知恵の言い訳が崩れるわ。

[白山次郎@超少数派 @hiromomosetsu]

国家情報局ができていたら、政府は週刊文春の記者の個人情報を入手して、記事差止めの圧力をかけていただろうし、スパイ防止法があれば記者は「スパイ」に仕立てあげられ投獄されていたに違いない。
緊急事態条項があったら、さっさと発動されて、この問題は有耶無耶にされていただろう。

[津田大介 @tsuda]

ここ数日の国会答弁があまりにも酷すぎるのでようやく地上波も本気出して追求始めたね。ここまで長かったな……。

[岡口基一 @okaguchik]

保守支持層の大合唱が始まった
「国会ではもっと議論すべき大事なことがあるのだから、文春ネタの議論はもうやめよう」

第２次安倍政権のとき、このロジックでモリカケ問題のウヤムヤ化に成功しましたからね。
一人の自殺者が出たにもかかわらず・・

[Massimo @Rainmaker1973]

Rubiks cube and graph theory.

[🎞️ jagarikin]

[コムテ @commte]

Claude Code で脆弱性を自動で探して
修正候補まで出す実装
Anthropic 公式が公開してた

並列エージェントがバグを探して、別エージェントが隔離環境で再現検証、修正候補まで作ってくれる

https://t.co/fJUjx0cCnN

[【公式】さくらインターネット @sakura_pr]

【重要｜お知らせ】「さくらのレンタルサーバ」で利用されているHTTP/2通信に関し、外部からの攻撃によりサービスが停止する可能性がある脆弱性が公表されました。
本脆弱性への暫定対策として、弊社では対象サービスにおけるHTTP/2を一時的に無効化し、HTTP/1.1への切り替えを実施いたしました。

本対応は、緊急メンテナンスにて完了しております。

本措置により、一部の環境でページの表示速度がわずかに遅くなる可能性がございますが、
ウェブサイトの閲覧やシステム機能自体に支障はございません。
なお、恒久的な対策の目処が立ち次第、速やかにHTTP/2を再有効化する予定です。

安全な運用を最優先とした対応となりますため、お客さまにはご迷惑をおかけいたしますが、
何卒ご理解とご協力を賜りますようお願い申し上げます。

詳細は、下記をご確認ください。
https://t.co/CfnFm8ov0A

[Kazunori Sato @kazunori_279]

13万個のTPUを結ぶ通信の話。Googleに15年いて一番衝撃だったのは、この辺りのスパコン系技術（RDMAやRoCE等、ソフトやTCP/IPを介さずノード間でμs単位の直接通信）が10年以上前からGoogleのクラウド基盤を支えてたこと。データセンター＝スパコンのような設計。それがLLM時代にぴったりマッチした。

[ねこまさむね @nekomasamunecom]

きょう６月６日は６がさくらんぼのシルエットに見えることや収穫の最盛期を迎えることから「山形さくらんぼの日」だそうです　#山形さくらんぼの日

[Yutaka Ohe @yutaka_ohe]

テストフェイルに対してコード修正をAIに実施させる研究！
#名古屋LLMMeetup

[iwashi / Yoshimasa Iwase @iwashi86]

今後、どんどん見られるだろうなって気がする。

・UCバークレー校のコンピュータサイエンスの授業で、AIへの過度な依存と数学の基礎学力低下を背景に落第者が急増
・日頃の課題をAIに頼りきりになることで自力で問題を解く力が育っていない
・なので、試験本番で実力を発揮できない学生や不正行為に走る学生が増加

https://t.co/x9vE5Dkvc5

[札幌市円山動物園（公式） @marudou_fan]

こども動物園内のリスの水道に、お客様のどなたかが花かんむりを飾ってくれました🌼

#円山動物園 #動物園 #札幌 #札幌観光
#maruyamazoo #zoo #sapporo

[古賀信哉 (Shin-ya Koga) @shkoga]

この本の Kindle 版を昨日購入して読み進めています。
https://t.co/oyMoosvGrh
個人出版のようで、編集者の視点が入ったら、もう少し違う構成になるかもと思います。
｢これって、経験の浅い人が独習に使うには難しくて、講義のテキストには良いかも。｣と思っています。僕は好きだけど。

[石塚潤一 @jishizuka]

重要なことなので繰り返します。ここで問題になっている秘書は「公設秘書」なので、高市早苗からではなく、国から給料をもらってます。いわば国民の血税で養われている。そういう方に不適切な仕事をさせていたか否か、というのは、税金の使いみちを精査する上でも大変重要なマターです。なぜ、本人に確認できないのでしょうか？出来ないというなら、証人喚問するしかないですね。

[山崎憲 @ken_jil]

うわ、これはすごい記事が来た。

パランティア、給付付き税額控除、個人情報、データ統合、福祉国家と監視国家！！日経はずいぶんと突っ込んだなあ。

給付付き税額控除を本格的に実施するには、所得、資産、税、年金、自治体情報、金融機関情報、企業情報などをつなぎ、困難な状況にある人をつながないければいけない。そこで必要になるのは、国家による巨大なデータ統合基盤だ、まではわかる。

問題は、パランティアと組むってところ。軍事、安全保障、治安、医療、行政、企業のデータ統合。ていうより、軍事、そしてアメリカですすむ移民労働者の特定のための個人情報の監視。スマホで特定するっていう記事がガンガン、アメリカででてる。

つまり、パランティアと組むってことが監視ってことまでセットになってしまって映る。日経だってそれを警戒している。国家が個人をどこまで把握するのか。マイナンバーカードはここに利用されるのか、みたいにさえ深読みしてしまう。

【福祉と監視】
給付付き税額控除は、本来は再分配の制度である。低所得者を支援し、働いても生活が苦しい人を補助し、税と社会保障をつなぐ制度である。制度の方向としては必要性がある。

そのためにパランティアと組むというのは、メッセージ性しかない。

所得を把握する。資産を把握する。扶養関係を把握する。雇用を把握する。医療や介護の利用を把握する。住所移動を把握する。滞納を把握する。場合によっては出入国や捜査情報との接続も技術的には可能になる。

最初は福祉のために集める。次に不正受給対策に使う。さらに税の徴収に使う。滞納対策に使う。治安や出入国管理に使う。災害対応に使う。緊急時に使う。

福祉国家の高度化と監視国家化がコインの裏表になるというメッセージになる。

【データ国家を誰が設計するのか】
国家のデータ基盤を誰が設計し、誰が運用し、誰が監視し、誰が止められるのか。

給付のために集めたデータを、別の行政目的に使えるのか。税や年金のために集めたデータを、捜査や出入国管理に使えるのか。医療や福祉のデータを、信用評価やリスク評価に使えるのか。自治体データと金融機関データを、どこまで接続できるのか。

この線引きが曖昧なまま進めば、制度は便利な方向へ広がる。行政は効率化される。給付も早くなる。不正も見つけやすくなる。

同時に、国民は常に分類され、評価され、照合される対象になる。

【GDPRの発想】
欧州でGDPRが重視しているのは、個人情報を集めれば便利になるという発想に歯止めをかけることである。

目的を明確にする。必要最小限のデータだけを集める。何に使われているかを本人が確認できるようにする。間違った情報を直せるようにする。不必要なデータを消せるようにする。安全に管理する。責任の所在を明確にする。

これは単なる個人情報保護の手続きではない。国家や企業が、個人をデータとして扱うときの統治原則である。日本では、この議論が弱い。

便利になる。早く給付できる。不正を防げる。行政コストを減らせる。そういう言葉で進みやすい。しかし、どのデータを、何の目的で、誰が、いつまで、どこまで使えるのかを決めないまま進めると、制度の利用範囲は広がっていく。

行政にAIとデータ統合基盤を入れるなら、行政の仕事がどう変わるのかを考えなければならない。国民との関係がどう変わるのかを考えなければならない。自治体の裁量、現場の判断、異議申し立て、訂正、説明責任をどう残すのかを考えなければならない。

技術を入れれば合理化されるという話ではない。

そしてなかなかスリリングなのは、引用元の記事がすでにパランティアと契約している日本企業がどこかということまで教えてくれていることだ。っていうか怖いんですけど。

ちょっといろいろ政治とかメディアとかしっかりしないと。

【参照資料】

日経 Deep Insight「パランティアに国策を託せるか　個人情報も守る給付付き控除を」
https://t.co/fT6UtciOsU

SOMPO Holdings “SOMPO and Palantir Co-found Palantir Japan”
https://t.co/uvIjMhDIJV

Fujitsu “Fujitsu Enters Strategic Alliance with Palantir Technologies Inc.”
https://t.co/mlRdBdEDZg
NHS England “Federated Data Platform: contract explainer”
https://t.co/2aODsvScCP

Reuters “Britain's reliance on US tech group Palantir is an 'unacceptable weakness,' report says”
https://t.co/wiTw9gKA3T
GDPR Article 5: Principles relating to processing of personal data
https://t.co/2DKrcmGJ31