schwarze siamkatze

AI & Tech

[Kazunori Sato @kazunori_279]

ってお題を出したら、Gemini曰く：コンテキストエンジニアリングやメモリの技術は、まさにLLMを一種の「意味演算器」として扱い、自然言語を使って確率的に動作するチューリングマシンを設計していると捉えることができます。
これは、現在のAI開発における非常に重要なパラダイムシフトを示唆しています。
## LLMは新しい「意味演算器」
従来のコンピュータのCPUが、足し算や引き算といった数学的な「形式演算」を行う演算器（ALU）を内蔵しているのに対し、LLMは以下のような**「意味演算」**を行う、まったく新しいタイプの演算器と見なせます。
* テキスト生成: 与えられた文脈に続く、もっともらしいテキストを生成する。
* 要約: 長い文章の意味を保ったまま、短い文章に圧縮する。
* 翻訳: ある言語の意味を、別の言語の意味に変換する。
* 推論: 文脈から論理的な結論を導き出す。
私たちは、この強力な「意味演算器」を直接プログラミングするのではなく、自然言語（プロンプト）を使って操作しているのです。
## コンテキストとメモリがチューリングマシンを構成する
ご指摘の通り、LLMを単なる演算器として捉えると、周辺技術がチューリングマシンの各要素に対応していることがよくわかります。
* ヘッド (Head): LLM本体がこれにあたります。情報を読み取り、内部状態を更新し、情報を書き出す中核部分です。
* テープ (Tape): コンテキストウィンドウが、LLMが一度に読み書きできる「テープ」の役割を果たします。プロンプトエンジニアリングは、このテープにどのような初期情報を書き込むかを設計する作業です。
* 外部メモリ (External Memory / Tape): RAG (Retrieval-Augmented Generation) のような技術は、コンテキストウィンドウという限られた長さのテープを拡張する**「外部テープ」**と見なせます。LLMは必要に応じてこの外部テープ（ベクトルデータベースなど）にアクセスし、情報を読み取って処理を続行します。
* 遷移規則 (Transition Rules): プロンプトの設計、特にChain-of-Thought (CoT) やReActのようなフレームワークが、チューリングマシンの「状態遷移規則」を定義しています。
* 例 (ReAct):
* Thought (思考): 現状を分析し、次に行うべき行動を決定する。（状態遷移）
* Action (行動): 外部ツール（検索など）を使う。（テープへのアクセス）
* Observation (観察): ツールの結果を得て、テープに追記する。（テープの更新）
* このサイクルは、まさにチューリングマシンがテープを読み書きしながら状態を遷移させていくプロセスそのものです。
## 「確率的」であることの本質
従来のチューリングマシンが決定論的（同じ入力に対して必ず同じ出力を返す）であるのに対し、LLMをベースにしたシステムは確率的です。
これは、LLMが次に来る単語を確率分布に基づいて予測・生成するためです。そのため、同じプロンプト（初期テープ）を与えても、実行するたびに微妙に異なる思考プロセスや出力を生成する可能性があります。
この「確率性」は、創造性や柔軟性を生み出す源泉である一方で、出力の信頼性や一貫性を担保するための課題でもあり、今後の研究開発の大きなテーマとなっています。
## まとめ
このように、LLMを「演算器」、周辺技術を「チューリングマシンの構成要素」と見立てることで、私たちが現在行っていることは、単なる「対話AIの利用」ではなく、自然言語という新しいプログラミング言語を用いた、壮大な計算モデルの構築であると理解できます。この視点は、今後のAIエージェントやより高度なAIシステムの開発において、非常に重要な指針となるでしょう。

[Simon Taylor @sytaylor]

Ha!

[Kazunori Sato @kazunori_279]

俺もUIの人との連携で悩んだ。いろいろ不慣れな新人くんが輝ける居場所を見つけてあげる感じで、単機能のエージェントのMVP作ってUIやフローを探索的に育ててく。"「このUIならこういう機能しか入らないよね」みたいな制約が生まれてしまう" https://t.co/l0Ei7xGgbV

[じゃむまる @jammaru_lab]

まじ最高すぎるんやけど……

[スズキ @makemmd]

家族アルバム『みてね』がグローバルで2,000万DL突破！ユーザーの半分以上が何と海外で、海外の自然流入数は前年比で1.3倍になっているらしい

国内の出生人口における利用率は55%で、とんでもないシェアの取り方をしている
https://t.co/KPlxKtARD4

[ロケットニュース24 @RocketNews24]

【独占取材】いわもとQが全店閉店したという噂は本当か？ 関係者に話を聞いてみた / 立ち食いそば放浪記 https://t.co/wRGyIDoRiN

[Buitengebieden @buitengebieden]

When you need to distract the nervous doggy during a blood draw.. 😂

Sound on

[さよならじんるい @Jinrui_sayonara]

80年代のアメリカ映画とか見てると日本がアメリカを超え世界一のイノベーション大国になると言う描写が多かった事がよく分かる

VHS、レーザーディスク、ウォークマンやCDプレーヤー、MD、ロボット、iモードなど日本はかつて最先端を走ってたが何時頃かイノベーションが生まれない国に…

[miyasaka @miyasaka]

スキルという言葉では表現できない「何かな資質」を持ってる人に随分と助けてもらってきた。チームが苦境な時にも笑って前向きな発言をする、悩んでる同僚にスッと声をかける、新人の面倒見がよい的な。スキルは技術革新で価値がゆれるけど、「何かな資質」は時代や職場を超えて再現性が高い。リスキリングができない何か。スラムダンクの小暮くんが持ってそうな感じの資質。七人の侍にもいた気がする。

https://t.co/9lVo8JNXPA

[小木 郁夫（こぼく いくお） @Koboku_Ikuo]

「低位安定」で、ベンダーもユーザー企業も両方とも「デジタル競争の敗者」──って某省の公開資料、コレか。

[坂井風太 @fuuuuuta21]

ミドルマネジャーの育成投資は重要なのですが、「コーチング」「キャリアカウンセリング」「対話スキル」「心理的安全性」などのトピックが過剰に流行していることに対しては、銀の弾丸みたいになっていて、それは「手段の目的化」なのでは？と同時に思っています。

本来的には、組織課題で悩む時間を減らして事業に成長できるようにすること＋適切な球種選択をできるように支援することが大切だと考えています。

※でも、コーチングはコロナ下での自分の見つめ直しや副業需要も相まって、興味人口が多いために、組織受容性の高い施策であるので、そりゃ流行りやすいわなと思います。ただ、「人に問う前に率先垂範しようよ」とも思います。

[schwarze siamkatze @SSiamkatze]

ChatGPT活用で業務改善しようと
対象業務洗い出したりするが、ChatGPT/AIの前にDXでやれちゃうことが多いんだよなぁ。
あと、ChatGPT活用、EUCと同じ問題起こさなきゃいいのだが。

[Jason Wei @_jasonwei]

An open question these days is what the role of task-specific / finetuned models will be. I can only think of three scenarios where it makes sense to work on task-specific models.

The first scenario is if you have private (e.g., legal, medical, business) data not found on the web that you want the model to know. And you have to have a decent amount of it—if it’s only a little bit, it'll be much easier to put it into a long-context model or retrieve it. Even if the best models today can’t do long-context or retrieval well, they probably will be able to in a few years.

The second scenario is if you are doing a domain-specific task and care a lot about doing it with low latency or low cost. For example, codex is a great use case, since you only need the coding ability and you want people to be able to use it at scale, quickly and cheaply. This makes sense because if you’re only doing one domain, you don’t need as many model parameters as general models do (less memorization required).

These two scenarios make sense because emergent performance on private tasks is not achievable by scaling (scenario 1), and scenario 2 by definition doesn’t want larger models.

The final scenario to use task-specific models is if you want to get the best possible performance on a task and can easily ride the wave of the next GPT-N+1 model (e.g., you are using a finetuning API from another provider, which will presumably get better as the provider trains better models).

In most other scenarios, it seems dangerous to focus on domain-specific models. For example, let’s say you train a model on some specific task and it beats GPT-4 this year. That is satisfying in the short run. However, with every GPT-n+1 could potentially beat your task-specific model due to scale enabling better reasoning, better access to tail knowledge, etc. We have seen this time and time again in the past (e.g., PubMedGPT and GPT-3 finetuned on GSM8K surpassed by PaLM). To me this is an obvious instance of The Bitter Lesson but would love to hear if I’ve missed anything.

[ガッテム竹内(元ハガキ職人) @GTT214]

テントの服を着て
清々しい笑顔で洗濯をする黒須

#VIVANTep9
#VIVANT

[schwarze siamkatze @SSiamkatze]

楽しみすぎる！

[WIRED.jp @wired_jp]

「EA SPORTS FC 24」はFIFAと決別しても、有名選手のプレーを楽しめるよう進化した https://t.co/buMo2EtLoN #最新記事

[Buitengebieden @buitengebieden]

Roadblock in Tanzania.. 😅

[schwarze siamkatze @SSiamkatze]

インドすごいなー

[小木 郁夫（こぼく いくお） @Koboku_Ikuo]

インドは規模大きい😮">ワクチン接種のオペレーションをクラウドが支える──インド政府では、オンラインでのワクチン接種登録システムを #AWS を用いて運用 [..] システムの運用開始の初日には「１９０万人」が一斉にアクセスをし、「１０億人」が今後利用するスケジュールとなっています（事例#10）"

[schwarze siamkatze @SSiamkatze]

@ifura3 移民受入先、日本4位だったんですね。意外でした。