Adz Auk Mike Mi

音楽大好きベース弾き．☕が趣味．素朴なサンプルロースターを弄って焙煎の試行錯誤をしています．ʕ ◔ϖ◔ʔとインフラ，最近はWebGL/WebGPU，機械学習まわりが好きです．L39/Mマウントのオールドレンズ沼．

[Adz Auk Mike Mi @kmd_09]

SnowflakeのKeynoteで、StrudelのライブコーディングDJが始まったの面白すぎるwなお多分コードもCortex Codeで書かせてそう
#SnowflakeSummit2026

[Adz Auk Mike Mi @kmd_09]

@yusukebe 効率の話、完全なJSON構造の出力をやめてアプリケーション側と合意済みのDSLを吐くように強いると、レスポンス完了までの時間がかなり短くなりよかったという話でした！ (土曜の飲み会の話です)
LLMがJSON, XMLに慣れているのもあり、入力に使うなど手放しでやるのは危険かもです！

[高速に移動する点p（本物のpapix） @__papix__]

湘.なんか #4 を公開しました！ https://t.co/FiKxuGIqDB

[Adz Auk Mike Mi @kmd_09]

Claude CodeのRemote Control機能、Maxなのに何度ログインし直しても "Contact your administrator"のエラーで使えなくて困ってた。
そこでsettingsに書いてたDISABLE_NONESSENTIAL_TRAFFIC と DISABLE_TELEMETRY を消してログインしなおしたら使えるようになったので、他に困っている人がいれば！

[Adz Auk Mike Mi @kmd_09]

最近アプリケーション開発に寄っていてモデル提供する観点から離れてただけに、Finetuneや量子化について語られるこの会は最高すぎる！　#MistralMeetup

[Adz Auk Mike Mi @kmd_09]

🙌 #MistralMeetup

[Rolling Stone Japan @rollingstonejp]

【追悼】
ディアンジェロが51歳で死去　

▼記事はこちら
🔗https://t.co/Q9HwoFDyC9

ネオソウルの開拓者であり音楽シーンに決定的影響を与えた天才。3枚のアルバム『Brown Sugar』『Voodoo』『Black Messiah』すべてが名作として称えられた

#DAngelo

[Andrej Karpathy @karpathy]

Excited to release new repo: nanochat!
(it's among the most unhinged I've written).

Unlike my earlier similar repo nanoGPT which only covered pretraining, nanochat is a minimal, from scratch, full-stack training/inference pipeline of a simple ChatGPT clone in a single, dependency-minimal codebase. You boot up a cloud GPU box, run a single script and in as little as 4 hours later you can talk to your own LLM in a ChatGPT-like web UI.

It weighs ~8,000 lines of imo quite clean code to:

- Train the tokenizer using a new Rust implementation
- Pretrain a Transformer LLM on FineWeb, evaluate CORE score across a number of metrics
- Midtrain on user-assistant conversations from SmolTalk, multiple choice questions, tool use.
- SFT, evaluate the chat model on world knowledge multiple choice (ARC-E/C, MMLU), math (GSM8K), code (HumanEval)
- RL the model optionally on GSM8K with "GRPO"
- Efficient inference the model in an Engine with KV cache, simple prefill/decode, tool use (Python interpreter in a lightweight sandbox), talk to it over CLI or ChatGPT-like WebUI.
- Write a single markdown report card, summarizing and gamifying the whole thing.

Even for as low as ~$100 in cost (~4 hours on an 8XH100 node), you can train a little ChatGPT clone that you can kind of talk to, and which can write stories/poems, answer simple questions. About ~12 hours surpasses GPT-2 CORE metric. As you further scale up towards ~$1000 (~41.6 hours of training), it quickly becomes a lot more coherent and can solve simple math/code problems and take multiple choice tests. E.g. a depth 30 model trained for 24 hours (this is about equal to FLOPs of GPT-3 Small 125M and 1/1000th of GPT-3) gets into 40s on MMLU and 70s on ARC-Easy, 20s on GSM8K, etc.

My goal is to get the full "strong baseline" stack into one cohesive, minimal, readable, hackable, maximally forkable repo. nanochat will be the capstone project of LLM101n (which is still being developed). I think it also has potential to grow into a research harness, or a benchmark, similar to nanoGPT before it. It is by no means finished, tuned or optimized (actually I think there's likely quite a bit of low-hanging fruit), but I think it's at a place where the overall skeleton is ok enough that it can go up on GitHub where all the parts of it can be improved.

Link to repo and a detailed walkthrough of the nanochat speedrun is in the reply.

[Adz Auk Mike Mi @kmd_09]

@yusukebe MV50(キャビシミュ付き小型チューブ風アンプ)が異次元のコスパなのでおすすめです！
こんな小型なのにリハやライブで使えるクオリティの音が出て、さらにはスピーカまたはヘッドホンを繋いだ自宅練習でも活躍するのが最高です！ギターと一緒に常時持ち歩いてます！
https://t.co/s5lnuI8Hpc

[Adz Auk Mike Mi @kmd_09]

(写真とかビデオ撮影OKなライブでした)

[Adz Auk Mike Mi @kmd_09]

ロバートグラスパーでめちゃ元気出た！
道を極めた人間たちの神の遊び！

正解がコスパよく提示されるAI時代に、道とは・味とは的なのを考えさせられる最高のライブだった！

[Adz Auk Mike Mi @kmd_09]

Suno(v4 以上)で生成した音楽、聴くには物足りないが、静けさを埋めるためだけのBGMには絶妙な気がする。

それっぽい雰囲気やグルーヴが出ててそれなり聴けるものの、人が作った音楽と違って唸るポイントがないので意識がそっちに持ってかれない。

[Adz Auk Mike Mi @kmd_09]

めっっっっちゃ楽しかったです！本当にありがとうございました！！
Claude Codeの話のはずが、脱線してひたすらシェーダや動画生成の話で盛り上がったのも、この場の最高な属性が故で最高でした！
#aimeetup

[masafumi @masafumi]

これは面白い! Whisper EncoderとLlama3.2を2層MLPで繋いだだけでもちゃんと音声認識から直接LLMの回答を出力できる｜shi3z
https://t.co/QVS4kAQ61j

この話、ある人としていたら、2層MLPでどんな複雑な関数も近似できる「万能近似定理」という話があると言われて

JSAI 2015の級数展開に基づく表層非線形ネットワークの頭に
https://t.co/isvP3S2O78

「言語モデルや音声認識，画像認識など様々な識別タスクにおいて，多層パーセプトロン（multi-layered perceptron; MLP）すなわちフィードフォワード・ニューラルネットワーク（feedforward neural network; FFNN）が広く用いられている．識別タスクにおいてMLPが利用される理由は，並列計算が容易に実現できる単純な計算構造（計算グラフ）によって，データセットに関する線形分離可能性などの性質や，これに基づくカーネルの選び方などの設定によらず，任意の問題を表現可能だからである．任意の問題，すなわちデータセットの入出力関係を表す連続関数は，少なくとも2層のMLPによって近似可能であることが証明されている（万能性定理∗1）[1]．」

とあり、まさにMLPがはまった話だったのね

Approximation by Superpositions of a Sigmoidal Function (1989)
https://t.co/d0Lwff4wIr

[Adz Auk Mike Mi @kmd_09]

@yusukebe 既にご存知でしたらごめんなさい！もしヒントになれば！
https://t.co/QynUnz7Ehk

[Adz Auk Mike Mi @kmd_09]

@yusukebe めちゃ面白いです！エージェント側のUIへの寄与ということで、今提唱されている概念だとAG-UI x Generative UIが近いのですかね！
(という話を昨日の懇親会でsyumaiさんとしていました！)

https://t.co/xi2d7I40PZ

[syumai @__syumai]

.@kmd_09 さんから教えてもらったAG-UI、エージェントの返した結果をUIとしてレンダリングするという観点で明らかに重要そうなプロトコルなので、今週ちゃんと調べます #workers_tech
https://t.co/Tf7B15mJ14

[Yusuke Wada @yusukebe]

昨日のWorkers Tech Talksのレポート(英語)書きました！
https://t.co/4sV3S43Sl2
#workers_tech

[Azara @a_zara_n]

比較的高い権限を付与された状態で実行されるMCP Serverやそれを取り巻く環境に対して、どのような攻撃が考えられるのかを整理しました。また、攻撃者が狙う穴を以下に防ぐのか、対策や考え方もまとめたのでぜひ！
https://t.co/HHzzfV3Lxt

[Adz Auk Mike Mi @kmd_09]

Muppet最高って思ってたから、作者さんが目の前でHonoのヘルパーの話してるの最高な場すぎる！ #workers_tech

[Adz Auk Mike Mi @kmd_09]

今日の発表資料です！聞いてくれた方々ありがとうございました！ https://t.co/5acnCYWiIF
#workers_tech