YK

東証プライム上場企業でAIアーキテクト/エンジニアをしています。大学で研究もしています。機械学習エンジニア歴8年目。画像認識、音声認識、RAG、AIエージェント開発が得意です。お仕事のご相談はDMまで

[YK @javasparrows_]

3歳息子が急に起きて「遊びたいー😭」と泣き続けて仕方なく起きる午前5時

[YK @javasparrows_]

東大院試の点数開示結果の紙が出てきた、懐かしい…離散フーリエ変換の大問だけ最後までできたの今でも覚えてる

[YK @javasparrows_]

おうちで紙粘土で遊んでみよう！みたいな感じで、おうちでLLMを作ってみよう！みたいな流れが来たりして

[Sebastian Raschka @rasbt]

Just saw that the LLMs-from-scratch repository passed 100,000 stars on GitHub!
This is super cool and motivating. I am really happy to see that this open-source repo has helped so many people.
Thanks also to everyone who shared ideas and opened PRs with improvements!

Of course, I plan to keep adding new material, including new attention variants and architectures (while bigger projects like RL and Reasoning From Scratch live in their separate repositories).

I am also currently working on a larger applied custom “small” LLM project. It has been keeping me super busy this month, but I will share more on that soon.

If you are new to it, some of the highlights include

1. Of course, the complete code path from tokenization and attention to pretraining, classification, and instruction fine-tuning, etc. All of it FROM SCRATCH, of course! (RL lives in a companion repo.)

2. From-scratch implementations of Llama, Qwen, Gemma, and Olmo (smaller variants that run locally and can be plugged into the training scripts).

3. From-scratch implementations of attention alternatives and other architecture components, such as GQA, MLA, sliding-window attention, Gated DeltaNet, DeepSeek Sparse Attention, cross-layer KV sharing, and mixture-of-experts

4. Materials on KV caching, training performance, memory-efficient weight loading, DPO, evaluation, and LoRA

So, if you don’t have any weekend plans yet, happy tinkering!

[YK @javasparrows_]

@MatsumotoY10 結婚相手にもだし、同僚や部下・後輩への態度もそこから見えてきそうです笑

[YK @javasparrows_]

DGX SparkでLLMをぶん回してエアコンを強めるの、熱エネルギーを生みすぎててなんとなく罪悪感がある

[YK @javasparrows_]

外出中(電車、道端とか)に他人の乳幼児を見て笑顔になっている人はきっと性格良い人なんだろうなぁと毎回思ってる。もちろんただポーカーフェイスな人もたくさんいるだろうけど

[YK @javasparrows_]

アメリカの研究だと100病院のデータで研究とかよく見るけど、日本だと2病院が限界って感じで圧倒的な差を感じる

[YK @javasparrows_]

LLMに「お前は〜」ってプロンプト送ってる人ってどんな意図なんだろう

[YK @javasparrows_]

これ知り合いが去年やってて、ほんとに成功してたからすごいなと思ってた。米国籍取る(取らせる)のに一番簡単な方法だよね

[産経ニュース @Sankei_news]

トランプ氏、「出産旅行」禁じる大統領令　米国籍取得を目的とした中国人らの渡米を問題視
https://t.co/sf4wslgXLg

トランプ氏は米国で生まれた子供に自動的に国籍を付与する出生地主義制度を制限する二つの大統領令に署名。制度の適用範囲を狭め、米国籍取得を目的とした「出産ツーリズム」を禁じる

[YK @javasparrows_]

@h0shi__x おめでとうございます！！

[YK @javasparrows_]

AI初心者向けに書くと、VRAMの大きさが正義です。次にGPUの計算速度。

[YK @javasparrows_]

東京都の乳幼児子育て世帯向けの家事手伝い割引サービスを使ってフィリピン人の方に何回か来てもらってるんだけど、英語の練習にもなるし掃除片付けめちゃくちゃ上手だし本当感謝

[YK @javasparrows_]

わかる…みんなエージェント作りたすぎて、最近はそれを止める(まずエージェントの定義と仕組みから説明する)係になってる

[Takuto Wada @t_wada]

「この問題の解決策がここまで大げさになるのはおかしい」という直感がコーディングエージェントのオーバーエンジニアリング傾向に対するブレーキになっているのだけど、この直感を教えるのがなかなか難しい

[YK @javasparrows_]

@TakafumiKubota 苦くて炭酸となるとビールと似てるんですかね〜

[YK @javasparrows_]

元動画
https://t.co/NOzfCC3V2E

[小互 @xiaohu]

Boris 称：Anthropic 内部平均 90% 的代码已经是 Claude Code 写的，他自己从去年 11 月起就是 100%...

更有意思的是后面那段：

他说前端后端产品设计这套分法已经过时了，因为人人都能写代码。

团队实际分化成了五种角色：

• 原型师：抓住第一个想法，飞快试错
• 构建者：把原型做成能推向市场的产品
• 维护者：软件跑到规模之后守住它
• 扩展者：把跑通的产品放大 10 倍 100 倍
• 收尾人：打磨产品和代码，把毛刺磨掉

他说扩展者这类人现在在 Anthropic 特别抢手

[YK @javasparrows_]

Japan has?

[Hannah @anah_sahh]

USA has ChatGPT
USA has Grok
USA has Claude
USA has Gemini
USA has Llama
USA has Copilot

China has DeepSeek
China has Qwen
China has Ernie
China has GLM
China has Kimi
China has MiniMax

Europe has?

[Hannah @anah_sahh]

USA has ChatGPT
USA has Grok
USA has Claude
USA has Gemini
USA has Llama
USA has Copilot

China has DeepSeek
China has Qwen
China has Ernie
China has GLM
China has Kimi
China has MiniMax

Europe has?

[YK @javasparrows_]

昨年から行っていた自分の研究結果としては、8bit量子化まではあまり精度が落ちないが、4bit量子化からは結構落ちてくるので、LLM推論時の量子化は8bitまでにしておいた方が良いと思う。

なのでVRAMが足りないとしても4bit以下にする必要があるならそのモデルは諦めてる

[YK @javasparrows_]

海外AIだと日本の著作権コンテンツを無限に学習しても文句を言われないが、日本製AIだと「それは〇○株式会社に許可を取ったのか？」と四方八方から指摘が出てきて学習できず、海外と日本のAIのAI精度の差は永遠に縮まらない。という未来が見えました🔮

[Torishima / INTP @izutorishima]

30B (???) 、数百 GB 程度のサイズにどうやって日本的な世界知識を詰め込んでるんだこれ・・・オーパーツすぎる