けんびば

けんびばです！ホルモン大好きです！飲みましょう！🍻

[Dataibridge @Dataibridge_01]

LLMのFine-tuningを劇的に効率化できる「LoRA」の仕組みから実装・実験結果までを、体系的に学べる輪講資料です。

大規模モデルの全パラメータ更新でGPUメモリや計算コストに悩むデータサイエンティスト・LLMエンジニアに特にオススメ。

・低ランク行列BAで重みを適応する数式・図解と、TransformerのAttention層への具体的な適用方法
・AdapterやPrefix-Tuningなど他のPEFT手法との比較と、メモリ・パラメータ削減効果（GPT-3で大幅削減）
・Hugging Face PEFTライブラリを使った実装手順と、GLUE・NLGなどの実験結果で性能を確認する方法

背景の歴史から数式・図解・実装コード例・実験まで一気通貫でまとめられており、断片的な解説記事より「すぐ実務で試せる」完成度が突出しています。
https://t.co/z7c5mE1iKn

[Ayaan 🐧 @twtayaan]

How Kubernetes Networking Works 📶

[もずび/お得×投資で資産を増やす🍀 @mozu_by]

すご。うち3人いるから、60万円×3人分を1ヶ月預けたら、25,000円以上利息貰えるってこと？やーば🤣
https://t.co/cnHRzk3cgW

[Fishlover @Asakana (YC) @asa_sakana_fish]

宣伝です。
食品業界を支援する会社を作ってY Combinatorに採択されました。
我々は食品業界への価値提供を何より重視しています。
せっかくなので、思いを書いてみます。

[Sakana AI @SakanaAILabs]

【採用情報】Member of Technical Staff (LLM Development) の募集を開始しました🐟

https://t.co/XmUoUaR3QY

Sakana Namazuを起点に拡大しているSakana AIのLLM開発を担うポジションです。下記のような挑戦が待っています。

・事前学習から事後学習・評価まで、LLM開発の全工程に取り組むチーム に参加
・LLM開発全体を見渡しながら、担当領域にオーナーシップを持ってリード
・Sakana AIのプロダクト・ソリューションとRSI研究の基盤となるLLMを開発

LLM開発の最前線で挑戦したい方、ぜひご応募ください🚀

[Kyle Daigle @kdaigle]

Our CTO shared a blog on GitHub’s reliability, what we’ve already done, and what more we need to do to.

Monthly commits and merged PRs alone have nearly doubled since April. As the home for devs, availability is critical. I'm sorry for the pain and thankful for the support. 🙏

[サカモト@エンジニアキャリア論 @sakamoto_582]

Slack Codeが発表されたらしいけど、これめちゃくちゃいいね

社員が集まるメインのコミュニケーションチャンネルを持っていることの強さ

Slackから議論した内容からPRドラフト作って、プレビュー環境アプリを作成するというのは容易に想像できる

[tut_ml @tut_ml]

Advanced Deep Learning Courses- https://t.co/OsEBV7Yl8g

[Zach Parent @hi_ZachParent]

Another FDE here! 👋 Are you more excited to hear about a day in the life of an OpenAI FDE, about strategies for being effective with AI tools, or what we’ve learned by deploying in specific industries?

Also…do you want videos? 👀

[AI Builders Japan @aibuildersjapan]

なんて素晴らしい一日だったのでしょう！東京で最高のビルドデーとなりました。🚀

日本ならではの文化や創造性を活かしたアイデアから、実社会で活用できるAIアプリケーションまで、参加チームはわずか1日で実用的なAIエージェントを次々と作り上げました。会場の熱気、コラボレーション、そしてデモは本当に素晴らしかったです。

ハッカソンを支えてくださったスポンサーの皆さまに心より感謝します。
@aiand_ @daytonaio @gmi_cloud @nosana_ai @qoder_ai_ide

また、日本全国、そして海外からビルダーが集まる素晴らしいコミュニティを作り上げるためにご協力いただいたコミュニティパートナーの @mercari_jp と @meltinghack にも心より感謝します。

また次回お会いしましょう！🔥

[Avi Chawla @_avichawla]

A good technical LLM interview question:

Your LLM chatbot takes 12s before it generates the first token, and the users are complaining.

So you move the model onto a GPU with 3x the computing power.

The time to first token barely improves.

Why did this happen?

(answer below)

Latency in an LLM app is a placement problem disguised as a model problem.

If you profile the 12 seconds, the model's prefill itself may only account for around 1.5 seconds of it.

So halving the prefill step saves just 750ms out of 12000, which is under 7%.

The rest is spread across stages that never touch the GPU.

The request first travels to whatever region the app runs in, and a cross-continent round trip could cost over a second before any code executes.

Then the request handler starts. On a container-based serverless platform under load, this adds several seconds of cold start, paid before auth, rate limiting, or prompt assembly even begins.

Retrieval adds its own hop, and the response streams back across the same distance.

Optimizing a stage that was already fast cannot alter the latency that's majorly affected by other stages.

Those other stages are slow for a structural reason.

An LLM app runs two workloads that want opposite machines.

- The request path is short, spiky, and needs to sit close to users
- Inference is long-running, GPU-bound, and billed hourly, whether requests arrive or not.

So the actual decision is not which model to run, but where each of these two workloads runs.

There are three options, each with its own tradeoffs:

> A dedicated GPU box removes inference cold starts, but it bills around the clock and lives in one location, so distant users wait out the round trip on every request

> Container-based serverless scales to zero, but the request path pays a cold start, and most of these platforms have no GPU behind them.

> Edge runtimes start in under a millisecond, because a WebAssembly module carries no OS or container image to boot. They handle the request path well and cannot hold a model.

So the answer is not to pick one, but to split the app across two of them.

The request path runs close to users, and inference runs on a dedicated GPU it calls into.

That also explains the failed upgrade. More compute made a stage that was already fast faster, and left the 10.5 seconds around it untouched.

To actually learn how it's done in practice, Akamai's GitHub has a reference implementation for each half.

- vllm-on-lke serves Qwen2.5-7B-Instruct behind an OpenAI-compatible endpoint on one RTX 4000 Ada GPU in Linode Kubernetes Engine, with Terraform creating the cluster, both firewalls, and the GPU operator in one apply.

- akamai-functions-llm-chatbot covers the front, where a WebAssembly API checks a KV cache and only calls the GPU-backed instance on a miss.

Both are available on Akamai’s new Developer Hub, alongside their tutorials and code samples.

It also links to Edge Case, their Discord, where four developer advocates architect and deploy a production app live every other Wednesday.

If you create a new Akamai Cloud account, you can also get $300 in credits for joining.

Join here: https://t.co/ge5fJ7jbtS

That said, this post treats generation as a single 1.5s block, but that block has its own structure, and knowing it well tells you whether a model is slow to start or slow to stream.

I wrote a first-principles walkthrough of it, covering the prefill and decode split, KV caching, and where the time actually goes inside each one.

Read it below.

Thanks to Akamai Cloud for partnering today!

[Fiction @0xF1ction]

Ex-Google Jeff Dean:

"The biggest shift in AI right now - AI agents and graph-based engineering aren't hitting a wall.

They're pushing compute requirements so far that we'd have had to double every computer Google owned"

A decade of Google AI infrastructure, in 25 minutes, from the person who built it.

He sits on Google's best research for months before the world ever sees it.

Watch it, then read the guide below on building a agents that runs without you

[Eric Newcomer @EricNewcomer]

Here's Stripe's letter to investors explaining its acquisition of OpenRouter (LEAKED)

[マスクド・アナライズ 本「会社で使えるChatGPT」好評発売中 @maskedanl]

マイクロソフト出身で伝説のエンジニアさん。
新聞社の記事で「日本のIT業界は多重請負構造がダメ（ドヤァ）」と、20年以上前からみんなが指摘してる当たり前の話をしてた。

「実はどっかで聞いた話をパクってるのでは？」と思ったら、ホントに他人の記事からの丸パクリが指摘されたでござる。

[イエス・キリスト @yeskiri]

定期的に見たくなる伝説のシーン

[トミオ @tomyuo]

僕がTableau辞めてMBA取りにいったときの理由も、毎年座ってるだけで1000万近いRSU来てたので「今辞めないとどんどん辞めづらくなる」でしたね。あのとき辞めてなかったら、預金残高今と全然違ったろうなーとは思いますｗ

[わくわくさん（USCPA × USCMA 二刀流） @HiroI83618657]

これからのコンサル業界を目指すなら「FDE（Forward Deployed Engineer）」というキーワードは超重要。

KPMGがAIコンサル倍増＆再配置を発表したように、BIG4各社が「AIを現場実装できる人材」を急増させている。

パワポで提言するだけのコンサルはAIに代替され、現場に入り込んでコードやAIを動かし、業務を変革できるFDE型人材の価値が急上昇中。

現場のビジネスニーズを汲み取りつつ、開発やシステムの裏側まで理解してAIを組み込める――そんなハイブリッドな人材を目指したい。

[虚業クンッ @FakedBusiness]

生成AI使っててこれは編集者の仕事に近いんじゃないかと天啓を得ており、手当たり次第に有名な編集者の本(Peter Ginna 編『What Editors Do: The Art, Craft, and Business of Book Editing』(University of Chicago Press, 2017)、花森安治、菅付雅信など)買い集めてたところだった。

[Shin丨AI×プロダクト開発の専門家🤵🏻 @shin_sasaki19]

OpenAIのFDE現役メンバー2人へのインタビューがめちゃくちゃ面白い📝 OpenAI社内では『Tip of the spear』、つまり「一番槍」と呼ばれる存在。

■ FDEは「AIを入れる人」ではなく「成果が出るまで作る人」
・経営層と現場の双方に入り、まだ言語化されていない課題の発掘
・どの業務に、どのモデルやプロダクト、APIを使うべきかの構想
・業務に特化したAIエージェントやシステムの開発
・動作検証、セキュリティ対応、本番環境への導入
・顧客側で運用できる状態への移管
・現場で見つかった限界を研究・プロダクトチームへ還元

コードを書いて納品したら終了ではありません。OpenAIのモデルが本番環境で動き、業務成果につながって初めて価値。

ここが従来のSIerやITコンサルとの大きな違いです。
FDEは自社のモデルやAPIを持つOpenAIの内側にいながら、顧客企業の現場にも深く入る立場。顧客の難題を解くと同時に、既存モデルでは解けない課題を見つけ、それを次のモデルやプロダクト改善へ戻す循環の起点です。

顧客支援とプロダクト開発が分かれていない構造。ここが面白い。

■ 相手にするのは「ChatGPTを配れば解決する課題」ではない
もちろん、すべてのAI導入にFDEが必要なわけではありません。ChatGPT Enterpriseの導入だけで解決できる業務も多数。

FDEが入るのは、その先に残った難題です。

・モデルが学習していない専門データを扱う業務
・既製品を試しても解けなかった個社固有の課題
・業務理解とシステム設計を一体で進める必要がある領域
・試作品では動いても、本番環境へ持っていけない案件

日本企業の営業部門では、業務特化型のAIエージェントを開発。新卒社員の提案品質が3〜4年目の社員と同等まで向上したとのこと。

20〜30年前に作られ、仕様書すら残っていない基幹システムの刷新にも対応。AIにコードを書かせるだけではなく、動作検証と脆弱性の修正まで行い、実運用できる状態へ持っていく仕事。

コードモダナイゼーションで重要なのは、最初の8割を生成することより、残り2割の動作検証、セキュリティ、本番移行。この壁を越えるためにFDEが入ります。

■ 作ったものがAIの進化で不要になっても構わない
さらに興味深いのが、FDEが個社向けに作った仕組み自体も、より高性能な標準製品に置き換わる前提で考えられている点。

実際、PowerPoint資料の作成を支援するために開発したAIエージェントは、プロダクトチームへ共有され、後に「ChatGPT for PowerPoint」として製品化。

半年かけて作ったものが標準機能に置き換われば、投資が無駄に見えるかもしれません。ところがOpenAIは、それを悪いことだとは捉えていません。

仕組みが置き換わっても、業務を分解した知見、AIを組み込んだ経験、組織に残ったスキルは消えない。その蓄積を使い、次のより大きな課題へ進めるという発想。

AI時代のシステムは「長く残す完成品」ではなく、「次の課題へ進むための足場」なのかもしれません。

■ FDEが0→1、専門組織とパートナーが1→10

OpenAIの役割分担も明快。

・FDE：誰も解いたことのない課題を解く0→1
・OpenAI Deployment CompanyやSB OAI Japan：解法を横展開する1→10

FDEが全企業の導入を担うのではなく、最前線で原型を作り、再現可能になったものを別組織が広げる構造。今後の日本では、製造業や金融業を中心に、サイバーセキュリティやコード移行などで需要が高まる見通しです。

この記事を読むと、AI時代にPM、エンジニア、コンサルという職種の境界が薄くなる理由がよく分かります。

必要なのは、課題を定義する力だけでも、コードを書く力だけでも、導入を管理する力だけでもありません。

・顧客の業務を深く理解する力
・曖昧な課題を技術要件へ変える力
・AIを使って素早く実装する力
・本番で価値が出るまでやり切る力
・個別解から汎用プロダクトの種を見つける力

AI導入の本当のボトルネックは、モデル性能ではなく「現場と技術の間をつなぎ、最後まで成果に変える人」の不足。

FDEという職種名が定着するかは分かりません。ただ、この働き方はAI時代のプロダクト人材にとって、かなり重要なキャリアの型になりそうです。

https://t.co/ZxQpOIMgcy

[Mansi 👩‍💻 @MansiCodez]

Interviewed a Senior Backend Engineer recently.

Strong candidate.

Microservices? ✅
Kafka? ✅
Redis? ✅
Load balancing? ✅

Then I asked:

"You're designing an API used by 10 million users."

One user starts sending 10,000 requests per second.

Your backend is getting hammered.

You need to enforce:

100 requests per minute per user.

Sounds easy.

Then I added a few constraints:

→ 100+ application servers
→ Requests can hit any server
→ Multiple requests can arrive simultaneously
→ Servers can scale up/down dynamically
→ The limit must be consistent across servers
→ You can't maintain the counter in application memory
Now the obvious solution doesn't work.

How do you design a distributed rate limiter?

Where do you maintain the counters?

How do you handle concurrent requests?

What happens when 1,000 requests arrive at exactly the same time?

And which algorithm would you choose?

Fixed Window?
Sliding Window?
Token Bucket?
Leaky Bucket?
Your turn. 👇

How would you design it?
There's a reason Redis is commonly involved in this problem.

📌 Bookmark this.
The solution comes tomorrow.