シバタアキラ

Devinを提供するCognition AIのField CTO - データ・AI活用によるビジネス価値の創出を専門とし、国内外で数百に及ぶ企業での技術導入に関わてきった。 DataRobot Japan CEO、Qosmo COO、W&Bカンマネ等を歴任。講演等はakira.shibata@gmailへ

[swyx @swyx]

Finally! the first eval ship from cog!!!!!!!!!! 👼🏼

To contextualize: @METR_Evals cap out at ~16 hours.

Cog has private enterprise evals up to 100hrs, and is confident enough to put a financial guarantee on it 🤯

METR dataset: ML eng, GPU kernels, cybersecurity

> "METR (2026) used a combination of GPT-4o and GPT-5 to estimate the human-equivalent times from compressed Claude Code transcripts. These transcripts were collected from 7 METR technical staff on 34 sessions labeled on human ground truth". rlog​ of 0.83

Cog dataset: real life java/typescript/python/c# feature dev, bugfixes, migrations

> "We collected a ground-truth dataset by asking Devin users to review recent representative sessions, and estimate how long each completed session would have taken without Devin. Our dataset consists of 258 sessions from 126 users across a diverse set of enterprise customers." rlog​ of 0.74 on held out set

this is pioneering real world evals work and part 1 of a broader frontier code evals drop that I'm really looking forward to writing up. huge kudos to @annarmitchell and @ryanbai1412 for leading the unglamorous last mile data collection!!

[シバタアキラ @madyagi]

トークン利用料で生産性を測ることはできないって、だんだんみんな気づいてますよね？もしAIのアウトプットのイン��クトが出てなければ、Cognitionが返金します。

[Cognition Japan @cognition_jp]

Cognitionは「AI生産性保証プログラム」でAIの生産性を保証します。

もしDevinがお支払いいただいた金額よりも少ないエンジニアリング価値しか生み出さなかった場合には、$10Mドル(約16億円)を上限に返金します。

トークンを大量消費するだけではなく、生産性を最大化する時代がやってきました。

[シバタアキラ @madyagi]

@ttunguz Why does anyone use closed models from Open Router?

[シバタアキラ @madyagi]

Cognition JapanのXアカウントが開始されました。見逃せないアップデートを共有しますので、ぜひみなさんフォローしてくだい🙏🙏🙏

[Cognition Japan @cognition_jp]

Cognition JapanのXアカウントを開始しました。国内展開を加速する私たちの最新アップデートを共有しますので、フォローをお願いします！

We have just started Cognition Japan X account. As we accelerate Japan expansion, we will share our latest updates through this channel!

[シバタアキラ @madyagi]

一体何が起こってるの？ダレカオシエテ

https://t.co/GYpW5doC2h

[シバタアキラ @madyagi]

Cognitionに加わってちょうど1ヶ月、大型の調達が発表されました。ユーセージはまさに「垂直」に立ち上がっている。

[Cognition @cognition]

1/ We’ve raised over $1B at a $26B valuation, led by @Lux_Capital, @generalcatalyst, and @8vc.

Our enterprise usage has grown >10x since the start of this year, and our run-rate revenue grew to $492 M.

We launched Devin two years ago as the first AI software engineer. Since then, cloud agents have gone from niche to mainstream, and today they are the fastest growing way to create software.

[シバタアキラ @madyagi]

NYの地下鉄。これ東京でもやってほしー

[シバタアキラ @madyagi]

ひと息

[シバタアキラ @madyagi]

トークンマクシングにより戻し。実際私もAIコーディング領域で仕事を始めてどんどん耳に入るユーセージ爆発問題。トークンで課金することの限界でもある。どうやって課金とROIをアラインできるかの競争が起こってきそう。何もかもOpusに放り��む必要はない。

[iwashi / Yoshimasa Iwase @iwashi86]

UberのCOOのコメント記事から。エージェントに費やすトークンコストに比べてアウトカムが得られてない問題だ。

・UberのCOO曰く、AIは費用対効果に見合ってない。
・この問題が表面化したのは、2026年のAIコーディングツール予算を使い果たしたのがきっかけ。

・このような急速な予算の消化は社内に大きなインパクトがあった
・AIの利用コストと従業員の雇用維持のどちらを優先すべきかという議論につながった

・経営陣がエンジニアリング部門のリーダーたちと協議した結果、AIの利用量が増加しても消費者向けの便利な機能が比例して増えるわけではないことが判明した
・AIを多用することと実際の開発成果との間に明確な繋がりを見出すことは非常に困��

・高騰するAI投資の費用を補うために新規採用のペースを落としているも名言している
・現場の従業員は無料ツールを試している感覚になりやすい
・だが、実際には企業側が莫大なシステム利用料を負担している

・大手IT業界全体ではAIの利用を極限まで増やして人事評価の対象にする動きが続いてきた
・Duolingoのように不必要なAI利用の推進をやめ、実際の成果を再び重視するよう方針を転換する企業も現れ始めている

https://t.co/fg4WXMjGKq

[シバタアキラ @madyagi]

なんで今さらインファレンス提供スタートアップが伸びてるのかまだよく理解できてないけど、とりあえず垂直に伸びてるらしい。

[swyx @swyx]

ai infra is going VERTICAL

[Bill Chen @realchillben]

Not bad @cognition

[シバタアキラ @madyagi]

Devinでwindows VMが使えるようになりました。つまり、Windowsアプリケーションをデプロイしてテストするところまでセッション内でできるのです。もちろんテスト失敗したら開発し直すので、アウトプットの質も上がります。

[nader dabit @dabit3]

1.4 billion devices run Windows. Devin now builds for all of them.

Build, run, and test native Windows apps in a dedicated cloud VM.

[シバタアキラ @madyagi]

今週はオースティンでトレーニングでした。なかなか凝縮の内容でもうぐったりw
グラフはCognition内でのAIのコードコミットが猛烈に増えてる状況について話すニック。未来はすぐ目の前に。

[シバタアキラ @madyagi]

Devinの特徴はVMで内でビルドしてUIテストまでやってくれるところ。このたびこれがAndroidアプリでもできるようになりました。

[Cognition @cognition]

Devin can now build and run Android apps.

We added Android Virtual Device (AVD) support for Devin’s machine, which means Devin can now autonomously build, launch, and test Android apps.

[シバタアキラ @madyagi]

「2024年3月にリリースしたDevinは出来が悪くて批判の的に。」その後2年でその評価は完全にひっくり返った。まだ１時間くらいしか話してないけど、Scottは恐ろしいほど頭の回転が良くて、ついていくのがやっと。というかついていけてるのか？全くとんでもない会社に入っちまったぜ！

[Colossus @colossusmag]

Scott Wu is the co-founder of Cognition AI, one of the fastest-growing companies in history. He’s also the greatest competitive programmer the US has ever produced. You may have seen him doing impossible card tricks and mental math.

You’ve never seen him asked about weed, Michael Jordan, cancer, and human consciousness over a punnet of strawberries. That is what Colossus editor-in-chief Jeremy Stern did on a recent visit to San Francisco.

For those less familiar with @ScottWu46: In 2nd grade, he entered a math competition for 7th graders, lost, and was so furious he still fumes about it 20 years later. The next year he entered the 9th-grade division as a 3rd-grader and got a perfect score.

Then he won first place at the US national middle-school math competition and three straight gold medals at the International Olympiad in Informatics, where he became the greatest American gold-medalist and coach in history.

Most of the people running the biggest AI companies met as teenagers, competing for their countries on international math and science teams. OpenAI’s Greg Brockman, Anthropic’s Dario Amodei, Meta’s Alexandr Wang, to name just a few.

Most agree that the von Neumann among them was Scott Wu.

In November 2023, a few weeks after his mother died of lung cancer, on the day Sam Altman was fired from OpenAI, Wu founded his own AI company: Cognition.

He was 26 and saw earlier than almost anyone that AI would converge on agents that work in the background, 24/7, like coworkers. He shipped Cognition’s AI software engineer Devin in March 2024. It worked poorly, and he took intense public criticism for it.

Now, in its first 18 months of service, Devin has generated $445 million of revenue run rate and usage has doubled every eight weeks. The US Army, Goldman Sachs, and Mercedes-Benz are all customers. Cognition is raising at a valuation around $25 billion.

@JeremySternLA sat down with Wu, the emperor of the nerds, to ask the questions we’d all ask one of the smartest people in America—building the most consequential technology of our generation—if we ever got the chance.

As well as MJ and weed, they talk about the cluster of competitive math prodigies behind so much of AI, what makes us human when AGI arrives, and why Wu believes he was put on this earth to teach AI how to code.

Read the piece below.

[berni @itsnotbernhard]

I love that Cognition's Devin has their own linkedin, that's hilarious

open to work, lol

[Kinopee @kinopee_ai]

世界で最もアクティブな Devin ユーザー上位200人に入っているらしい。
この機に言っておくと、非同期エージェントとしては Devin は断トツに高機能、高精度。エンプラに評価される理由。

[シバタアキラ @madyagi]

今週は学びが多すぎて鼻血が出そうでした。いよいよ帰国ですが時差ボケ防止のflykittを試します。ボスのおすすめ。朝からオレンジ色のレンズのメガネをかけ、内容物のわからない謎のピルを飲んでます。

[シバタアキラ @madyagi]

@mattbergland Japanese localization!!