アニュー

DeepSeekが出した（今回の）成果に関して、GPUが要らなくなる理論の人たちがいるのか。すげーなお花畑思考 GPUは「新たな手法が続々登場してるため、今まで以上に重要な参加チケット」やぞ bigtechほどのインフラ投資がなくても戦える可能性が出たということは、現状Tier2以下に甘んじている企業・国家も続々参入するので、GPUそこそこ勢がめっちゃ増える。当然Tier1に該当するbigtechは「さらに」パワーを投入する。仕組み上パワーを投入すれば「もっと成果が出せる」のだからそれらによってさらに「今とは違う」新しいやり方も登場する。それらのごくごく一部は低資源でも戦えるやり方だが、大半は資源があればあるほど強くなる手法ばかりたとえば、1.58bitみたいなのも推論自体は高速でも、学習を再現させるためには、少なくない資源が必要な手法だとされている AI推論チップみたいなGPU以外のハードウェアが有効かどうかは今後登場する手法次第なんで「ぶっちゃけ、運次第」

680

168

185

223K

ENA_Challenger retweeted

*Walter Bloomberg

@DeItaone

over 1 year ago

$NVDA The DeepSeek sell-off: Analyst Reactions: 🔸 JPMorgan (Sandeep Deshpande): Suggests the AI investment cycle might be overhyped; DeepSeek's efficiency could lead to a more efficient future. 🔸 Jefferies (Edison Lee): Proposes two strategies post-DeepSeek: continue investing in computing power or focus on efficiency, potentially reducing 2026 AI capex. Contrasting Views: 🔸 Bernstein (Stacy Rasgon): Believes the panic is overblown; maintains outperform ratings on Nvidia and Broadcom. 🔸 Citi (Atif Malik): Acknowledges a challenge to US dominance but emphasizes the advantage of access to advanced chips, maintaining a buy on Nvidia. Efficiency and Costs: 🔸 Raymond James (Srini Pajjuri): Suggests that if DeepSeek's innovations are adopted, training costs could decrease, questioning the need for large GPU clusters. Market Dynamics: 🔸 Cantor (C.J. Muse): Sees DeepSeek's developments as bullish for compute demand, suggesting increased rather than decreased need for GPUs, advocating to buy Nvidia on any dips.

206

553

805

934K

アニュー @ENA_Challenger

over 1 year ago

英語の学習にはChatGPTよりもDeepSeekのほうが優れているかもしれない

ENA_Challenger retweeted

FabyΔ

@FABYMETAL4

over 1 year ago

Scale AI CEO アレクサンドル・ワン氏「DeepSeekは約50,000台のNVIDIA H100を保有している。しかし、米国の輸出規制があるため、彼らはそれについて公に話すことができない🤐」

533

629

899K

ENA_Challenger retweeted

FabyΔ

@FABYMETAL4

over 1 year ago

💡DeepSeek-R1──中国発の小規模スタートアップによる“破壊的モデル”の衝撃 DeepSeekという、わずか200名にも満たない中国系のAI企業がリリースした「DeepSeek-V3」と「DeepSeek-R1」。その2つのモデルが、OpenAIやAnthropic、Meta $META のLlama3シリーズやMistral、さらにGoogle $GOOG が進めるGeminiなど、主要プレイヤーの先端モデルに匹敵する性能を持ち、しかも圧倒的なコスト効率で訓練を実現している──。このニュースは特に英語圏のAI・投資家コミュニティで大きな波紋を呼んでおり、専門家レベルでは「ほぼ最先端と同等」との評価が定着し始めている。ところが、中国語圏ではまだ一般層に十分共有されておらず、日本でもほとんど大きく報じられていない。以下では、DeepSeekがいかにしてトップクラスのモデルを「破格のGPUリソース」で作り上げたのか、その概要と衝撃度を整理したい。まず、DeepSeek-V3の技術論文の内容で特筆されるのは「徹底的な超高効率手法への取り組み」である。8ビット浮動小数点（FP8）をベースとした“超高効率”の混合精度トレーニングフレームワークである。多くのAIラボが32ビット（FP32）や16ビット（FP16）をベースに正確性を保ちつつGPUを大量投入するのに対し、DeepSeekは最初から「低精度で最適化する」ことを前提に、多段階の工夫を施している。そこには「タイル化」や「ブロック化」による重み・アクティベーションの管理、要所でのみ高精度演算を挿入する設計が含まれており、メモリ使用量を抜本的に削減しながらもモデルトレーニングの品質を犠牲にしていない。さらに、DeepSeek-V3のアーキテクチャは巨大なMixture-of-Experts（MoE）構造を採用しつつ、実際に「同時にロードする」パラメータ数を最小化することで、必要VRAMを驚異的に抑えている。たとえば総パラメータ数6710億（671B）と聞けば、Metaの最大モデル（Llama3 405B）すら上回る規模感で「普通なら」GPUを何千枚も要するが、実際には「同時に活性化されるパラメータ」を約370億（37B）に抑える工夫により、個人レベルで購入可能なGPUやMacを複数台連携させることでも推論を実行できる。（ただし、このMoE方式ではロードされない「専門家」のパラメータが常時フリーズしているため、“フル機能が出るのか”については疑問が残る） DeepSeekのもう一つの驚異は、R1モデル（“Chain-of-Thought”を活用する、いわゆる自己思考型AI）を「単なるアウトカム指標への強化学習」を中心に再設計することで超低コストで完成させてしまった、という点だ。本来、この種の長文推論やコード生成能力を高めるためには、手作業や大規模アノテーションを要する「Process Reward Model（PRM）」が必須と広く考えられてきた。しかしDeepSeekの技術論文によると、純粋に最終的な解答の正誤（アウトカム）だけを報酬に設定する手法を組み合わせることで、モデル自体が自発的に「間違いに気づきリセットして再推論する」という修正プロセス（彼らの言う“aha moment”）を獲得したという。これはChain-of-Thoughtをさらに発展させた“リフレクション”や“自己検証”を伴う推論に近く、この領域で先んじていたOpenAI（O1シリーズ）とほぼ並ぶ性能を、わずか数か月で確立してしまったことになる。こうした技術的ブレークスルーが実際に可能なのかを疑う声も多い。とくに「中国向けのハイエンドGPU輸出は規制されており、どうやって大規模トレーニングをしたのか」「実は数万枚のH100を持っているが規制を回避するために隠しているだけでは」といった噂や、DeepSeek自体が中国政府あるいは軍のバックアップを受けた“隠れ国策企業”なのではないか、といった憶測も存在する。Scale AIのCEO、アレクサンドル・ワン氏が「DeepSeekは実際には約5万台のH100を所有している」という発言をしたとされるが、真偽は定かではない。もっとも、DeepSeek側は公開論文で訴えるように、自分たちは工夫を重ねることで“常識的には考えられないほどの省リソース”でモデルを構築できると主張しており、「実際の性能を試せるアプリやWebデモが非常に高品質」という事実から見ても、何らかの大きなイノベーションがあったことは疑いようがない。そして最も大きなインパクトは、おそらく「トレーニング効率の45倍向上」という文脈からもたらされる。大手AIラボのように、数億ドルレベルの資金を調達してクラウドを何万台も回し、“とにかく巨大GPU群で学習すればいい”という力技とは真逆のアプローチである。DeepSeekは8ビット完全ネイティブトレーニング、Key-Valueストレージの圧縮（MLA）、GPU通信アルゴリズム（DualPipe）などが組み合わせ、彼らは2桁オーダーでハードウェア負荷を切り下げたと主張する。その結果として、学習コストはOpenAIやAnthropicが1モデルあたり数億ドルかけているであろう水準の“数十分の一から百分の一”に激減し、推論APIの利用料金もOpenAIやAnthropic対比で90～95％安い。（もちろん、OpenAIやAnthropicは大規模商用環境のインフラ維持コストやSLI要件などもあるため、そのまま比較できるわけではない。ただ「精度が同等なら安いほうに流れる」のが市場原理である以上、DeepSeekの参入は多くの顧客を揺るがす要素となり得る。）上記に対する懐疑論はあるが、DeepSeekが公開した技術的アイデアやコードはすでに世界中で“リバースエンジニアリング”され始めており、仮にDeepSeekが事実を誇張している部分があったとしても、一部は間違いなく再現される可能性が高い。DeepSeekは詳細なレポートとコードをオープンソース（しかもかなり緩いライセンス）で公開しているため、「小規模環境で超高性能モデルを訓練できる仕組み」を“誰でも真似できる”余地が生まれる。その結果、短期的には特許やノウハウを囲い込んでいるOpenAI/Anthropic陣営に対抗する新勢力が急増し、LLM技術がさらに一段と広く拡散・高度化する流れに拍車がかかるだろう。こうなると、OpenAIやAnthropic、Meta $META に代表される大手プレイヤーも、DeepSeekと同様の効率化技術、特に“アウトカム特化型”強化学習を積極的に取り込んだモデルをはるかに大規模な計算リソースを投入してトレーニングする可能性が高まる。すでにOpenAIはO3（CoTに対応する中間推論構造を持つ次期モデル）のリリースに向けて準備を進めている。彼らには、DeepSeekとは比べものにならないレベルの資金力・GPU在庫・研究人材があるため、いずれは「DeepSeekが見出した画期的手法＋既存の膨大な資源＋自社独自のノウハウ」という掛け算で再学習を行い、さらに大幅な飛躍を狙ってくるだろう。もちろん、実際には学習パイプラインの設計やモデルアーキテクチャの適応、膨大な学習データの整形などに時間がかかるため、DeepSeekが示した革新を“そのままコピー”するだけで一瞬にして劇的な成果が得られるわけではない。だが、経済合理性の面から考えても、トレーニングコストを1/10以下に抑えられる可能性があるなら、OpenAIなどが動かないはずがない。そして彼らが動き出せば、CoT型＆MoE型アーキテクチャを一気に数兆パラメータ規模をさらに超える”次元へと拡張するシナリオも現実味を帯びることになる。深層学習は、少数の手法的ブレークスルーによって飛躍的に性能が伸びる可能性がある領域だ。DeepSeek流の「低精度・大規模最適化＋RLによる自然発生型の自己修正推論」が業界標準となれば、さらに短期間で“超巨大モデルを効率的に作れる”新時代を到来させるだろう。 📍 今後の展望このように、新世代のモデル技術が一気に拡散・模倣されると、世界のAI市場は「極度の集約」と「急速な分散」の両方向に揺れ動く可能性が高い。巨大投資を続けられるプレイヤーが天文学的なパラメータ数のモデルを作り上げ、少数企業による寡占状態をさらに強めるかもしれない。OpenAI＋Microsoft $MSFT 、Google $GOOGL 、Amazon $AMZN 、Meta $META 、そして中国系のBaiduやTencentなどが次々と巨大言語モデルをリリースし、よりハイスペックな推論エンジンを提供していく。そこでは数千億〜数兆パラメータの世界が当たり前となり、高性能LLMのAPI利用がさらに高度化する。他方で、DeepSeekのように効率面のブレークスルーを誰でも真似できるようになれば、「ローカルで回るモデル」の実用性もいずれ格段に高まる。すなわち中小企業や個人研究者であっても、わずかなGPUリソースで推論可能な強力モデルを自前で調整・ホスティングできる時代が来るわけだ。オープンソースの大規模言語モデルが高度化し、性能面でも商用クローズドモデルに迫るとなれば、ユーザーがわざわざ高額なAPIを契約する必然性も薄れる。その結果、「生成AI＝一部大手企業の専売特許」という構図が変わり、かえってコモディティ化が進むかもしれない。大企業側は、莫大なインフラ投資とサービス品質を武器に「より高精度かつ大容量のベースモデル＋付加サービス」を提供し、オープンソース陣営や中小プレイヤーは「スモールモデル×高度最適化」で勝負するという二層構造になる。つまり、生成AI分野は“ハイエンド独占”と“ローエンド乱立”の両極端が同時進行する可能性がある。最終的に、この技術戦争がもたらす投資機会は大きく二つの視点に分かれる。一つは「ハードウェアおよびインフラ」への投資、もう一つは「生成AIプラットフォームやエコシステム」への投資だ。 ■ ハードウェア・インフラ関連 Nvidia $NVDA はGPU市場を長らくリードしてきたが、昨今の米国の対中輸出規制による市場分断、さらには企業自身がカスタムASICを作りはじめる流れが加速し、市場の競争環境は以前より複雑化している。DeepSeekの革新は「GPUの大量保有が不要になるかもしれない」という話でもあるが、実際にはますます多様なハードウェアが投入されることで需要が分散する可能性が高い。ただし、トップクラスのモデルを“本当に極限まで大規模化”するにはH100級以上のGPUや先端ノード半導体が必要不可欠なため、Nvidia $NVDA に代表されるハイエンドGPU企業やTSMC $TSM など受託製造企業への需要は依然として強いと予想される。大手クラウド（Microsoft $MSFT Azure、Amazon $AMZN AWS、Google $GOOG Cloudなど）が引き続き巨大モデルのホスティング・提供を行い、高度なGPU/TPUリソースを販売する構図は変わらない。DeepSeekの学習手法も、最終的には「効率化された訓練を行うための巨大クラスタ」が必要になる。コスト削減が進む一方、需要の絶対量は増え続ける。クラウド事業者には長期的な成長余地が残っているとみられる。 ■ 生成AIプラットフォーム・サービス関連 OpenAIやAnthropicなどクローズド系モデルをAPIとして提供する企業が、DeepSeek方式を取り込みつつ、自社の付加価値を高める可能性がある。特にマルチモーダル対応やセキュリティ監査、企業ユーザー向けの差別化サービスを充実させることでプレゼンスを維持しようとするだろう。生成AIの利用がさらに一般化すれば、彼らのAPI経由の課金が大きな収益源となる構図はしばらく続く。 DeepSeekがオープンライセンスで技術を公開した結果、オープンソースLLMコミュニティ（Hugging Faceなど）を中心に新たなモデルが雨後の筍のように出現し、推論や学習が安価にできるプラットフォームが増えるだろう。特に企業向けにオンプレミスで動く「専用LLM」需要が高まると、OSSモデルを最適化・導入支援する形のソリューションベンダーやMLOps系スタートアップが急成長する可能性がある。 AIモデルのコモディティ化が進むと、個々の企業が「どのモデルをどう最適化するか」で差別化を図る流れになる。AIスタックの上位レイヤー（アプリケーション、データ統合、UXなど）に強みを持つ企業が再評価されるケースもあり得る。ここには既存のSaaSベンダーや、ローコード/ノーコードツールを扱うプラットフォーム企業が新たにAIエンジンを組み込み、“AI＋業務効率化”を売りにする展開が見込まれる。総じて言えば、短期的には「Nvidia $NVDA をはじめとするハードウェア企業、およびAIクラウドの大手」が業績面では引き続き優位を保ちつつ、オープンソース型の中小スタートアップが予想外のイノベーションを起こす可能性が高い。中長期的にはDeepSeek方式の効率化を大手プレイヤーが取り込むことで超大規模AIモデルがさらに加速し、投資分野は「ハイエンドGPU関連×生成AIプラットフォームを軸とした二極化」が進むと考えられる。最先端モデルの性能をフルに享受したい企業はAPI契約に走るが、より安価な推論・推定で十分と考えるプレイヤーはオープンソースを選び、AI導入が一気に普及する。まずは「ハードウェア／半導体銘柄」と「クラウドAIインフラ」、そして「大手プラットフォームのAI強化施策」を定期的にウォッチしながら、技術動向のタイミングを見計らって柔軟にポジションを組むのが得策と思われる。たとえば、Nvidia $NVDA への長期スタンスを維持しつつ、TSMC $TSM あるいはAI向けASICを扱うプレイヤーにも分散投資する。また、 $GOOGL やMicrosoft $MSFT 、Amazon $AMZN といった巨大クラウドを擁するテック大手がDeepSeek由来の技術を本格採用し始めた時期の生成AIの技術トレンドを元に判断するのも有効だろう。同時に、オープンソース系の有望スタートアップやMLOps関連ベンダーが台頭すれば、“エコシステム系”の銘柄にも注目する。特に、企業内AI需要の爆発に伴い、モデル管理・推論最適化・プライバシー保護といったソフトウェア領域のサービスが急成長する余地があるからだ。最終的には、「より高性能かつ低コスト」というDeepSeekの発想が、AI全体のスケーリングを加速させる鍵となり、そこに最も柔軟に対応できる企業・プラットフォームが勝ち残る構図となるだろう。一方、プレイヤー間の技術格差が急速に縮まれば、最終的には“付加価値の差”を生むサービスレイヤーでの戦いが主軸になる。結局、AI技術そのものが大きくコモディティ化しても、真に差別化を生むのは「データやUX、ドメイン知識をどう活用するか」という領域に移行していくため、ハードウェアとモデルの両面で先手を打ちつつ、サービス活用のシナリオにも目を配ることが長期的な勝利の条件となるだろう。結局のところ、本当に気になるのは「DeepSeek方式が本当に汎用的に通用するのか」「同じ手法をより大規模に適用すれば、OpenAIのO1級を上回るAGIレベルに到達し得るのか」という点である。DeepSeek自身は「現状の仕組みをさらに拡張すればスケーリング上限を突破できる」と主張している。過去のAI研究の歴史を顧みると、あるタイミングでまったく新しい効率化手法が突如現れ、一気に性能が飛躍するという瞬間はいくつもあった。DeepSeekの手法が、その“特異点”のひとつになるのかどうか、今後、コミュニティ全体でその評価が進んでいくだろう。