そわ@データセンター設計者

データーセンター設計及び関連業務に従事。半導体・AI・データーセンターの最新技術動向を発信。ネオクラウド、半導体株にフルベット中です。NBIS、マイクロンのレバレッジETFを保有。

[そわ@データセンター設計者 @sowaworks]

@paurooteri 実装工程での受け入れ枚数は、基板工場への転換が進むことで増え、先端パッケージング工場の稼働はボンディングや封止といった後工程まで広がってくので、使う封止材やワイヤの量もそれに応じて増えていきますね。

[そわ@データセンター設計者 @sowaworks]

@FABYMETAL4 GPU���モリへ大型モデルの重みを転送する時間が、起動から最初の応答までの待ち時間を押し上げます。H200を複数基束ねて動かす構成では、各GPUに重みを分配し終えるまで推論を始められないという制約が、20分台という長さを裏づけます。

[そわ@データセンター設計者 @sowaworks]

@nbisTenbagger モデルを割り当てるスケジューラの切り替え速度は、コールドスタート時間が縮むほど上がり、呼び出しが急に増える場面でも新しいGPUインスタンスをすぐに増やせるようになりますね。

[そわ@データセンター設計者 @sowaworks]

@saddy575 生産や設備への投資はすでに終わっており、品薄で売値だけが上がるので、その分がそのまま利益に乗ってメモリメーカーの収益を過去最高に押し上げますね。

[そわ@データセンター設計者 @sowaworks]

Claude Code・Codex・Piを比べる検証で、UCバークレーの博士課程の研究者が、モデルを取り巻く仕組みが生む隠れた負荷（harness tax）を調べた（arena）。周囲の実行環境（ハーネス）の作りが、コードを書く・画面を操作する実作業の出来を左右する仕組みがある。この作り込みの差が成果を左右する要素になっていく可能性がある。

[そわ@データセンター設計者 @sowaworks]

@Nishiro_1460 連結化は資本関係や会計上の区分の変更であり、実際の稼働開始を保証するものではありません。デー���センターが運営するフェーズに入ったと言えるのは、受電や設備搬入など物理的な整備が完了してからです。

[そわ@データセンター設計者 @sowaworks]

artificialanlysが、手元のノートPCやワークステーションでもエージェント型AIの速さを確かめられるオープンソースの検証ツールAA-AgentPerf-Localを公開し、推論を動かす設定（サービング）の一覧も見られるようにしたと発表しました。

ノートPCでもエージェントの作業が終わるまでの速さを測るこのツールが広がれば、機械を比べる基準は1トークンあたりの速さから、作業を終えるまでの時間や電力に移っていくのではないでしょうか。

[そわ@データセンター設計者 @sowaworks]

@Nishiro_1460 冷却設備の据え付けと試運転が終わっていなければ、求人をいくら増やしても建屋側の電力・空調の受け入れ可否が決まらないため、3カ国の拠点稼働は人員増のペースほど前倒しできません。

[そわ@データセンター設計者 @sowaworks]

@beauty_oe 推論クラスタのHBM帯域を絞っているとすれば、公開後の計算資源の制約はベンチマークより長いコンテキストを扱う対話で表面化し、バッチサイズを縮小する形で応答が遅くなります。

[そわ@データセンター設計者 @sowaworks]

最新の6.1はUltrafastと名乗るが、当のCerebrasではなく低バッチのNVIDIA GPUで動いているという。名前の速さと稼働先の組み合わせがちぐはぐだ。 https://t.co/lzIiUaXMFe

[SemiAnalysis @SemiAnalysis_]

ALERT 🚨🚨OpenAI's latest GPT6.1 Sol Ultrafast is NOT running on Cerebras but is instead running at a low batch size on NVIDIA GPUs.

What does this say about Cerebras? Will Cerebras be serving GPT6.1 Sol Ultrafast in the future?

[そわ@データセンター設計者 @sowaworks]

@3iwa 多層基板の��りが大きいと、その上に形成する微細配線の位置合わせがずれ、接続不良につながります。積層数を増やすほど工程間の熱履歴で反りが蓄積するため、微細配線の歩留まりは基板の反り抑制工程で決まります。

[そわ@データセンター設計者 @sowaworks]

psinvestorは、需要側からテキサス州の送電網を運用するERCOTに494GW分の接続申請があり、常時稼働として通ったのは66.4GW、125.4GWは審査中、302.2GWは却下されたと投稿しています。送電網の容量には限りがあり、需要側の接続申請が稼働に至るかを審査する仕組みがあります。申請が記録的なピーク需要を大きく上回ることは、その容量が立地選びの制約になっている表れと考えられます。

[そわ@データセンター設計者 @sowaworks]

@FABYMETAL4 デプロイ先ごとのチップの振り分けという条件が付きます。同じモデルでも地域や負荷分散の都合で提供元が推論チップを複数系統に振り分けることがあるため、単一のGPUだけで動いているとは限りません。

[そわ@データセンター設計者 @sowaworks]

@paurooteri パッケージ基板の伝送路設計では、配線損失とクロストークが実効データレートを決めまよね。SerDesの担当が固まっても、基板の信号品質検証を通らなければ狙った帯域は出ませんね。

[そわ@データセンター設計者 @sowaworks]

@taketake1w 空冷方式のデータセンターなら冷却用の水使用量は増えません。温室効果ガスと水不足を一括りにした開発競争停止論は、冷却方式という技術選択の違いを無視した組み立てになっていますね。

[そわ@データセンター設計者 @sowaworks]

@FABYMETAL4 推論時のメモリ帯域は、GPT-6.1 Solのように規模の大きいモデルほど先に埋まりやすい部分です。演算チップとメモリの間でやり取りするデータ量が増える分、転送速度を上げる設計変更がないと応答が遅くなります。

[そわ@データセンター設計者 @sowaworks]

推論とは、学習済みのAIモデルが入力に答えを出す工程で、学習とは別の段階です。GPUに加えCerebrasを使うのは、この工程を速くするためです。 https://t.co/mTzm6RVlbn

[Wall St Engine @wallstengine]

GENERAL COMPUTE TO DEPLOY CEREBRAS CHIPS FOR AI INFERENCE

General Compute is expanding its AI infrastructure with a new Cerebras deployment alongside NVIDIA GPUs, aimed at improving inference speed and economics.

The company says it will use a disaggregated setup, with GPUs handling prefill and Cerebras systems handling inference.

The idea is to use different types of compute for the parts of the workload where each performs best.

General Compute recently raised $400M in debt to help finance alternative AI hardware deployments, including Cerebras systems.

General Compute says its first Cerebras-powered tokens are expected to go live in Q1 2027.

[そわ@データセンター設計者 @sowaworks]

ARRが%241 billionに達した一方、計算力の配分は学習70%・推論30%で、収益を生む推論への配分は今も小さめのようです。

[Jukan @jukan05]

The Information: DeepSeek’s ARR has reached $1 billion.

DeepSeek allocates 70% of its compute capacity to training and 30% to inference.

DeepSeek is using NVIDIA gaming GPUs to run inference on smaller models, freeing up compute resources for training to help ease the shortage.

[そわ@データセンター設計者 @sowaworks]

@nbisTenbagger 1MW級のGPUラックは空冷の限界を超えるため、液冷と専用受電設備の��保が次の律速になりますね。

[そわ@データセンター設計者 @sowaworks]

@FANGsaikyou 宇宙は対流冷却ができないため、TPUの排熱は放射だけで逃がす設計ですね。
今ある課題をかなり解決できる可能性が見えるので夢がありますね。