Databricks Japan🧱

データブリックス ジャパン 🇯🇵 の公式アカウント
データ活用の最新ニュースを発信中🚀
『DATA+AIの民主化』を実現します！
🧱#JEDAI→

[Databricks Japan🧱 @DatabricksJP]

【新丸ビルへオフィス移転のお知らせ】
Databricksは、日本事業における前年比100%超の成長を背景に、日本市場への長期的なコミットメントの一環として、東京オフィスを新丸の内ビルディングへ移転します。

新オフィスでは、AIトレーニング施設やエグゼクティブ・エクスペリエンス・センターを通じて、お客様・パートナーの皆さまとともに、データとAIによる変革をさらに加速してまいります。
今後ともどうぞよろしくお願いいたします。
https://t.co/dF2iu4XroC
#Databricks #DataAI #AI #エンタープライズAI

[Databricks Japan🧱 @DatabricksJP]

🎉 Azure Japan East（東日本）でLakebaseの一般提供（GA）が開始されました！

Lakebaseは、Databricksで利用できるフルマネージドのPostgreSQLデータベース。使い慣れたツールやライブラリを活かし、業務アプリケーションやAIエージェントの開発に取り組めます。

💡 こんな用途に！

✅ Databricks Appsのバックエンドとして、申請内容やマスタ情報などを保存・更新
✅ 既存の社内システムの置き換え・刷新を支えるデータベース基盤
✅ AIエージェントの会話履歴や状態の管理

⚙️ 自動スケーリングやスケールトゥゼロに対応。ブランチ機能で本番環境と分けた開発・検証も可能です。運用負担を抑え、アプリ開発に集中できます。

機能の詳細：
https://t.co/dNT4jyx9FX

📚 まずはハンズオンで体験！
導入のご検討や、チームでの勉強会にもぜひご活用ください👇
https://t.co/TMWAHFn489

#Databricks #Lakebase #Azure

[Databricks Japan🧱 @DatabricksJP]

【1時間で年間100万ドル超の“無駄”を削減した話】
Databricks社内でAIエージェント利用が拡大するなか、MCPツールサーバーのたった7つの小さなバグが巨大なコストを生んでいました💰💰💰
▶︎https://t.co/odQLHgzWgL

■ 何が起きていたか
・エラーが表面化せず、エージェントが再試行と推測を繰り返す「サイレントな無駄」が発生
・年間約49万9,000ドル分のトークンを浪費
・エンジニアの待ち時間は約12,000時間、生産性損失は年間約120万ドル相当

■ どう見つけたか
・Unity Gatewayが全ツール呼び出しのトレース（ツール名・引数・エラー・トークン数・レイテンシ・セッションID）を自動出力
・Genie Oneに自然言語で質問するだけで「頻発エラー・回復ターン数・コスト」を数分で特定
・発見→定量化→コーディングエージェントによる修正デプロイまで、わずか1時間で完了

■ 最大の学び
・エラーメッセージの分かりやすさが再発率と回復ターン数にほぼ比例
　└自己文書化された文言：再発14％／平均4.6ターン
　└難解なトレースバック：再発30.5％／12.1ターン
・緩いシグネチャではモデルが妥当な推測（例：フィールド一覧をJSON配列で渡す）をするため、ツール側がリストを文字列化したり既定値を補うなど、LLMの自然な呼び出し方に適応すべきです

観測性の土台があれば、このループは低コストで何度でも再現できます。

#Databricks #AIエージェント #可観測性

[akuwano @kuwa_tw]

Databricksを知りたい方は！是非みてください！

Databricks Contents Hub！Databricks Contents Hubです！

[akuwano @kuwa_tw]

データ・ワンさんにおける、Tableau運用のAI自動化の挫折とDatabricks Appsへの移行事例でした！

データ・ワンさんではTableauの手作業による属人化や動作遅延が課題で、AIにファイルの直接編集や手順生成をさせる自動化を試みましたが、エラーや作業の非効率さから挫折、、、😭

そこで、AIコーディングを前提としたReactベースの「Databricks AppKit」に乗り換えたところ、数週間かかる複雑な実装が1日未満で完了しました！
結果として、開発速度の向上、コスト削減、パフォーマンス改善、柔軟なUI表現、Git管理といった多くのメリットがあったそうです！

GUI操作を無理にAIに任せず、AIが得意なコードベースの環境へ移行するという発想の転換が重要だったとのこと！
https://t.co/nFe3v2BaAh

[Databricks Japan🧱 @DatabricksJP]

＼Databricksを学ぶすべての方に、ぜひ知ってほしい📣／

「Databricks Contents Hub」は、Databricksを活用する有志が運営する、日本語の非公式ポータルサイトです🚀

「Databricksに興味はあるけれど、何から始めればいい？🤔」
「新機能の情報を日本語でキャッチアップしたい💡」
「実際に手を動かしながら学べる教材を探している🧑‍💻」
そんな方に役立つコンテンツが、ひとつのサイトにまとまっています！
🔰 初心者にも分かりやすい日本語コンテンツ
🧑‍💻 データ分析や生成AIを実践できるワークショップ
🛠️ データエンジニアリング、AI/BI、ガバナンスなどの学習教材
🎥 製品の使い方や活用イメージが分かるYouTube・デモ動画
📅 Databricks関連のイベント情報
🆕 最新機能を確認できるリリースノート
🤝 コミュニティや勉強会に関する情報

気になっていた機能を試したいとき、社内勉強会の教材を探したいとき、最新情報をまとめて確認したいときなど、さまざまな場面でご活用いただけます✨

Databricksの「知る・学ぶ・試す」を支える情報収集先として、ぜひブックマークしてください🔖
👇コンテンツはこちら
https://t.co/nyIiIWQtII
#Databricks #DataAI #生成AI #データ分析

[Databricks Japan🧱 @DatabricksJP]

📕Databricks『The Big Book of AgentOps』が公開されました
AIエージェントを「作って終わり」にせず、本番で回し続けるための運用規律をまとめた一冊です。
▶︎https://t.co/mNvPPDPQGi

💡AgentOpsとは
• アーキテクチャ／評価／オブザーバビリティ／ガバナンス／セキュリティ／コスト管理を、ひとつの反復可能なプロセスへ統合する考え方です
• エージェントは実行時にツールを選び、企業データを取得しAPIを呼ぶため、誤ったツール呼び出し・過剰な権限・コスト急増といったリスクが伴います
• だからこそMLOps／LLMOpsの「次のレイヤー」として必要になります

💡本書の内容（全6章）
• エージェント設計とアンチパターン
• 4つのデプロイアーキテクチャパターン
• 7フェーズのプロジェクトライフサイクル
• DevOps原則（フロー／フィードバック／継続的学習）の適用
• 6ステップの計画プロセスとRACIによる体制づくり

▼支える基盤
• MLflow：評価とトレース
• Unity Gateway：モデル・ツールのトラフィック制御
• Unity Catalog：権限とリネージのガバナンス

💡実践のコツ
• 成功指標が明確な単一ユースケースから小さく始めます
• 初日から評価を組み込み、SMEによる実トレースのレビューで自動ジャッジを調整します

💡成果例
• FactSet：精度44%向上
• DXC：TCO 30%削減
• Block：1,000万ドルの生産性向上

エンジニアからPM、SME、セキュリティ、FinOpsまで必読の内容です📖🔥
#Databricks #AgentOps #AIエージェント

[Ryaskn__ @RyoskDara_]

IVRyのDatabricksによるデータ活用状況の調査まとめてもらってます！

IVRyにおけるDatabricks利用実態を調べてみた ~データ利用統計 2026~｜calderarie https://t.co/JbZX9jKVQK

[Databricks Japan🧱 @DatabricksJP]

🧞Genie Ontologyを「使える」状態にする方法🧞
▶︎https://t.co/yhlgwjxfJg

Genieは初日から使えますが、精度を最大化する鍵はデータ基盤の整備です。LLMに欠けている「自社ビジネスの理解」（定義・関係性・ルール・信頼できるソース・権限）を補うことがポイントです🔥

▼成熟度を高める6つのレイヤー
💠レイヤー0：クリーンなゴールドレイヤーのモデリングとゴールデンレコード化
💠レイヤー1：Unity Catalogでのテーブル説明・カラムコメント・タグ付与（dbxmetagenで自動化も可）
💠レイヤー2：主キー／外部キー宣言、Metric Views、ドメインでビジネスロジックを標準化
💠レイヤー3：ダッシュボード・ノートブック・SQL・Genie Agentsの充実と認定／非推奨管理
💠レイヤー4：アクセス制御、行レベルセキュリティ、列マスク、AI Gatewayでのガバナンス
💠レイヤー5：ベンチマークと監視による評価と継続的改善

▼実践のコツ
・一度に全社をカバーしない
・SalesとARRのように摩擦の大きい「1ドメイン・1メトリクス」から狭く始める
・学びを次のドメインへ横展開する

認定メトリクスや用語定義を積み上げるほど信頼できるコアが強化され、使うほど改善される共有ビジネス理解が育ちます。最終目標は、ビジネスユーザーが答えを信じて行動できる「信頼」の獲得です🎉

#Databricks #GenieOntology #データ活用

[Databricks @databricks]

Day 0 access unlocked: Gemini 3.8 Flash is officially live on Databricks!

@Google's latest model sets a new standard for internal document parsing and dominates our OfficeQA Pro benchmark, making it a powerhouse for complex enterprise data.

The best part?
→ Run it directly on your Lakehouse data
→ Enforce unified governance with Unity Gateway
→ Monitor, scale, and route calls across all your custom AI apps

Build governed AI apps with Gemini 3.8 Flash today: https://t.co/3iCKR8Cd4g

[Sho Shimauchi @shiumachi]

DatabricksのFDEイベント、とんでもない人気らしく、想定以上の申し込みらしいです。興味ある方は早めに申し込みましょう

[Databricks Japan🧱 @DatabricksJP]

📊グラフの中の数値、検索できていますか？👀

企業ドキュメントの重要情報は、実はグラフや図の中に眠っています。テキストだけを見るRAGでは「極大値はいくつ？」に答えられません。
▶︎https://t.co/wq8I3K8RkL

■ 実際の比較
・画像だけを渡した最先端エージェント → 17（誤答）
・ai_parse_documentで構造化抽出したGenie → 18（正答）

■ グラフ認識型パイプラインの構成
・ai_parse_document：グラフを構造化JSONへ抽出します
・ai_prep_search：適切なサイズにチャンク化します
・3億パラメータの軽量埋め込みモデル(BGE)：インデックス化します
・ai_search＋Genie：検索と回答をつなぎます

■ 評価結果
・ViDoRe V3グラフ中心サブセット（310問／1.6万ページ）
・合成データセットChart-RAG（114問／378ページ）
・キャプションのみと比べ、回答精度・Hit Rate@10・nDCG@10がすべて向上しました

■ さらに上位3件の画像を併せて渡すと
・Chart-RAGで+4ポイント、ViDoRe V3で+2.6ポイント
・正解率は75.1%／75.9%に到達しました
・画像3枚のみでColQwen2.5-3BやQwen3-VL-Embedding-2Bなど4つのマルチモーダル埋め込みモデルを上回り、約10分の1の規模で低コストを実現しました

このグラフJSON拡張はai_parse_documentで近日提供予定、Genie Oneにも活用される見込みです🎉

#Databricks #RAG #AIエージェント

[Taka YAYOI/弥生 隆明@MLflowで実践するLLMOps @taka_aki]

Databricksのコーディングエージェント「Genie Code」を学べるハンズオン教材を公開しています。前半はGenie Codeの特徴と実例、後半は実際にコード生成・ファイル生成を試す構成。所要2時間、無料・日本語で、好きなタイミングにご自身で進められます。 https://t.co/SXLDb9R8wS #Databricks #GenieCode

[Databricks @databricks]

Claude Fable 5.1, @AnthropicAI's most capable model, is available as a day 0 release on Databricks!

Claude Fable 5.1 joins Claude Opus 5, Claude Sonnet 5, and 30+ open-source and frontier models on Databricks.

With Unity Gateway, you can now connect Claude Fable 5.1 to your coding agents and get smart routing, centralized cost controls, and observability in a single pane of glass: https://t.co/blVEngTQtx

[Hiroyuki Nakazato / 中里 浩之 @nakazax]

JEDAI Meetup! 秋のDatabricks技術トーク を公開しました！ https://t.co/D9ZjGmw6bV #jedai

[Masa Satoh @lino_s]

DatabricksのForward Deployed Engineer,FDEと Delivery Solutions Architect,DSAの採用イベントを東京オフィスで行います。お客様にData+AIで技術支援でご興味がある方は、ぜひお越しください！当日私も参加します。 #databricks

[Databricks Japan🧱 @DatabricksJP]

【9月30日(水) @東京開催】
🔥 データ／AIプロジェクトの本番化をリードする「Databricks FDE／DSA」採用イベントを開催！ 🔥
データ基盤やデータ/AIアプリケーションの設計や開発、移行をエンジニアリングでお客様を技術支援する仕事に興味はありませんか？

#Databricks のFDE/DSAチームを知っていただくイベントを開催します。「自ら手を動かし、培った技術でお客様に貢献する」Databricks FDEの最前線のリアルを語ります✏️

ポジションの詳細や選考プロセス、普段の仕事の様子、英語の使用頻度などFDEが直接お答えします。
「まずは情報収集から」という方も大歓迎です！
ご質問はDMでも受け付けていますので、どうぞお気軽にご連絡ください。

📅 9/30(水) 19:00〜
📍 Databricks 東京オフィス( @新丸ビル )
▼事前登録フォーム https://t.co/e4Xv4WQo72

当日みなさまにお会いできるのを楽しみにしています☺️
#Databricks #採用 #エンジニア転職 #FDE #データエンジニアリング #AI #データ分析

[Yohei Onishi 🇸🇬 @legoboku]

What is an AI Agent Harness? | Databricks Blog

エージェントハーネスについて聞かれて、公開情報で整理してたけど、Databricks 氏の記事が割とベンダー中立で書かれて、引用しやすくよかった。 https://t.co/roMSum8MQi

[Databricks Japan🧱 @DatabricksJP]

🚀 大規模GPUトレーニングで「障害は例外ではなく前提」です
▶︎https://t.co/gLd7yj4Jle

1️⃣ 現実は厳しいです
・GPU年間故障率1%でも、256GPU×30日で約19%、1,024GPUでは約57%の確率で障害が発生します
・H100を608台備えるDeltaでは1.9時間ごとに障害が起きていました
・鍵は「goodput（GPUが実際に計算できた時間の割合）」です

2️⃣ チェックポイントは形式と頻度です
・ランク0のhttps://t.co/MiYhLRiIq9は全状態を集約・同期書き込みするためGPUがアイドル化します
・分散チェックポイント（DCP）なら各ランクが並列にシャードを保存し、ノード減少後でも再開可能です
・async_saveで20B FSDPが522秒→9秒に短縮されました
・保存間隔を2時間→30分にすると、goodputは64%→91%へ改善します

3️⃣ データパイプラインも勝負どころです
・UC VolumeをローカルNVMeにキャッシュ＋プリフェッチで、スループット371.6→6,590画像/秒、GPU使用率12.6%→53.3%へ
・モデルだけでなくデータ位置・シード・RNG状態も保存しないと、エラーなく精度が劣化する“サイレント破損”が起こります

高速かつフォールトトレラントな学習設計をぜひご覧ください🔥
#Databricks #PyTorch #MLOps

[Databricks @databricks]

.@Zai_org's latest open-weight model, GLM 5.3 Flash, is now available on Databricks!

GLM 5.3 Flash joins 30+ open-source and frontier models on Databricks. On Databricks’ OfficeQA Pro v2 benchmark, it delivers 10% higher quality than GLM-5.2 at just one-tenth the cost, pushing out the quality-cost-pareto frontier. With new multimodal support, it can now read figures and verify web pages at coding.

Run GLM 5.3 Flash where your data already lives — governed, secure, and ready for custom AI apps and agents. Control access, spend, and observability across all your AI with Unity Gateway.

https://t.co/QhgYtiReY1