Naoto Onoue

医療系学部@大阪→医療系SIer@福岡→ITコンサル@丸の内→密林でクラウドする人→@DatabricksでAI,Dataの活用を広めたい人/料理/書道/美術館/チョコ/本に埋もれたい/エンゲル係数の上昇が止まらない/発言は個人見解で所属組織を代表するものでありません

[Databricks Japan🧱 @DatabricksJP]

＼Databricksを学ぶすべての方に、ぜひ知ってほしい📣／

「Databricks Contents Hub」は、Databricksを活用する有志が運営する、日本語の非公式ポータルサイトです🚀

「Databricksに興味はあるけれど、何から始めればいい？🤔」
「新機能の情報を日本語でキャッチアップしたい💡」
「実際に手を動かしながら学べる教材を探している🧑‍💻」
そんな方に役立つコンテンツが、ひとつのサイトにまとまっています！
🔰 初心者にも分かりやすい日本語コンテンツ
🧑‍💻 データ分析や生成AIを実践できるワークショップ
🛠️ データエンジニアリング、AI/BI、ガバナンスなどの学習教材
🎥 製品の使い方や活用イメージが分かるYouTube・デモ動画
📅 Databricks関連のイベント情報
🆕 最新機能を��認できるリリースノート
🤝 コミュニティや勉強会に関する情報

気になっていた機能を試したいとき、社内勉強会の教材を探したいとき、最新情報をまとめて確認したいときなど、さまざまな場面でご活用いただけます✨

Databricksの「知る・学ぶ・試す」を支える情報収集先として、ぜひブックマークしてください🔖
👇コンテンツはこちら
https://t.co/nyIiIWQtII
#Databricks #DataAI #生成AI #データ分析

[Kenji Matsuda/KJ/マツケン @ken_3ba]

利用率が着々と上がっていてデータエンジニア冥利につきます！もっと整えていかないと！

IVRyにおけるDatabricks利用実態を調べてみた ~データ利用統計 2026~｜calderarie https://t.co/0n9d1syHJo

[akuwano @kuwa_tw]

Gemini 3.8 Flash が Databricks で正式に稼働開始です！

Googleさんの最新モデルが内部ドキュメント解析の新たな基準を打ち立て、OfficeQA Pro ベンチマークでの良い結果を出したモデルで、複雑なエンタープライズデータ向けの強力なツールとなっています

Lakehouse データ上で直接実行し、Unity Gateway で統一ガバナンスを適用、カスタム AI アプリ全体で呼び出しを監視、スケーリング、ルーティングが可能です！
Gemini 3.8 Flash でガバナンスされた AI アプリを構築しましょう！

[Daisuke Kajiwara@GENDA CTO @kajidai]

GENDAでは、10以上のDatabricksワークスペースにある500以上のダッシュボードを毎朝収集し、公開範囲や認証情報の埋め込み状況から権限リスクを判定。未収集ワークスペースの検知まで含め、増え続ける環境で棚卸しを仕組み化した実装をまとめています。
https://t.co/fK5F62HlAd

[Naoto Onoue @o7010n]

とりあえずグラフ画像渡すってありがち。データとセットで構造化するっていうのはほんとに大事だと思う。こういうやつ

[Databricks Japan🧱 @DatabricksJP]

📊グラフの中の数値、検索できていますか？👀

企業ドキュメントの重要情報は、実はグラフや図の中に眠っています。テキストだけを見るRAGでは「極大値はいくつ？」に答えられません。
▶︎https://t.co/wq8I3K8RkL

■ 実際の比較
・画像だけを渡した最先端エージェント → 17（誤答）
・ai_parse_documentで構造化抽出したGenie → 18（正答）

■ グラフ認識型パイプラインの構成
・ai_parse_document：グラフを構造化JSONへ抽出します
・ai_prep_search：適切なサイズにチャンク化します
・3億パラメータの軽量埋���込みモデル(BGE)：インデックス化します
・ai_search＋Genie：検索と回答をつなぎます

■ 評���結果
・ViDoRe V3グラフ中心サブセット（310問／1.6万ページ）
・合成データセットChart-RAG（114問／378ページ）
・キャプションのみと比べ、回答精度・Hit Rate@10・nDCG@10がすべて向上しました

■ さらに上位3件の画像を併せて渡すと
・Chart-RAGで+4ポイント、ViDoRe V3で+2.6ポイント
・正解率は75.1%／75.9%に到達しました
・画像3枚のみでColQwen2.5-3BやQwen3-VL-Embedding-2Bなど4つのマルチモーダル埋め込みモデルを上回り、約10分の1の規模で低コストを実現しました

このグラフJSON拡張はai_parse_documentで近日提供予定、Genie Oneにも活用される見込みです🎉

#Databricks #RAG #AIエージェント

[akuwano @kuwa_tw]

Databricksを学びたいのに...どこから学んだらいいかわからない...よく聞かれます！！！！
ここにその疑問にお答えするサイトができました！

Databricks Contents Hubです！！！！！

コンテンツハブでは以下の様なコンテンツをご用意しており、Databricksを使うにはどうしたらいいか、一目瞭然にわかり、学べます！

* Databricks機能 / Blogリリース情報
* ハンズオンワークショップ
* デモ動画
* Databricks イベントカレンダー
* 各種コミュニティ情報

などなど！
コンテンツハブを活用していただいてDatabricksについて学んで行きましょう！
学習環境には、 Databricks Free Editionを使えます！

https://t.co/G5nl0DaepL

[Databricks Japan🧱 @DatabricksJP]

【9月30日(水) @東京開催】
🔥 データ／AIプロジェクトの本番化��リードする「Databricks FDE／DSA」採用イベントを開催！ 🔥
データ基盤やデータ/AIアプリケーションの設計や開発、移行をエンジニアリングでお客様を技術支援する仕事に興味はありませんか？

#Databricks のFDE/DSAチームを知っていただくイベントを開催します。「自ら手を動かし、培った技術でお客様に貢献する」Databricks FDEの最前線のリアルを語ります✏️

ポジションの詳細や選考プロセス、普段の仕事の様子、英語の使用頻度などFDEが直接お答えします。
「まずは情報収集から」という方も大歓迎です！
ご質問はDMでも受け付けていますので、どうぞお気軽にご連絡ください。

📅 9/30(水) 19:00〜
📍 Databricks 東京オフィス( @新丸ビル )
▼事前登録フォーム https://t.co/e4Xv4WQo72

当日みなさまにお会いできるのを楽しみにしています☺️
#Databricks #採用 #エンジニア転職 #FDE #データエンジニアリング #AI #データ分析

[akuwano @kuwa_tw]

Databricksでも今日からAnthropicさんのFable 5.1利用可能です！

[akuwano @kuwa_tw]

DatabricksのシニアバイスプレジデントであるJonathan Parkerさんが書いたリアルなGenieの体験の話です！

----
世界で最も急成長している企業の1社で財務担当Senior Vice President（SVP）を務める私は、日々の財務業務を回すためにGenieを毎日使っています。実はつい先ほども、Genie導入前なら解決に数日かかっていた問題を、98%も早いスピードで解決できたばかりです。

3時間���、私がよく使う2つのダッシュボードのデータが一致していないことに気づきました。財務チームにとってはよくある「データの唯一の正解（Single Source of Truth）」を巡るトラブルです。私がアジアに滞在していることもあり、以前ならこの問題の解決には2日ほどかかっていたでしょう。夜の間にアメリカのデータエンジニアリングチームへメールを送り、複数のメンバーで原因を調査してもらい、1〜2日後によ���やくダッシュボードに修正が反映される……という、もどかしい時間ロスと高いコストがかかるやり取りが必要だったからです。

しかし今回は、Genieにとても簡単な質問を入力するだけで済みました。
「『$DBU Financeダッシュボード』と『Record Book』の合計$DBUを付け合わせようとしています。普段は一致しているのですが、ここ数週間でわずかなズレが生じています」（※ $DBUは社内で使っている消費量の計測指標です）

すると60秒も経たないうちに、Genieは答えを出してくれました（下の画像にある通り、実に皮肉な原因でした 🚀）。さらに、修正済みの新しいダッシュボードを完全に再現して作成してくれたのです。それだけでなく、私の承認を得た上で、元となるテーブルの更新チケットの送信まで進めてくれました。

指先ひとつでこれほどの��を手に入れたい財務担当幹部の方がいらっしゃれば、私のチームはいつでも喜んで相談に乗ります！ 2日間かかっていた作業が、たったの60秒に。まさにゲームチェンジャー（劇的な変化をもたらすもの）です。

[ころんびあ @colum2131]

9/8(火)にチューリングで取り組んでいるDatabricksを活用したデータ基盤について話します！これからDatabricks使ってみたい人にも刺さる内容にします！ぜひ！

Databricksで加速するAI開発基盤 ─ MLOps基盤とデータセット作成パイプライン https://t.co/Xt0TMMsd8u #TuringTechTalk

[Naoto Onoue @o7010n]

地味にとてもとても嬉しい

[Databricks Japan🧱 @DatabricksJP]

【Unity Catalogに細かいDML権限が登場】

INSERT / UPDATE / DELETE 権限がBeta提供開始🎉

これまでのMODIFYはスキーマやメタデータ変更まで許可していましたが、新権限ならデータ操作だけを個別に付与可能。「追記のみ許可」「削除は禁止」といった最小権限の設計ができます。

要件はDBR 18.1以上。まずは検証環境からお試しを！

#Databricks #UnityCatalog
https://t.co/PostQ5e5AX

[Naoto Onoue @o7010n]

OpenAIさん！チャッピーの裏のデータ基盤でDatabricksを活用いただいてます。
マル���クラウドで自然言語で顧客セグメント切ったり活用がすごい、、！

[akuwano @kuwa_tw]

OpenAIさんでは、ChatGPTや社内業務を支えるデータ基盤としてDatabricksを幅広く活用しています！

AWSやAzureにまたがる膨大なデータはUnity Catalogで安全に一元管理、セキュリティや財務など各部門の高度な分析を支えています！
例えばマーケティング部門��は、週10億人のユーザーを支えつつ月額40万ドルのストレージ費用削減を実現しました！

さらに、OpenAIさん、Databricks、両社の提携により、企業は自社の機密データを外部に出すことなく、Databricks上でOpenAIの最先端モデルを安全に利用可能になったり、DatabricksのGenieを活用し、ChatGPTアプリからMCP経由で自然言語を使って直接社内データを分析できる環境なども提供されるなど様々な連携が可能となっています！

OpenAIさんでも大規模に使われているDatabricksです！

https://t.co/GhnGNAuJ0B

[Yu Yamaguchi | チューリング CTO @ymg_aq]

チューリング、新しいテックブログを公開しました🙌

Databricksを活用し、自動運転AI向けの大規模データセット基盤を刷新・高速化した事例を紹介しています。

DABを用いたCI/CDやテスト、開発・本番環境の分離など、実践的なMLOpsの設計・運用を詳しく解説しています👇️
https://t.co/WABQp8IZxJ

[Databricks Japan🧱 @DatabricksJP]

【発表】Databricks、年間売上ランレート70億ドルを突破。Q2は前年比80％超の成長を達成しました🚀

データとAIの活用が世界中の企業で加速する中、Databricksのビジネスも大きく成長しています。

今回、あわせて以下を発表しました。
・Lakehouse：���上ランレート15億ドル超
・Lakebase：売上ランレート1億ドル超
・評価額1,900億ドルで、50億ドルの戦略的資金調達を完了

そして、ここからが次のステージです。
新たな資金を活用し、Genie、Lakebase、Unity AI Gatewayへの投資をさらに加速します。

AIが企業の業務そのものを担う時代に必要なのは、単に高性能なモデルだけではありません。企業固有のデータや文脈を理解する「Context」、AIを安全に管理する「Control」、そして最適なモデルや技術を自由に選べる「Choice」が重要になります。

データとAIをひとつ��基盤でつなぎ、企業がAIを本番環境で大規模に活用できる未来へ。

Databricksの次の進化に、ぜひご期待ください🔥

詳細はこちら
▶︎https://t.co/KbDEfvjAkH

[Naoto Onoue @o7010n]

たぶん弊社すごい（規模が規模で実感はないw）

[Databricks Japan🧱 @DatabricksJP]

【発表】Databricks、年間売上ランレート70億ドルを突破。Q2は前年比80％超の成長を達成しました🚀

データとAIの活用が世界中の企業で加速する中、Databricksのビジネスも大きく成長しています。

今回、あわせて以下を発表しました。
・Lakehouse：売上ランレート15億ドル超
・Lakebase：売上ランレート1億ドル超
・評価額1,900億ドルで、50億ドルの戦略的資金調達を完了

そして、ここからが次のステージです。
新たな資金を活用し、Genie、Lakebase、Unity AI Gatewayへの投資をさらに加速します。

AIが企業の業務そのものを担う時代に必要なのは、単に高性能なモデルだけではありません。企業固有のデータや文脈を理解する「Context」、AIを安全に管理する「Control」、そして最適なモデルや技術を自由に選べる「Choice」��重要になります。

データとAIをひとつの基盤でつなぎ、企業がAIを本番環境で大規模に活用できる未来へ。

Databricksの次の進化に、ぜひご期待ください🔥

詳細はこちら
▶︎https://t.co/KbDEfvjAkH

[Ali Ghodsi @alighodsi]

Today, we announced that we crossed $7B in revenue run-rate, growing over 80% year over year in Q2.

We also shared:
🚀 $100M+ revenue run-rate for Lakebase
🚀 $1.5B+ revenue run-rate for Lakehouse, growing over 100% year over year
🚀 Continued positive adjusted free cash flow

And we raised $5B in our latest fundraise.

We’ll use this capital to invest in:
1️⃣ Lakebase, our serverless Postgres database built for AI agents
2️⃣ Genie, our AI coworkers that actually understand your business data
3️⃣ Unity AI Gateway, our multi-AI governance solution that helps control costs

@iamVictorDey shares more in @Forbes:

https://t.co/y2LdxysBNi

[Databricks Japan🧱 @DatabricksJP]

本日、@ElectricSQLをDatabricksに迎えることを大変嬉しく思います🎉
AIエージェント開発の常識が変わります🔥
▶︎https://t.co/bHEsj0dGHu

📌 何が起きた？
• Electric社のWASM Postgres技術「PGlite」がDatabricksに統合されました
• PGliteは週間DL数が1年で100万→1,300万に急成長した注目技術です

📌 何がすごい？
• 各AIエージェントが超軽量なPostgresをローカルで実行できるようになります
• サンドボックス内で極めて低レイテンシなDB操作が可能です
• リアルタイムSync技術により、複数エージェント間のデータ同期も実現します

📌 なぜ必要？
• AIエージェントは実行時に自らデータを決定します
• サンドボックス環境で安全に動作する必要があります
• 複数エージェントが協調するため、ローカル高速処理と中央管理の両立が不可欠です

📌 開発者にとっての価値
• Lakebase（本番Postgres）＋ PGlite（エッジ軽量Postgres）＋ リアルタイム同期の三位一体構成です
• 単一のPostgres標準でエージェントチームのアプリを構築できます
• オブジェクトストレージ上で安価かつ耐久性の高い集中管理が可能です

AIエージェント時代のデータ基盤がまた一歩進化しました🔥

#Databricks #AI #PostgreSQL

[akuwano @kuwa_tw]

Databricks に FILE型 というデータ型がでました！

非構造化ファイルとそのメタデータへの参照を表す型で、ドキュメントや画像、音声をUnity Catalogの管理下で構造化データと同じテーブルで持てるように！

列の宣言は`FILE MANAGED`か`FILE EXTERNAL`を指定しテーブルの中にファイルの実体ではなく参照とメタデータを持つ形になります！

非構造化データを別の管理とせず、かつバイナリ型に無理に���れずに、実データはクラウドストレージにおきつつもテーブルの1列として表現できるようになりました！
これにより、マルチモーダル系の前処理をさらにSQLに寄せやすくなりました！
https://t.co/LJLR4owDDT

[akuwano @kuwa_tw]

Kimi K3がDatabricksの基盤で利用可能になりました！

先日Xでも話題になりましたが、各社のKimi K3の中でも最速の推��速度、最低のレイテンシとなっております！

最高のKimiをお使いください！！！

もちろんUnity AI Gatewayによるガバナンスも確保できますよ！ https://t.co/iuvUsr1lNf

[Naoto Onoue @o7010n]

今の時代、トークン赤字回避には必須
、、

[Databricks Japan🧱 @DatabricksJP]

🚀 DatabricksのUnity AI Gatewayが一般提供開始！

過去1年で1千兆トークン以上を処理した実績を持つ、AI管理の統合ゲートウェイです。
▶︎https://t.co/6XwZm5HEom

📌 何ができるのか？
• エージェント・モデル・MCP・スキル・ツールにわたるAI支出・セキュリティ・アクセスを一元管理できます

💰 コスト管理が賢くなります
• モデル・プロバイダー・チーム���アプリ横断で詳細なコスト帰属とオブザーバビリティを提供します
• 予算上限の設定が可能で、想定外の支出を防止できます
• スマートルーティング（ベータ）により、品質を維持しながらAI支出を自動最適化してくれます

🔒 ガバナンスと自由な選択肢を両立
• Unity Catalogと連携し、ランタイムガードレール・PIIガードレール・監査証跡をAI全体に適用できます
• Anthropic・OpenAI・Geminiなど複数のフロンティアモデルをベンダーロックインなしで柔軟に切り替えられます

✨ つまり「コスト見える化」「セキュリティ統制」「マルチモデル対応」を1つのゲートウェイで実現する、エンタープライズAI運用の決定版です。

#Databricks #AI #UnityAIGateway