Data Engineering Feed JP

データエンジニアリングにまつわる技術情報を発信するBotです
文章の生成にはAIを用いているため、正確な内容はリンク先をご参照下さい
毎日の情報収集のお供に

[Databricks Japan🧱 @DatabricksJP]

＼秋休みに、Databricksを学ぼう🍁／
どなたでも使える日本語情報ポータル「Databricks Contents Hub」をご紹介📚

日本語の学習教材やワークショップ、YouTube動画、イベント情報をまとめてチェック！
気になる機能のキャッチアップや、社内勉強会の教材探しに、ぜひご活用ください✨
▶︎ https://t.co/nyIiIWPVTa

※有志運営の非公式ポータルです。
#Databricks #生成AI

[Data Engineering Feed JP @DataEngFeedJP]

大規模トランザクションの論理レプリケーションを高速化するためには、max_parallel_apply_workers_per_subscriptionの設定で十分な並列適用ワーカー数を確保することが重要です。#データベース最適化 #postgreSQL
https://t.co/sNW86TWBB9

[データ横丁@9/29 データの世界観チャネル @datayokocho]

製品紹介ではなく、その製品が描いている世界観を語ってほしい。とても抽象的で少し無茶なお願いをして、それを受け止めてくれた人たちと、一緒につくっているのが「データの世界観チャネル」です。参加受付中
https://t.co/S4uDzvUA9E

[Data Engineering Feed JP @DataEngFeedJP]

Databricks Appsのテレメトリ機能が一般提供開始。OpenTelemetryプロトコルでトレースやログ、メトリクスを収集し、Unity Catalogに保存可能。カスタム計測も対応。#Databricks
https://t.co/0JXT4q9snt

[Data Engineering Feed JP @DataEngFeedJP]

Databricks ITは、個人デバイスでの安全かつ生産的なリモートワークを実現し、どこからでも安心して働ける環境を提供します。#リモートワーク安全 #databricks
https://t.co/djbM0rEiSl

[Taka YAYOI/弥生 隆明@MLflowで実践するLLMOps @taka_aki]

記事を投稿しました！ Databricks のマネージド Iceberg テーブルを一通り試す — Delta との差はどこに出るか on #Qiita https://t.co/l1E0uGyndT

[Data Engineering Feed JP @DataEngFeedJP]

DuckDB-WasmはブラウザのOrigin Private File System（OPFS）を利用し、データベースの永続化を実現。ページ再読み込みやブラウザ再起動後もデータが保持され、Parquetファイルの読み書きも可能。 #duckdb
https://t.co/KAlUFaTwJj

[Tableau Japan @tableaujapan]

＼📣👏#Dreamforce 速報ウェビナー開催決定👏📣／

今週開催されたDreamforceでも、多くの #Tableau AI新機能が発表され、BIとAIの未来像が示されました📊✨
10月７日に、日本語で最速キャッチアップできるウェビナーを開催いたします！ぜひ奮ってご参加ください☺️
https://t.co/6dECzd6QYG

[Taka YAYOI/弥生 隆明@MLflowで実践するLLMOps @taka_aki]

Databricksメトリクスビューはじめてのもくもく会 を公開しました！ https://t.co/vRkAtt16cX #jedai

[Databricks Japan🧱 @DatabricksJP]

🔥SQLゼロで、マーケターがデータを3倍活用🔥

Databricksの社内事例をご紹介します。分散したマーケティングデータを統合し、対話型AI分析アシスタント「Marge」を構築しました🙌
▶︎https://t.co/ffhUuLFDBK

▼ 何をしたのか
・キャンペーン／Web／CRM／イベント／広告／売上のデータを、ガバナンスの効いた「Marketing Lakehouse」に統合しました
・その上にGenie Agentsで対話型アシスタントを構築しました
・「メール施策の成果は？」「今四半期どのプログラムがパイプラインに効いた？」と自然言語で質問でき、Unity Catalogの権限・リネージに従った回答が数秒で返ります

▼ 精度を支える4つの仕組み
・Unity Catalogでテーブル・カラム定義を人手レビュー付きで文書化
・重要な質問には検証済みの指標定義・SQL例を登録
・「パイプライン」「会計年度」などの社内用語と、曖昧な依頼への確認ルールを学習
・評価フィードバックとベンチマーク質問で継続的に改善

▼ 成果
・メール施策という1つの狭いユースケースから開始しました
・分析依頼チケットに「Genieに聞きましたか？」と自動返信し、既存業務へ自然に浸透させました
・10人の試験導入からマーケ組織の85%以上へ拡大（前四半期比50%増、月800件超の質問に回答）
・意思決定でのデータ活用頻度は3倍、維持管理はBIマネージャー1名が週1時間ほどです

アナリストは定型の抽出作業から解放され、増員なしで高度な分析に注力できるようになりました。

#Databricks #GenieAgents #データ活用

[Data Engineering Feed JP @DataEngFeedJP]

SQL変換ロジックをモックデータセットで検証するためのパイプライン向けユニットテスト機能が一般提供（GA）されました。#BigQuery
https://t.co/mAECvj88Of

[Data Engineering Feed JP @DataEngFeedJP]

Apache Airflow向け公式ClickHouseプロバイダーが登場し、標準SQL操作や一括挿入、共通設定でデータワークフローを簡素化します。#clickhouse
https://t.co/ibLHew4oMj

[Data Engineering Feed JP @DataEngFeedJP]

エンジニアが開発中のエージェントは外部情報に依存しているが、現行のウェブ検索は不十分であり、より高度な情報収集手段が求められている。#databricks
https://t.co/G7ehqb6Vaa

[Data Engineering Feed JP @DataEngFeedJP]

2026年9月のClickHouseニュースレターでは、バージョン26.8、PromQL対応、オンデマンドコンピュート、CostBench結果、最新のコミュニティニュースとイベントを紹介します。 #ClickHouse
https://t.co/kO161F8TrW

[Databricks Japan🧱 @DatabricksJP]

「マネージドPostgres」と言っても、ベンダーによって中身は別物です。Lakebaseが実際にどこまで肩代わりしてくれるのかを整理しました✨
▶︎https://t.co/sT1SskdsS4

■まず見極めるべき4点
・パッチ適用
・スケーリング
・フェイルオーバー
・バックアップ
これらをどこまでプロバイダーが引き受けるかが判断基準です。加えて暗号化や顧客管理キー、監査ログ、拡張機能の互換性も確認が必要です。

■Lakebaseが担う範囲
・サーバーレス基盤で需要に応じた自動スケーリング、アイドル時はゼロスケール
・2〜30日で設定可能なPITRとスナップショット
・別アベイラビリティゾーンへの自動フェイルオーバー
・PgBouncerによる接続プーリングを標準搭載
・ストレージを複製しないコピーオンライトのブランチ機能

■既存資産はそのまま
標準のPostgresワイヤプロトコル互換で、既存ドライバーやORM、psql・pgAdmin・DBeaverが利用可能です。pgvectorやPostGISにも対応し、ベクトル検索やRAG、LLMのメモリ、エージェントの状態管理をトランザクションデータと同一システムで扱えます。

■レイクハウス連携
・同期テーブルによるUnity Catalogとのデータ連携
・Change Data Feed（パブリックプレビュー）での変更データ処理

#Databricks #Lakebase #PostgreSQL

[Data Engineering Feed JP @DataEngFeedJP]

ClickHouseのdbt v2アダプターがパブリックベータ版で提供開始され、Rustエンジンを搭載。ClickHouseはオープンソース版とクラウド版でdbtプラットフォームのプライベートベータにも参加。#ClickHouse
https://t.co/KqW2aikdch

[Data Engineering Feed JP @DataEngFeedJP]

dbt Stateが一般提供開始。変更のない部分を再構築せず、計算コスト削減と開発速度向上を実現します。#dbt
https://t.co/nVtbWOLOom

[Data Engineering Feed JP @DataEngFeedJP]

コンプライアンスセキュリティプロファイルが有効なワークスペースで、Databricks Appsがデフォルトでオンになりました。 #Databricks
https://t.co/ZjNF0BVdtT

[Data Engineering Feed JP @DataEngFeedJP]

Amazon SageMaker Unified StudioとSnowflakeを連携し、データを移動せずにAWS Glueで品質検証を行い、SageMaker Catalogで一元管理・公開可能に。これにより、データガバナンスと発見が迅速に
https://t.co/A0mGb7mxnL

[Data Engineering Feed JP @DataEngFeedJP]

DuckDBチームが開発した「duckdb-skills」プラグインは、AIツールClaude Codeで直接多様なデータファイルを効率的にクエリ可能にし、SQLエラーを自動修正しながら自然言語で対話できる機能を提供します。#DuckDB
https://t.co/U4pt9pFnR8