Tsuyoshi K

ITエンジニア（IT業界歴24年）
SIer・ソフトウエアベンダー（日系・外資、大規模・ベンチャー・・）を経験しています。現在はデータ活用・データサイエンス分野に従事
#Dataiku

[Tsuyoshi K @TsuyoshiK7]

久しぶりにQiitaの記事を投稿しました。
「Dataikuを利用した超高速データ分析・AI活用実践」

https://t.co/JUdXEIQLDO #Qiita #Dataiku #Cursor #GitHubCopilot #ETL #ML

[Tsuyoshi K @TsuyoshiK7]

DataikuがGartner® データ・サイエンス＆機械学習プラットフォームのマジック・クアドラントでリーダーの1社として4回目の評価 https://t.co/3UIFiZ6CjE #Qiita #Dataiku

[Tsuyoshi K @TsuyoshiK7]

最近 #AIエージェント を色々と触っていますが、パフォーマンスはLLMの性能とプロンプトの書き方にかなり依存するため、現状では「適材適所のモデル選択」「コーディングによる細かな制御、ReActを意識した実装」が必要だと実感。少し前の記事ですが、まさにこちらですね。
https://t.co/GkuXCK9YdG

[Qiitaマイルストーン @qiita_milestone]

10いいね！ | Dataikuを利用したRAGシステム開発について、知っておいた方が良い情報 by @TsuyoshiK7 https://t.co/xTGxiyq31n https://t.co/4It02dVw9e

[Fumihiko Kimura @Fumihiko__K]

【第3回金融データ活用チャレンジ】
@TsuyoshiK7 さんのこちらのQiitaも改めて素晴らしいですね！ノーコードとコードをコラボさせて精度向上に役立つTipsを多く記載頂いております🙌
https://t.co/i3xUVKuWkJ

#金融データ活用チャレンジ #dataiku #FDUA

[Yuki Nakamura @YNdatahaiker]

今年もこのコンペに #Dataiku は協賛し、ツール提供をさせて頂いております。昨年同様盛り上がりましょう！

今回はRAGがテーマです。本物のESGレポートや統合報告書からRAGを作り、質問に答えさせる実践的な内容です。

今回もたくさん学べそうで楽しみです🐦️
#FDUA #金融データ活用チャレンジ

[Dataiku @dataiku]

🎉 We've surpassed $300M in ARR, doubling in 3 years and topping 700+ of the world’s largest companies now on the Dataiku Universal AI Platform – with 1,100+ active GenAI use cases.

Read the full announcement: https://t.co/jRAEd28C5V

[Tsuyoshi K @TsuyoshiK7]

AIエージェントがBPMやAIモデルとどのように連携し、どのように業務プロセスを進化させるのかについて理解する上で良い記事でした。LLMの文脈だけではなく、もっとスコープを広げて考える必要があると、あらためて認識させてもらえました。
https://t.co/IW502KAa1l

[Tsuyoshi K @TsuyoshiK7]

数ヶ月単位で、Dataikuの生成AI・RAG周りの機能もどんどん強化されていますので、要チェックですね・・。

RAGパイプラインを効率化する5つの新しいDataiku機能 https://t.co/yq3Iyy1MBa #Qiita #Dataiku #RAG #LLM

[Fumihiko Kimura @Fumihiko__K]

みずほ様のグループ横断でのデータ分析コンペのツールにDataikuが採択されており、SIGNATE様から本日プレスも出ております。
引き続きAI/分析の裾野の拡大と発展に貢献できればと思います🙌
https://t.co/rm5fXIe3PJ

#dataiku #AI #機械学習

[Tsuyoshi K @TsuyoshiK7]

「甘利名誉教授もニューラルネットワークを活用して画像や文章などのデータを処理する深層学習の発展に大きく貢献する成果を残した。学習機能を高める「確率勾配降下法」という理論的な手法を1967年に開発・・」というのが胸熱ですね。こちらの動画でも言及されています。
https://t.co/co3MsUDGcU

[佐藤 豊 @fajoa]

ノーベル賞「AI機械学習」の基礎、日本の研究者も貢献：日本経済新聞 https://t.co/2FEiuR8Z3S

[Tsuyoshi K @TsuyoshiK7]

LLMの評価において、ROUGEやBLEUのようなアルゴリズムベースの指標だけではなく、LLLM-as-a-judge が適している/必要な場合、やはりLLMのコストが課題となってきますね。そのようなLLM評価の必要性と課題を考える上で良い記事。
https://t.co/Bw7nXuwWVK #LLM #RAG #NLP

[佐藤 豊 @fajoa]

Dataikuの年間のAIへの取り組みを表彰するグローバルのDataiku Frontrunner Awards 2024で住友ゴム工業さんが受賞しました。

テーマは

AIを活用した加硫の最適化：Dataikuを用いた効率性、正確性、製品品質の向上

素晴らしい👍👍👍です。

[Tsuyoshi K @TsuyoshiK7]

RAG-1グランプリは昨日で終了。最終スコアは画像のような感じです（31位 / 投稿数539人）。精度改善にかなり時間を取られてしまいましたが、試行錯誤する中で得るものも多かった（と信じたい・・）です。全体の作りを可視化できるDataikuの強みを確かに実感できました！

#SIGNATE #Dataiku #RAG #LLM

[Tsuyoshi K @TsuyoshiK7]

DataikuでRAGを構築して、SIGNATEの「RAG-1グランプリ」にサブミットしたところ、暫定37位。。

まだ、ベースラインを作成したのみなので、締め切り（10月10日）までに、色々試してしてみます。
https://t.co/06cOre7q3P

#SIGNATE #Dataiku #RAG #LLM

[Tsuyoshi K @TsuyoshiK7]

Dataikuの最新版（Version 13.2）が先週リリースされました。こちらは、キーウォーカーさんの紹介記事です。#Dataiku

【Dataiku 13.2機能紹介①】Column-level Data Lineage https://t.co/64YD89roPQ @keywalkerincより

[Tsuyoshi K @TsuyoshiK7]

RAG-1グランプリ。今日1日（半日のつもりが・・）、色々試してみましたが、スコアを上げるのは、なかなか難しいですね。。ただ、試行錯誤する中で学びもありますので、もう少し工夫していこうと思いますー。

#SIGNATE #Dataiku #RAG #LLM

[Tsuyoshi K @TsuyoshiK7]

LLM・生成AI活用基盤としてのDataiku最新機能を俯瞰する上で、良い記事ですねー。

近いうちにリリース予定の次バージョンでは、記事に未記載の新機能リリースも予定されていますので（Advancedオプションは必要ですが）、引き続き期待していきたいです！

#Dataiku #LLM #RAG

[佐藤 豊 @fajoa]

DataikuのGenAI：最新情報と今後の展望

このブログでは、DataikuのGenerative AI（GenAI）機能の最新アップデートと今後の開発計画について説明しています。

重要なポイント：

1. LLM Meshの拡張：
* 15の主要クラウド・AIサービスプロバイダーとの統合
- Snowflake Cortex、Mosaic AI、Mistral AI、NVIDIA NIMなどの新規接続
* 最新モデル（Llama3、Gemma、Claude 3、Arctic、DBRX-Instruct、GPT-4o、Mixtral 8*7Bなど）のサポート
* トークンストリーミングの導入：リアルタイムでの応答生成が可能に
* OpenAI呼び出しへの組織ID追加：内部チャージバックやコスト配分に対応
* APIの強化：高度なパラメータ、マルチモダリティ、関数呼び出しをサポート

2. RAGワークフローの強化：
* スマートチャンキングによるテキスト抽出の改善：意味のある単位でのテキスト分割とメタデータ保持
* チャンク分割の詳細な制御：サイズ、オーバーラップ、テキストデリミタの設定が可能
* 知識バンクのプロジェクト間共有：複数ユースケースでの情報再利用を効率化
* Dataiku Answersの機能拡張：
- エンタープライズデータへの質問機能
- 知識バンクの柔軟な利用設定

3. モデルのファインチューニング：
* Hugging FaceやOpenAIのモデルのカスタマイズ対応
* ビジュアルおよびコードベースのアプローチ提供
* カスタマイズされたモデルのLLM Meshへの登録機能

4. 今後の開発計画：
* LLM Guard Services：
- Cost Guard：LLMコストの監視と制御、予算ベースの使用ルール適用
- Quality Guard：LLM評価とファインチューニングツール提供
- Safe Guard：LLM使用のセキュリティ強化、悪用や情報漏洩防止
* EU AI法への準備支援：
- EU AI Act Readiness Program：包括的なソリューション提供
- リスク分類フレームワークの導入
- LLM Registryの開発：LLMプロバイダーの詳細情報管理
* O'ReillyとのGenAI技術ガイド「The LLM Mesh: A Practical Guide to Using Generative AI in the Enterprise」の作成

Dataikuの答え：
1. 多様なLLMプロバイダーとの統合を提供し、最新モデルへのアクセスを容易に
2. RAGワークフローの効率化と柔軟性向上により、高品質なAIアシスタントの構築を支援
3. モデルのカスタマイズとガバナンス強化で、特定のタスクや領域に最適化されたAIを実現
4. コスト管理、品質評価、セキュリティ強化のツール開発で、GenAIの安全で効率的な運用をサポート
5. 規制対応と責任あるAI実践のサポートにより、企業のコンプライアンスリスクを軽減
6. 技術ガイドを通じた知識共有と導入支援で、企業のGenAI導入を加速

結論：
Dataikuは、GenAIの急速な進化に対応し、企業がこの技術を効果的に活用できるよう包括的なサポートを提供しています。LLM Meshの拡張、RAGワークフローの改善、モデルのカスタマイズ機能など、最新の機能を通じて、ユーザーは安全かつ効率的にGenAIを導入できます。今後も、ガバナンス機能の強化や規制対応のサポートなど、さらなる革新が計画されています。これらの取り組みにより、Dataikuは企業のGenAI戦略の成功を総合的に支援し続けます。

#GenerativeAI #DataikuLLMMesh #RAG #AIGovernance #EnterpriseAI

ブログの詳細はこちらから：
https://t.co/24YBVtQ5GI

[Tsuyoshi K @TsuyoshiK7]

RAG-1グランプリ。Dataikuのコードレシピを使って、Pythonで拡張することで、少しスコアをあげることができました（暫定18位）。

今日はいったんここまでとしまして😅、締切まであと3週間ぐらいあるので、引き続き試していくようにします。
#SIGNATE #Dataiku #RAG #LLM

[Tsuyoshi K @TsuyoshiK7]

RAG関連のパラメータを見直したところ、少しスコアが上がりました（暫定24位）。
ここまで、コードは書かずにDataikuのGUIとプロンプトのみで対応しています。精度はLLMモデル次第ですが、ビジュアルで素早く試せるところがDataikuの良さですので、引き続き試してみます。
#SIGNATE #Dataiku #RAG #LLM