Riu

Hadoop / Linux 畑からやってきた見習いデータエンジニアです。SnowPro Advanced Architect / IPA AP, DB / Oracle Silver SQL / RHCE / AWS Certified Big Data etc..

[Riu @diosql]

結局Snowflakeの関数は使わず、UDF経由でOpenAIのAPIでgpt4o使ったところバシッと解決。安心安全のgpt4o。早く東京リージョンで使えるようにならないかなぁ。

[Riu @diosql]

フリーテキストで入力された日本語文字列をAI関数使って名寄せしてみてるんだけど、現状東京リージョンで使える範囲のモデルだと表記揺れとか対処しても期待したほど精度が良くない。

[Riu @diosql]

まだプロンプトの工夫の余地は全然あるが、にしても厳しさの中にある気がしてる。名寄せ先の正解が、①文字数少ない、②正解同士が似てる、③一般に認知されてると言い難い言葉など、データがそもそも向きじゃない感も。あと少し頑張ってどうなるかみてみよう。

[Riu @diosql]

キーがなくてもJOINできる？的な？すげ～

[ｷｳﾞｨﾀｽﾎﾟ(人工知能) @civitaspo]

このjoin句すごくない？on句に自然言語で問い合わせた結果を入れてる。aggregateも自然言語で。すごすぎ。

#SnowflakeSummit #SnowflakeSquad

[Riu @diosql]

見慣れたNiFiのUIがこれまた見慣れたSnowflakeのUIに載ってて頭バグるでほんま

[Riu @diosql]

今年はサミット参加叶わず… 日本から皆さんの速報記事やpostを楽しみにしています🥲

[Riu @diosql]

@yuzutas0 ご回答ありがとうございます、承知しました！(ひとまず物理で購入しました🫡)

[Riu @diosql]

アジャイルデータモデリング予約した🙂

[Riu @diosql]

トップから現場にデータを活用せよの勅令が下るパターンで特に多い気がしますこれ。まずはシュッと試してシュッと成果を出して、活用の成熟度に合わせて徐々にデータ組織も育てる。とても大事なことですね。

[chira as データマネジメント専門家 @chira]

データマネジメントの組織と役割の立ち上げが話題になることが増えていますね。一昔前は必要性か理解されなかったので、うれしいかぎりです。ただ詳しく話を伺うと、中には、DMBOKをはじめとした書籍の組織名と役割名をそのままに、立ち上げ初期からガッチリとした体制を作られようとしているところがあります。たとえばデータマネジメント評議会とか、データスチュワード、データアーキテクト、データアドミニストレーター、データアナリスト、などなどを一度に。
新しい体制・役割を一度に導入するには、誰が誰を任命するかの調整に非常に大きな負荷がかかります。その一方で、そうした体制と役割がなにをするべきかが、方針レベルでも固まっていないケースも散見されます。ただアサインされた人が用意された会議枠に参加しても、リーダーシップがなかったりします。その結果、時間ばかり過ぎでなかなかやることが決まらず、データマネジメント推進の機運が下がってしまうこともあります。
組織は育てていくものです。ベストプラクティスの組織と役割一式を、パッケージのように導入してもうまくいきませんよね？たとえばソリューションアプリ導入には、組織の戦略とベストプラクティスがどれだけ一致しているかが重要ですよね？
データマネジメントも同じです。事業戦略に沿ったデータマネジメント戦略を、IT戦略とは別に考えておかなければいけません。そしてデータマネジメント戦略の成長フェーズに沿って、組織と役割は設計される必要があります。
最初は受け入れられないロールも、文化の醸成を戦略の中で進めることで受容されていきます。
#データ戦略 #データマネジメント戦略 #データガバナンス戦略 #データマネジメントの組織と役割期待

[Riu @diosql]

この前 metabase のデモをみる機会があったけど、お手軽でユーザビリティ高そうで良さげだった

[Riu @diosql]

セキュアビューの性能部分めっちゃ気になるなぁ
#dataopsnight

[Riu @diosql]

この前フラッと入って美味しかった焼き鳥屋でダイニーposレジ使われてた。使いやすかった。
#dataopsnight

[Riu @diosql]

今年のデビスペの問題見たけど概念の午後に関してはどっちも去年と同じぐらいの難易度なんかな

[Riu @diosql]

全社ミーティングで今対応してるプロジェクトが表彰されてメンバーみんなで壇上で記念撮影したらしい。あの… ワシ今その案件の作業で残業してんねんけど。

[Riu @diosql]

実務では初めてリスティングの機能使ったけど、改めて本当に驚くほど簡単にデータ共有できちゃうなあ。方針決めて実装するより会社間で取り決め書交わすリードタイムの方が余程長かった。

[Riu @diosql]

昨日のPolarBarいけなかったのふつふつと悔しくなってきた。。

[Riu @diosql]

FoundationDBはHybrid Tableのバックエンドのストレージにも使われてた気がしますね。社内運用実績があったから採択した的な話をDCS '24のセッションでしてましたが、メタデータキャッシュに使われてたとは知らなかった…

[Riu @diosql]

はやくAWS東京でもSnowflake Copilot使えるようにならないかな～