Noq / ノア

「データを使いやすくするためのお手伝いする人」「サイエンスしてインサイトみつける人」「予測マシン作る人」というものをやっているフリーランスです。お酒飲みましょう。

[Noq / ノア @Noq_K789]

nodenvからmiseに乗り換えました

[Noq / ノア @Noq_K789]

Dataformを利用している今の案件、
さすがにコンソール上の開発からlocal開発に移行しようと思う

[Noq / ノア @Noq_K789]

これおもしろいな。
冒頭の、文字起こしだと発した言葉しか存在しない、話そうとしたけど話さなかった言葉は分析できない という部分は納得　売上データと一緒よね。

なにより、言語の壁がある中 split1で世界決勝いけてるのすごい
https://t.co/BPtnDZ3LRk

[Noq / ノア @Noq_K789]

月1.0稼働を5案件やってますって意味わからんのだけど、どうなんだろう。

各会社は1人月の稼働をその単価で買っている。すなわちあなたの1日8時間x約20日の時間を買っているのだから、その時間はその会社に注ぐべきでは？

たまには暇な時間が発生したりするかもだけど、5倍はさすがに計算合わない

[Noq / ノア @Noq_K789]

codexデスクトップアプリのコミット文を自動で生成してコミットしてくれるの便利すぎる

[Noq / ノア @Noq_K789]

codex のデスクトップアプリを体験したら、claude codeのデスクトップアプリやエディタへの拡張に戻れないんだけど。

[Noq / ノア @Noq_K789]

なに、設定方法調べないと。
簡単でありますように。

[Yuma.M @yumam_da]

BigQueryのFluid Scaling、一応様々な場所で案内しているのですが意外と使われておらず…これを有効にするとスロットの最低課金時間が1秒に短縮されます。autoscaleで運用されている場合、3-6割程度の大幅なコスト削減が見込めます。コスパ観点では類似DWHの追随を許さぬレベルになるかと。

[Noq / ノア @Noq_K789]

「しかし恐ろしいことに、ナレッジグラフやグラフDBの「グラフ」（データモデルの構成方法）と混同した解説記事がたくさん生産され、しかもどれもバズってて」

ほんこれすぎる😂

[Kazunori Sato @kazunori_279]

これが先週からバズってる「グラフエンジニアリング」のまともな解釈。つまりループエンジニアリングの発展系で、エージェントの試行錯誤の軌跡（trajectory）の構成手法のこと（それが本質的に有用なのかどうかはしばらく見定める必要があるけど）。しかし恐ろしいことに、ナレッジグラフやグラフDBの「グラフ」（データモデルの構成方法）と混同した解説記事がたくさん生産され、しかもどれもバズってて、俺のXのおすすめの上位に上がってくる。みんな中身を読んだ上でリポストしてるのかあやしい🤨（もしくは人為的な手法でバズらせてるのか）。これが多くのAI系バズの実態。たぶん非エンジニア勢が大半をドライブしてて、玉石混交すぎる。

"複数のループが協力する必要が生じると、何がいつ実行されるか、何が並行して実行されるか、誰が誰をチェックするかを指定する必要がある。ノードが作業をし、エッジが次に何を実行するかを決め、共有状態がそれらの間で流れる。

単一のループは自分自身に指すエッジを持つ1ノードのグラフに過ぎない。それがグラフがループを置き換えるのではなく統治する理由だ"

[Noq / ノア @Noq_K789]

ほんこれすぎる

[na0 @na0fu3y]

あなたのデータウェアハウスに、災いをもたらす神が潜んでいる。

その名は「CV までの平均日数」。
またの名は「unbounded」。

-- 災いの神 --

登録から購入までの日数の平均。人々が崇めるこの指標。これがやばい。

登録も購入も、いつでも起こる。今日の購入者は何年も前に登録したお客さまかもしれない。結合を時間の境界で切れず、日々の増分に対して全期間のイベントを突き合わせることになる。

終了イベントが来るまで集計が閉じず、いつ閉じるか上限がない性質を unbounded と呼ぶ。unbounded な指標は毒だ。一滴混ざれば、増分更新を全て破壊し、全量更新を余儀なくされる。

無邪気な顔でダッシュボードに居座り、計算資源を貪り尽くす。この神を崇めてはならない。

-- 信者の掟 --

我らは「有界教」を開く。崇める神は「bounded」。信者には unbounded な指標の使用を禁ずる。

代わりの道具が与えられている。
* N 日以内 CV 率
* N 日打ち切りの平均 CV 日数
* t - 1 日未購入のうち t 日目購入の割合

いずれも時間の枠で集計が閉じている。この性質を bounded と呼ぶ。

分析を曲げろとは言わない。同じ問いに、閉じた推定量で答えるのだ。

LTV を求めよと言われて、お客さま一人一人の 100 年を追いかける者はいないだろう。誰もが本能では、枠を閉じている。

見覚えもあるはずだ。これらの道具は生存時間分析でお馴染みのものだ。「有界教」は新宗教どころか、統計学という聖典を持つ古教なのである。

信者よ、布教せよ。隣で「CV までの平均日数」を計算している異教徒を救うのだ。

組織の指標が一つ残らず bounded に置き換わったとき、我々の神は「増分更新」に本来の力をお分けくださるだろう。

[Noq / ノア @Noq_K789]

えーーー！
最強が誕生だ

[ikki / stable代表 @ikki_mz]

オーケストレーションツールのPrefectがDagsterを買収！🎉

オーケストレーションツールの候補として比較されることも多かった2つが統合することになるとは驚き。最近は統合の話も多く、Modern Data Stack時代の終わりを感じる。
https://t.co/FnfIN0X0iG

[Noq / ノア @Noq_K789]

そうそう。
要は、リーダブルコードの内容をSQLでもやろうぜって話よなぁ

[TsK｜データエンジニア@メガベン @HardModeDE]

最近、SQLを書いていて痛感するのは、
「動くSQL」と「読めるSQL」はまったくの別物だということ。

ちゃんと動いても、命名や可読性が雑だと、レビューする人の負荷が一気に上がるし、後から「どこを直せばいいのか」が分からなくなる。

意識してるのはこのあたり。
・CTEは「1レコードの粒度」を意識して、何が1行なのかを明確にする
・分かりにくいロジックには「なぜやるのか」をコメントで残す
・カラム名は中身と一致させる(is_activeなのに0/1以外が入ってる、みたいなズレは負債になる)

その場限りの自分用ならいい。でも共通で使うSQLは、読みにくいと他人の時間を奪いかねない。

「動くSQL」は一瞬で作れるので、「読める形で残す」ところに価値が出てくる気がする。

[Noq / ノア @Noq_K789]

EWC優勝はガチで凄い。

[Noq / ノア @Noq_K789]

データ界隈のPodcast
ありやなぁ

[Noq / ノア @Noq_K789]

どゆこと！

[山本祥武 | Google Cloud @yoshitake_l]

テーブルデータから学習なしでいきなり予測(回帰/分類)を行うモデル

自分の常識では考えられないような技術だなあ…。

[Noq / ノア @Noq_K789]

Cursorを 年額から月額へ変更したいんですけど、どうやればいいのですか。どなたか。

[Noq / ノア @Noq_K789]

なんですって

[yuichi | データエンジニア @1210yuichi0]

dbtのドキュメント読んでて気付いたけどCTEの命名でfinalって非推奨？使ったサンプルが無くなってる気がする

[Noq / ノア @Noq_K789]

選出、監督、各コーチの人選も世界で勝つには必要かもしれないけど、
会場のオーラや空気を変える生のサポーター声援も勝つための結構なファクターだと思うんだよね。
だからたくさん応援遠征行けるような国民の富、国力もあげる必要あると思うんだ。

[Noq / ノア @Noq_K789]

ワールドカップもダブルエリミネーション方式がいいなぁ。（見る側としては）

[Noq / ノア @Noq_K789]

オランダしっかり対策してきている。強豪と渡り合えてる。

[Noq / ノア @Noq_K789]

ものにもよるけど、ほとんどの場合において、思ったよりストレージ増えないことがほとんど

[Mob @mobmisc]

これマジなん？？？
めっちゃいいねついてるけど、普通に状態残してるわ💧
変更履歴を永久に残してたらストレージ圧迫しすぎてコストがきつい気がするんだけどね
DBに状態ないと他でロックする手段用意するのも手間かかりそうとかも思うな