データ分析な日々

データ分析のブログ書いてます． 統計検定1級 (人文科学, 理工学)．

[データ分析な日々 @data_everyday]

M1グランプリについて分析しました。
ボケの回数と点数には、強い相関があります。
最終決戦に進むには、15回以上ボケてください。
#M1グランプリ　#M1グランプリ2023
#データサイエンス

2023年 M1グランプリの考察 – ネタ中のボケは何回が適切か？ – | データ分析な日々 https://t.co/82j5D9NQB4

[データ分析な日々 @data_everyday]

「ほぼ完璧に予測できました」には「data leakage」でほとんど正解

[TJO @TJO_datasci]

「データも見られなければ統計的学習モデルのアルゴリズムも実装コードも見られない」状況で、そのデータ分析のどこにどんな不具合があるかを「分析結果だけを見る」ことで言い当てるのってデータサイエンティスト的には最高に面白いゲームだと思うんだけど、同意してくれる人いますかね

[データ分析な日々 @data_everyday]

@NozomiMaki2 観測誤差分散σ_n^2を最尤推定すれば全体的に信頼区間が広がると思います。
ただ、例示いただいたような「xの同じ（局所的な）部分だけyのばらつきが大きい」というデータの場合、その部分だけ信頼区間を広げるようなモデリングはありそうですが、ちょっと詳しくないですね。。

[データ分析な日々 @data_everyday]

Always use \top

[データ分析な日々 @data_everyday]

caret::findLinearCombos()、1行で完全な従属関係を全部洗い出してくれる、、

[データ分析な日々 @data_everyday]

MultiOutputRegressor() って渡したモデルを単純に並列計算で独立に推定してるだけなのか
別に全部の目的変数に対して同じモデルを使う必要もないしなぁ

[データ分析な日々 @data_everyday]

@U_M_V_U_E あれ、元論文に「この理論難しいからこの章は飛ばしちゃいな」みたいなこと書いてますよね
ちなみにあれは私が知らない数学でしたの見なかったことにしてます

[データ分析な日々 @data_everyday]

話題のSVM（Stochastic volatility model）のいい感じの資料を置いておきます。
https://t.co/3rNo1vEsxs

[データ分析な日々 @data_everyday]

@A7_data そう言っていただけて良かったです🥳
ちなみに、元のポストは原系列が負になっておりlogの計算ができないのと、あまりにx と log(1+x)の差があるため、どこかしら修正点があるかもと思いました

[データ分析な日々 @data_everyday]

定義通りの変化率xは、log(1+x)のx=0周りの線形近似なので、図の通り変化率が0から離れると対数差分の変化率は負の方向に偏るという理解です。
1枚目：近似の様子
2枚目：変化率が0から離れるとどう乖離するか

[A7.｜データサイエンティスト1年目🔰 @A7_data]

証明をちゃんと読んでみたら、yはy_tとy_t-1の値が近い、すなわちそんなにデータが激しく変化しないことが前提だったっぽい。

じゃあ、ということで1次の自己相関が負であるようなデータにおいて近似が成り立つのか確かめてみたら、やっぱりダメみたい。変動の絶対値を大きくした時に顕著だった。

[データ分析な日々 @data_everyday]

脂質とカロリーの信頼区間が広すぎる。サンプルサイズを大きくして再調査願います。

[データ分析な日々 @data_everyday]

カーネルいじってガウス過程をうねうねさせて遊べるサイト見つけた

https://t.co/tKEG5UoLDM

[データ分析な日々 @data_everyday]

cursor でコード生成したら日本語で変数定義し始めた

[データ分析な日々 @data_everyday]

”線形回帰で多重共線性がある場合、一般逆行列でも解決できるけど、スパース推定で一般逆行列は利用されてないのはなぜ？”（JMRA内容の意訳）

縮小推定すれば少なくともパラメタ推定できるって意味で多重共線性の問題はないのでその発想はなかったけど、うーん、擬似逆行列で置き換える必要がない？

[データ分析な日々 @data_everyday]

題名の割にスパース推定あんま出てこないけど、JMRA の面白そうな活動

https://t.co/S2NXkUKGYP

[データ分析な日々 @data_everyday]

球面集中現象初めて知ったんだけど、多次元になると超球の体積のうち表面付近の体積がほとんどの割合を占めるから、ランダムに発生させた高次元ベクトルは必然的に球の表面付近に分布するって話なのかな

[データ分析な日々 @data_everyday]

話題の微積分+線形代数本、「なんとしても理解させる」という強い意志を感じる

[データ分析な日々 @data_everyday]

notebook はその名の通り、ある程度見せる結果が決まってて、それをノートにまとめる（tutorial とかその典型）って使い方ならわかる

[グッドフクサニティ賞 @fukusanity]

なぜPythonが急に普及したのかわからないけど、俺がPythonを使い始めたきっかけは探索的データ分析するためにnotebook形式のコーディングが便利だったから。セル単位でコード書いて出力を見ながら掘り下げるプロセスは「これがないと分析できないよ」と感じるほど便利だった。2017年ぐらいかな

[データ分析な日々 @data_everyday]

これ言う人は見たことないけど、「DS の人らはすぐ Python いじっちゃう」と言い超速でExcelで前処理なり可視化なりする人なら見たことがある

[吉田拳｜Excel丸投げ外注サービスのすごい改善代表 @sugoi_kaizen]

「まだExcel使ってんのかよ」って仰ってるエンジニアの方々はもう少し企業の事務現場を見に行ったほうがいいんじゃねーのかと。

[データ分析な日々 @data_everyday]

Python ではじめるグラフィカルモデル

[講談社サイエンティフィク🖋️📔 @kspub_kodansha]

『Pythonではじめる時系列分析入門』の見本書籍ができあがってきました‼️
https://t.co/T0KcNGew1b

実践Data Scienceシリーズ7冊目となります‼️

本ポストを「引用リポスト」いただき、シリーズ続刊として、どのようなテーマを扱ってほしいかなどを、引用リポストにご記載いただけると嬉しいです😆

[データ分析な日々 @data_everyday]

よくありそうな設定だしささっと読んどくか、って買って非心系の分布に打ちのめされた＆何回も読み返してるこいつが頭に浮かぶ

[テッツォ@『ステップアップPython』6月25日発売 @tetsuro731]

記事を投稿しました！ A/Bテストで必要なサンプル数を見積もる方法【帰無仮説、検出力、有意水準】 [Python] on #Qiita https://t.co/fsPFSKYgSd