毎日分析ゴリラ

【職業】コンサルタント【今までのPJ内容】マーケティング戦略策定、マーケティング実行支援、pythonのデータ分析による戦略策定、Tableauダッシュボード構築など

[毎日分析ゴリラ @AnalyticsEvery]

Pythonを勉強しつつ、日々学んだことをブログにまとめています！よろしくおねがいします！　
https://t.co/4fFBVpRqKw
#python #programing #分析 #プログラミング初心者 #機械学習 #駆け出しエンジニアと繋がりたい
※サイトのURL間違ってたので再度投稿しました

[毎日分析ゴリラ @AnalyticsEvery]

【ニュース分析】
ロシアウクライナ問題で、どんな話題があがっているか見てみた。
批難や実態の説明以外に、以下のような共存を求める話題が出てきているのがなんかいい。

↓↓紀伊國書店のTwitterから抜粋
ウクライナ民話の「てぶくろ」と、ロシアの昔話「おおきなかぶ」
共存と助け合いのおはなし

[毎日分析ゴリラ @AnalyticsEvery]

YouTube APIを使ってデータ取得して分析しようとしてるけど、すぐに1日使用量が上限にいっちゃう。
複数アカウント作ってAPI取れば多少は増えるけどめんどくさいし、なんかいい方法ないかなー

#api #youtube #python

[毎日分析ゴリラ @AnalyticsEvery]

【今日学んだ有用なコード】
日本語含む文字列を判別
https://t.co/Lma4henmJK(r'[ぁ-んァ-ン]', 文字列)
>>>bool
※全て漢字の日本語は取りこぼすがほとんどないだろう

色んな国のデータが混ざっていて国のフラグがない場合で���、日本分を取り出せる
シンプルで使い回しやすい！

#Python #コード

[毎日分析ゴリラ @AnalyticsEvery]

【#kaggle で見つけた今後使いたい #コード メモ】

テキスト一括置換
table=str.maketrans('','',string.punctuation)
result = text.translate(table)
→str.maketransで置換テーブルを作り、translateで置換
→string.punctuationはアスキー文字

これで、不要なアスキー文字を一括削除！
#Python

[毎日分析ゴリラ @AnalyticsEvery]

最近流行りのAmongUs！
初めてだとImposterをやっても、バレるのが怖くて逆に挙動不審になってしまう、、、
てことで、kaggleのAmongUsデータセットを使って分析し、少しでも参考になるような情報を出してみた！
https://t.co/DzK199Wkwx
結論、ヒヨらず殺していけ！

#AmongUs #python #分析 #kaggle

[毎日分析ゴリラ @AnalyticsEvery]

今までグラフ化するのにmatplotlibとseabornしか使ってこなかったけど、plotly使ってみたらすごい見やすかった！
ダッシュボードみたいにつくれるしコードも簡単！

今後多用してこっ

#python #plotly #コード #グラフ

[毎日分析ゴリラ @AnalyticsEvery]

【競馬AI構築の道のり】
Google検索で上位に出てくる競馬AIでも、回収率が7,80%だった

たぶん100%以上はそーとー難しいんだろうな

精度向上��るための試行錯誤方法は大体分かったし、競馬AIは終わりにしよっ　笑

#競馬 #AI #Python

[毎日分析ゴリラ @AnalyticsEvery]

【競馬AI構築の道のり】
〜4歩目〜
試行錯誤し精度を高めてみた

R2=0.18→重回帰分析からrandamforestに変更(0.22)→欠損値が多いデータを排除(0.26)→影響度が低い特徴量を排除(0.27)→gridsearchでパラメーター調整(0.28)

あとはデータを増やすか色んな特徴量ためすしかない...

#競馬 #AI #Python

[毎日分析ゴリラ @AnalyticsEvery]

競馬AIはまだまだ精度悪いから、実用は来週に持ち越しかな

今日は俺の直感でかけよっと！

#競馬 #AI #Python

[毎日分析ゴリラ @AnalyticsEvery]

データ整形するのにすごく��利だと思ったコード

Pandas型データ[新列名]=Pandas型データ.groupby(列名)[列名].cum系のメソッド
※cummin,cummax,cumsum等
→groupbyで集計し計算した結果を、元データに入れてくれる

データから新しい特徴量を作る際にすごく役立つ！
#Python #整形 #コード

[毎日分析ゴリラ @AnalyticsEvery]

【競馬AI構築の道のり】
〜3歩目〜
機械学習による予測実施

重回帰分析で出してみたが、r2=0.18とダメダメな結果に、、

回帰分析方法や特徴量を変えて、こつこつ精度を高めるしかないな

1番の原因は、scrapingに相当な時間がか��るため取らなかった血統データな気がする

#競馬 #AI #Python

[毎日分析ゴリラ @AnalyticsEvery]

【競馬AI構築の道のり】
〜2歩目〜
取得したデータ整形&必要な特徴量算出

特徴量を作っているが、基本的に勝率(順位)じゃなくて1位とのタイム差を特徴量に用いている
他の人のAIより精度が高まることを信じて！

いずれは、前走は折り合いを欠いたとかの情報も考慮したい、、

#Python #AI #競馬

[毎日分析ゴリラ @AnalyticsEvery]

【競馬AI構築の道のり】
データ収集時にめんどくさかったこと

・https://t.co/SgjwrEctZ5の検索前後で、URLが変わらないため、Seleniumを使う必要があった

・広告が被さってclickメソッドを使えない現象が起きた、JavaScriptによるclickだとできた

#競馬 #Python #AI #スクレイピング

[毎日分析ゴリラ @AnalyticsEvery]

【競馬AI構築の道のり】
〜1歩目〜
まずは、https://t.co/SgjwrEctZ5から変数として使えそうなデータを取得した

直近2年分のレースを検索し、各レースのURLを取得
→レースURLより、レース情報取得(1レコード=1レース×1競走馬)
→競走馬URLより、競走馬の詳細情報付加
#競馬 #Python #AI

[毎日分析ゴリラ @AnalyticsEvery]

【競馬AI構築の道のり】
一旦この方針でいざ構築！

単位：1頭×1レース
数：直近2年で走った馬の数×各馬のレース数
目的変数：1位との時間差(or 順位?)
主な説明変数：直近レースの順位・時間差、血統、各競馬場・天気・距離等での勝率、レ���ス環境　等
機械学習方法：RandomForest
#競馬 #Python #AI

[毎日分析ゴリラ @AnalyticsEvery]

今日から5/30日本ダービーに向けて、競馬AIをつくってみよっと！
ざっくりやらなきゃいけないことはこんな感じかな
1.データ収集
2.整形
3.機械学習
1と2ではまず何を特徴量として持つか、3では使えない特徴量を削ってくところが肝となりそう

できるかわからんけど！

#競馬 #AI #Python

[毎日分析ゴリラ @AnalyticsEvery]

うんこvsうんち　〜徹底分析！〜

・どっちが主流？
・今後の勢力図はどうなる？
・うんこ派・うんち派はどんな人？

#データ分析 #ソーシャルリスニング #うんこ #うんち #比較

分析結果はこちら
https://t.co/2U9LpXC0dO

[毎日分析ゴリラ @AnalyticsEvery]

【ソーシャルリスニングで大事なことメモ】
・目的に合致しない人を削除
→法人、ボット、相互フォローアカウント、リツイートのみ(自分の意見なし)
・目的に関係ないワードを削除
→名詞・形容詞・動詞以外、極端に多い・少ない数のワード、単体で理解できないワード
#���ーシャルリスニング

[毎日分析ゴリラ @AnalyticsEvery]

【ニュース #分析】
#ビットコイン 暴落の #ニュース をみたが、より長期的にみたらビットコインの価格がどうなるか考えた
需要が高ければ、ある程度は価格も上がるだろうと考え、「ビットコイン 興味ある」#ツイート の推移をみた
見る感需��は多少ありそう！
にしても2017年末の盛り上がりはやばい

[毎日分析ゴリラ @AnalyticsEvery]

【ニュース分析】
メンズスキンケアが流行ってきていると���うニュースがあり、本当かどうかソーシャルリスニングを使って分析してみた。
やはり、ここ2年間徐々に流行り出している。
#メンズスキンケア #分析 #ソーシャルリスニング

↓他にもメンズスキンケアに関して分析
https://t.co/Asp4tErnSC