Ryo

データサイエンティスト

[Ryo @hand10ryo]

ご縁があって登壇してきます✌️
https://t.co/UgpA7meshk

[Ryo @hand10ryo]

コサイン類似度は距離じゃない警察👮‍♀️

[タランチュラ | データサイエンティスト @tarantula_ds_]

【データサイエンスにおける距離まとめ】
データ分析において、データとデータの距離を測りたい時ってよくあるよね🤔

そこで9つの距離の計り方をまとめたよ👍
知らない距離指標があったらぜひチェックしてね！

[Takemi/ crinoid (クリノイド) @crinoid15]

コロナ禍初の技育祭での「データサイエンティストを目指す学生が集まる部屋」というzoomで集まったメンバーがその後も月1でオンラインで話す会を1〜2年続け、
久しぶりにそのメン���ーの1人に会ってきました！対面発！

[かもリバー @xcloche]

noshを食べ続けると毎食は嫌だな〜と思って注文数を減らすようになり、1ヶ月の中でnoshを許容して食べられる数と注文数がちょうど釣り合うようになる　これをnosh均衡という

[Ryo @hand10ryo]

一番しっくりくる説明だ。

[takehiko-i-hayashi @takehikohayashi]

わたしは同一の「因果推論駅」の改札口の違いのようなものだと認識しています

https://t.co/Rdtn9PkvnZ

[Ryo @hand10ryo]

これは参加したかった。。。

[hakubishin3 @jy_msc]

企業における推薦システムの実応用をテーマとした勉強会を @yaginuuun @Py2K4 と立ち上げました！初回はメルカリ様に会場スポンサーになっていただき、ウォンテッドリー、メルカリ、DMM での推薦システムの取り組みについて紹介します！ #RecIndTalks
https://t.co/YVMLUQ8zOj

[nyker_goto @nyker_goto]

https://t.co/t3bLEyKcu5 #atmaCup
来月12/8からリクルートさんとコンペを開催します! お題は秘密ですが今回も面白いデータと課題を用意しています! 皆さん奮ってご参加ください🦈( ‘-’ 🦈)。

[Ryo @hand10ryo]

いつもfrom句から書きたくなっちゃう理由がこの図に表されてた。

[Dr Milan Milanović @milan_milanovic]

𝗧𝗼𝗽 𝟮𝟬 𝗦𝗤𝗟 𝗾𝘂𝗲𝗿𝘆 𝗼𝗽𝘁𝗶𝗺𝗶𝘇𝗮𝘁𝗶𝗼𝗻 𝘁𝗲𝗰𝗵𝗻𝗶𝗾𝘂𝗲𝘀

Here is the list of the top 20 SQL query optimization techniques I found noteworthy:

1. Create an index on huge tables (>1.000.000) rows
2. Use EXIST() instead of COUNT() to find an element in the table
3. SELECT fields instead of using SELECT *
4. Avoid Subqueries in WHERE Clause
5. Avoid SELECT DISTINCT where possible
6. Use WHERE Clause instead of HAVING
7. Create joins with INNER JOIN (not WHERE)
8. Use LIMIT to sample query results
9. Use UNION ALL instead of UNION wherever possible
10. Use UNION where instead of WHERE ... or ... query.
11. Run your query during off-peak hours
12. Avoid using OR in join queries
14. Choose GROUP BY over window functions
15. Use derived and temporary tables
16. Drop the index before loading bulk data
16. Use materialized views instead of views
17. Avoid != or <> (not equal) operator
18. Minimize the number of subqueries
19. Use INNER join as little as possible when you can get the same output using LEFT/RIGHT join.
20. For retrieving the same dataset, frequently try to use temporary sources.

Do you know what is 𝗤𝘂𝗲𝗿𝘆 𝗢𝗽𝘁𝗶𝗺𝗶𝘇𝗲𝗿? Its primary function is to determine 𝘁𝗵𝗲 𝗺𝗼𝘀𝘁 𝗲𝗳𝗳𝗶𝗰𝗶𝗲𝗻𝘁 𝘄𝗮𝘆 to execute a given SQL query by finding the best execution plan. The query optimizer works by taking the SQL query as input and analyzing it to determine how best to execute it. The first step is to parse the SQL query and create a syntax tree. The optimizer then analyzes the syntax tree to determine how to run the query.

Next, the optimizer generates 𝗮𝗹𝘁𝗲𝗿𝗻𝗮𝘁𝗶𝘃𝗲 𝗲𝘅𝗲𝗰𝘂𝘁𝗶𝗼𝗻 𝗽𝗹𝗮𝗻𝘀, which are different ways of executing the same query. Each execution plan specifies the order in which the tables should be accessed, the join methods, and any filtering or sorting operations. The optimizer then assigns a 𝗰𝗼𝘀𝘁 to each execution plan based on the number of disk reads and the CPU time required to execute the query.

Finally, the optimizer 𝗰𝗵��𝗼𝘀𝗲𝘀 𝘁𝗵𝗲 𝗲𝘅𝗲𝗰𝘂𝘁𝗶𝗼𝗻 𝗽𝗹𝗮𝗻 with the lowest cost as the optimal execution plan for the query. This plan is then used to execute the query.

Check in the image the 𝗼𝗿𝗱𝗲𝗿 𝗶𝗻 𝘄𝗵𝗶𝗰𝗵 𝗦𝗤𝗟 𝗾𝘂𝗲𝗿𝗶𝗲𝘀 𝗿𝘂𝗻.

#technology #softwareengineering #programming #techworldwithmilan #sql

[Ryo @hand10ryo]

社内での仕事を一部取り上げていただきました

[nnnnishi @nnnnishi4]

数理最適化寄附講座ワークショップありがとうございました、発表資料です！

リクルートにおける数理最適化の 活用事例と産学連携の取り組み https://t.co/DV7DY2fPP0

[Ryo @hand10ryo]

einsum好き。

むかしopt_einsum使ってみたら速くなったケースあったけど、中身はよくわかってない。

https://t.co/32czkQeiDs

[HELLO CYBERNETICS @ML_deep]

あれってパフォーマンス落ちないのかな。SIMDが任意の次元の演算で動いてくれるようにちゃんと作られてるのだろうか。

[Ryo @hand10ryo]

因果推論を勉強した価値は「何の仮定に妥協した分析結果なのか」を共有しながら議論できていることなのかもと思う今日この頃。

[Ryo @hand10ryo]

こっそり覗いたら最低でも障害は起こしてなくて一安心。

[Ryo @hand10ryo]

GW前に仕込んだ本番バッチの初起動がそろそろでソワソワ

[Ryo @hand10ryo]

ほんとそれ。というか、こっからまだ全然やばいの来るんだろうなあ

[今井翔太 / Shota Imai @ImAI_Eruel]

テレ東の特番で、OpenAI CEOのアルトマンが、

「AGIに慣れてもらうには、革新的な技��を一気に出すよりは徐々に出す方がいい」

と言っているので、OpenAIはここ最近のあの情報量でも手加減しているつもりらしい…

[Ryo @hand10ryo]

ChatGPTとか notion AIとか使ってて思うのは、前提知識を入力するのがとにかくだるいってことだなあ。自分の属性や行動を覚えててくれてて、文脈をわかって適切に前提情報を補完してくれる、というのがLLMをアプリケーション化させる方針として筋が良いのか���？

[Ryo @hand10ryo]

交絡の説明に使えるいい画像。

[Troll Football @TrollFootball]

The Messi effect