わさお

Research Engineer @GoogleDeepMind, Gemini pre-training

[わさお @wasao_lab]

@rioyokota 横田研で国内外の数多くの挑戦とコラボレーションの機会に恵まれたおかげです！帰国の際にはまた研究室にお邪魔させていただきます🙏

[わさお @wasao_lab]

ロンドン本社の Gemini Pre-Training team で Gemini 2.X family のモデル構造の設計と学���のスケーリング・安定化に取り組んできました。優秀な同僚たちと積み上げてきた成果が Gemini 1.5 からの性能の飛躍に繋がり嬉しいです！！

[Logan Kilpatrick @OfficialLoganK]

The progress of Gemini over the last year +

[Google DeepMind @GoogleDeepMind]

We’re sharing Project Astra: our new project focused on building a future AI assistant that can be truly helpful in everyday life. 🤝

Watch it in action, with two parts - each was captured in a single take, in real time. ↓ #GoogleIO

[わさお @wasao_lab]

GPT-4o のデモを Gemini が解説👏

[Michael Chang @mmmbchang]

Gemini and I also got a chance to watch the @OpenAI live announcement of gpt4o, using Project Astra! Congrats to the OpenAI team, super impressive work!

[Michael Chang @mmmbchang]

Gemini and I also got a chance to watch the @OpenAI live announcement of gpt4o, using Project Astra! Congrats to the OpenAI team, super impressive work!

[わさお @wasao_lab]

今週マイアミで開催した MLSys で ETH ポスドク時の研究を発表しました。大規模言語モデルの学習をパイプライン並列とフィッシャー情報行列を用いた二次最適化（K-FAC）で効率化する話です。
https://t.co/UKDjPkY2WO

[わさお @wasao_lab]

DeepMind に入社してから２ヶ月半経ちました！Google DeepMind 所属に変わります🧠🌀

[Demis Hassabis @demishassabis]

The phenomenal teams from Google Research’s Brain and @DeepMind have made many of the seminal research advances that underpin modern AI, from Deep RL to Transformers. Now we’re joining forces as a single unit, Google DeepMind, which I’m thrilled to lead! https://t.co/n2cpn91AOl

[Yoshitaka Ushiku @losnuevetoros]

某業務中に知ったのだけど、これは確かに必要な人々が局所的に居そう。今まで匿名アカウントをgithubに生やす方法しか知らなかった。
https://t.co/VPM78rX4Ps

[Lucas Beyer (bl16) @giffmana]

The ConvNeXt paper is rightfully getting some attention: it's good work and has beautiful plots.

But, Fig1 needs a little correction IMO. They compare heavily aug/reg swin+convnext to plain ViT. We fixed this in https://t.co/Y09n8PfgNE which is what should always be compared to.

[Mingxing Tan @tanmingxing]

Nice paper with beautiful plots and catchy titles!

I was hopping it could compare EffNetV2 (ICML 2021, convs only) as well: https://t.co/YHWEb8pHmR

If EffNetV2 is included, the figure should look roughly like this:

[Mingxing Tan @tanmingxing]

@yieldthought @ak92501 Well, AutoML models are already ahead by a couple of months, but this paper choses to compare 2019 EffNetV1 instead of 2021 EffNetV2 . Here is a better comparison:

[Hiraku Morita / 森田啓 @hiraku_mrt]

自分が学生の時に、これを教えてくれる人がいた。自分は欧州の博士課程にいくつか応募したけど全敗。
だけど、その時に集めた英文の修了証明書&成績証明は数年後に役に立った。それを使っていま欧州に来てるのを思うと、失敗してもいいから大学院に応募してみると、それが後に役立つこともある。

[わさお @wasao_lab]

私はこのブログで紹介されている筑波大の落合陽一先生のフォーマット（鬼コース）で大学院生のときに論文をたくさん読みました。自らやりたい・やるべき研究テーマを見つけ、国際的にインパクトのある研究ができたことは大きな自信になりました。このブログと鬼コースに感謝🙇‍♂️
https://t.co/MblgXh2vob

[高橋 史 Fumito Takahashi @FumitoT]

共著者が「英文校正を受けたのに査読者から英語の質を指摘された」と不満そうだったので、サバティカルのときに作った自分用メモを渡した。

年末年始に論文を書こうという方、ご笑覧ください。年始に執筆会やりたい。

[わさお @wasao_lab]

使っている研究ツール

論文管理：Zotero
論文書く：overleaf / vimtex
論文読む：iPad (PDF Expert) / Mac preview
メモ・計算：iPad (Noteshelf)
作図：パワポ / Matplotlib
スライド：パワポ
英語チェック：Grammarly / DeepL
コーディング：JetBrains IDE / vim
ML実験管理：Weights & Biases

[翡翠🍅 @nat_num_pol]

博士課程に行くと嫌でも結果を出さないといけないから、元々飛びぬけたものがない人にとっては少し自信ができて良い。

[たぐれおん @TagLeon611]

博士課程という険しい道を進む仲間のために書きました。
届くべきところに届いて欲しいため、研究者の方々に拡散して頂けるとありがたいです🙏

フェローシップや次世代研究者挑戦的研究プログラムに採択された博士課程の学生は開業届を出し���個人事業主になろう｜たぐれおん https://t.co/6MKJlzFbsP

[わさお @wasao_lab]

D進は海外で働いてみたい人にとって魅力的だと思います。

学生の身分だと海外の企業や大学のインターンに好きなだけ挑戦できます。
博士号を持っていると就労ビザが取りやすく、キャリアの選択肢が大幅に広がります。
何より、研究を通じて世界の優秀な方々と一緒に仕事ができる最高の機会です。

[Takamasa Iio @meshimeshi]

学生さんが「博士課程に興味があるの���すがTwitterを見ていると暗い話しかなくて怖いんです…」と言っていた。これは由々しき事態であるので、このツイートを見た博士課程の学生さんや博士の方々は、博士課程の素晴らしさを一つツイートしてください🙇