ホームズ

東大医学部卒/Google/cognitive science
AIの備忘録と発信を兼ねようかなと
気軽にフォローください

[ホームズ @sharlock88]

@AiAircle34052 sora2

[ホームズ @sharlock88]

@AiAircle34052 プロンプト

[ホームズ @sharlock88]

今更感あるけど、こちらの荒牧先生の論文から勉強中。

https://t.co/fIbPks37Lm

朝見た医療LLMのベンチマーク構築の話も含め、自分も将来的にはベンチマーク作る必要性に駆られそうだけれど、先人の知恵を学びたい。

[ホームズ @sharlock88]

メモメモ。

[Daisuke Okanohara / 岡野原 大輔 @hillbig]

MoEの学習ではエキスパート利用の均衡化のための損失を導入するが学習目標と別なので悪影響がある（微調整も面倒）。損失無均衡化は、バイアスを加えてエキスパート選択。バイアスは前回選択時の不均衡度合いに応じて更新。バイアスは損失前向き計算時の重みには加えず勾配に影響ない https://t.co/wyCEmLINmP

均衡度合い、得られるモデルの性能（perplexityでの評価のみだが）で補助損失を使う場合に比べ大きく改善している
バイアスは前のバッチの際の不均衡度合い（平均からのずれ）に応じオンライン学習のように更新する。

論文ではToken側がExpertを選ぶExpert Choiceの問題について言及しており、エキスパート選択によって系列の将来の情報が漏れてしまい汎化性能が大きく落ちてしまうという問題を指摘している。このExpert Choiceによる将来情報リークの問題はうちでも半年前ぐらいに追試した際に発生し、悩ませていたが他にも原因があるかということで報告までいかなかったが、このように論文でまとまるとよい。

[ホームズ @sharlock88]

勉強になります。
一時期、NLPのカルテへの応用に興味あったので、この分野は（もう多分関わらないかもしれないけれど）定期的にキャッチアップしたい👀
知識量とパラメータ数は比例するものなのか…

[まふた @mafuta9498]

医療言語処理は、応用寄りのタスクほど軽量LLMでも解けそう．
必要な知識量が多いタスクは、その知識を格納できるだけのパラメータ数が必要そう．

[ホームズ @sharlock88]

抄読会向けの論文探しをする時に、グラフィックあると嬉しくなる。データや分析結果をどう分かりやすく伝えるかは身につけたいスキルの一つ。。

[ゆっくり救急医 @Yukkuri_991]

BMJのインフォグラフィック特集ページが熱い🔥

複雑な医療情報をどのようにわかりやすく、正しく伝えるか？の勉強になる。

資料作成の参考になる。

ただ眺めているだけでも楽しい。

[ホームズ @sharlock88]

今まさに勉強したい内容が全て詰まっていて感動。研究テーマにしたかったので10月が待ち遠しすぎる。とりあえずこの本が来るまでは自習。

[Hitomi Yanaka (谷中 瞳) @verypluming]

計算言語学と自然言語処理の基礎の本を講談社より出版します。形式意味論に基づく計算言語学によることばの意味の計算のしくみと、LLMをはじめとして深層学習を中心とした自然言語処理によることばの意味の計算のしくみを紹介しています。これを読めばあなたの人生がさらに豊かになること間違いなし！

[Atsushi Miyawaki @AMiyawaki38]

どんなに良いデザインでも、「RCTじゃないと、increase/reduce/effect on/impact on みたいなcausal languageは使っちゃダメ〜」という医学雑誌特有のルールはやりすぎでした…と、やっと反省？？　https://t.co/UC2Wr3X3H2

[Atsushi Miyawaki @AMiyawaki38]

米国の高齢内科入院患者において、女性医師に治療されることによる死亡率や再入院率へのベネフィットは、女性患者で特に大きいことを示す論文を、Annals of Internal Medicine (IF: 39）から公開しました。UCLAの@TsugawaYusuke 先生らとの共同研究。 (1/5)
https://t.co/H18isBl25A

[NOZAWA, Kento @nzw0301]

東大等にグラントも出すっぽいしすごいな
https://t.co/g9BWZy6P0Q

[ホームズ @sharlock88]

医療AIコンテスト、終了…！
運営の皆さん、ありがとうございました！！baselineを読むだけで勉強になり、大変ありがたい経験でした。
また、期間中構ってくださった皆さんもありがとうございました…！少しでも仲良くなれたらと積極的に発信させていただきました汗
今後ともぜひお願いいたします！！

[ホームズ @sharlock88]

1日サボったら入賞圏から一気に下がった…え…

[ホームズ @sharlock88]

@ped_yi baselineのnotebookのoutputで共有されているパラメータを用いるとある程度の精度が出るようになるかと思います…！

[ホームズ @sharlock88]

なんかこのコンペで色々調べてるおかげで、タイムラインのおすすめに色んなセグメンテーション関連の最新論文とか流れるようになったし、
コンペ一つで得るもの多くて嬉しい👀

[ホームズ @sharlock88]

kaggleもcolabも計算資源が尽きた😭

[ホームズ @sharlock88]

@nishizawa @YYama0 @16uatWhpXTk7QB8 本当ですよねw
逆にn_split=3くらいしてほしいのに…

[ホームズ @sharlock88]

いつの間に最強チームマージが出来てる(･･;)
算入方法を三捨四入とかにしてくれたらまだ勝ちうる…のか？

[ホームズ @sharlock88]

せっかくコンペに参加してるからというのもあり、期間中にたくさんの方に無言フォロー飛ばしています…うるさくしていたらすみません…。

[ホームズ @sharlock88]

消えたのが悔しくて、横で作業しながらずっと待機してたら、精度上がった…人間みたいな挙動するやん…

隠れパラメータに「そばにいる事」とかあるのか？？

[ホームズ @sharlock88]

@YYama0 完全にうっかりしていました…。

[ホームズ @sharlock88]

Kaggle上で長時間回して、よし出来てるかな？って帰ってきたらセッション切れoutput全削除の悲しみ…