シンカイクサウオ

Research Scientist & co-founder of an industrial company.
Ph.D. in Computer Science. Alumni @jouhouken, @SokendaiU
#stapy staff

[Hiromu Yakura @hiromu1996]

皆がAIに頼ると似たようなアウトプットばかりになり、集団としての創造性が失われるという研究がある一方で、AIの力で言語の壁を超えてより多様な人からアイデアを集約できるという可能性もあります。果たしてどちらの力が強いのかを検証した新作プレプリントを公開しました：https://t.co/6kEl2UoOQB

[Kotaro Kinoshita / MLism @KINOCOAI]

モデル学習ってやったことない人からすると工数が甘く見積もられがちで、データ適当に用意して突っ込んで終わりだと思われるのが解せない。なんなら最近はプロンプトチューニングとかと混在されて、さらに簡単なものだと思われるから解せない

[xlr8harder @xlr8harder]

A tragedy is unfolding at AllenAI.

Fs in the chat

[webbigdata @webbigdata]

GENIAC PRIZEの最終審査、なんと私が開発した音声AIエージェントVoiceCoreを活用した提案が社会課題領域で一位5000万円の賞金を獲得

とてもおめでたいですが、私自身の提案は予選落ちだし、VoiceCore開発時に国から支援を貰ったわけでもないからオープンモデルの未来とか考えると気持ちの整理が難しい

[シンカイクサウオ @Swall0wTech]

オプティマイザーに関する査読でreject喰らっているのみたけど、検証のモデルが限定的すぎる、先端の研究では8Bモデル15Tトークンなどで学習されているがこれは小さい。みたいなこと書かれてて、そりゃそれができるにこした事ないだろうけど、それ出来る人限定的では。。。

[シンカイクサウオ @Swall0wTech]

リソースがない中で事前学習からやっていると結構流行と違うねというような扱いを受ける印象があるけれど、強化学習で微調整されたモデルから継続事前学習・再度微調整とかすると分布が壊れるだけじゃなく、そもそも目的関数も違うからそれをどうにかこうにかするほうが大変気がする。

[シンカイクサウオ @Swall0wTech]

masked language modelingの学習の気持ちを解らせにくるOpenAIドキュメントhttps://t.co/MPc77Uk6T5

[シンカイクサウオ @Swall0wTech]

だめだレファレンスなしでの嗜好性調整壊れがち。

[シンカイクサウオ @Swall0wTech]

5,6年前に何か嫌味なことを言ってきた方が最近たまたまあったら毒気が少し抜けていた。２児の父になっていたらしい。子が出来てたことによる境遇の変化かそれともオフィシャルなところだったからか🤔

[FQC🤗 @FQCme1]

なお、ウチのモデルは最近調子が良いです✨

宇都宮で来週行われるNLP2026の企業スポンサーブースでどれくらいSarashina が強くなっているかを見に来てください〜

[シンカイクサウオ @Swall0wTech]

https://t.co/Ef7hjivfglやMiniMaxのデータから雑に推定するに営業利益ゼロまで持っていくにはAPI単価のみ値上げ、利用量固定としてとして、それぞれ66倍、14倍程度値上げが必要になりそう？

MiniMaxの方は広告系のサービス展開の割合が大きく分からないところもあるので、穴埋め感あるけど。

[シンカイクサウオ @Swall0wTech]

@Lila88965975 前はジップロックだったのですが、さらにダウングレードに😂

[シンカイクサウオ @Swall0wTech]

最近のお財布、色々と行き着いてしまった感がある。

[シンカイクサウオ @Swall0wTech]

Trainium ようやく慣れてきた感ある。カスタム実行も想像した通りのものがようやく実現できるようになってきた。

[シンカイクサウオ @Swall0wTech]

いい感じのOptimizerできたと思って実験してたけど、似たようなTEONとして出てきててまぁ方向性は良かったのだなと。

[Sho Takase @shot4410]

共著の論文がICLRに採択されました。
大規模言語モデルの事前学習において学習率を下げずに終わらせた方がチューニング後の性能まで含めると性能が良いということを示しています。査読者の3/4がReject寄りの点数でしたが逆転できました。

[Muramasa @Muramasa_2]

未だにこんなバグりやすいプロンプトあるの面白い
自分の手元でも5.1instant選ぶと再現した(5.2とか5.2instantでは再現せず)

[シンカイクサウオ @Swall0wTech]

ローカルLLMが安全という話、ローカルLLMが安全かというと、特定の条件で挙動を変えるようにバックドアとか仕掛けられるから安全とはいえないような。。。https://t.co/7oBYeZvB9l

[まむ @mamurai1208]

日本語指示追従ベンチマーク公開しました。熱烈PLaMo開発、やっていくぜ。

[Kazuki Fujii @kazukifujii]

Finally!! Accepted to ICLR 2026! 🎉

Cited by Nemotron 3 Nano and OLMo 3, yet it was a long journey to get this through academic peer review. So glad to cross the finish line.

📄 Rewriting Pre-Training Data Boosts LLM Performance in Math and Code: https://t.co/tbGL1IPiQf