Lyaka

Kaggleとかディープの事とかをつぶやきます

[Issa Sugiura @ ICML 2026 🇰🇷 @strayer_13]

JAMMEvalの評価のために開発したVLM評価フレームワークsimple-evals-mmの紹介ブログ記事も書いたのでぜひご覧ください💁
https://t.co/7EnkgFiZSW

[MPEG @MPEG31]

Sierra に Agent Engineer として join しました！

オンボーディングでサンフランシスコに来ていますが、みんな本当に優秀で親切な人ばかりで、毎日刺激を受けています。
ここからさらに大きくしていくフェーズなので、Agent 開発も採用も頑張っていきます🚀

[Lyaka @lyakaap]

Claude Codeに写真の現像を頼んでみたら、RAW→JPEG変換して結果を自分の目で見て「暗いからもう少し露出上げよう」「空飛んだから下げよう」って試行錯誤し始めて、普通にそこそこのものができた

[watany @_watany]

某所で80人に向けたコーディングエージェントの研修をしました。研修資料を公開します。
https://t.co/M5XpFInOyq

[ITmedia AI＋ @itm_aiplus]

LINEヤフー、日本語マルチモーダル基盤モデル「clip-japanese-base-v2」を開発　商用利用もOK
https://t.co/xiuJHbRtXs

[Lyaka @lyakaap]

日本語CLIPの新バージョンを公開しました！蒸留とデータ増強でかなりパワーアップしてます！
今回もApache 2.0なのでぜひ色々な場面で使ってください！
🤗： https://t.co/smB5Ox7vgA

[LINEヤフー Tech @lycorptech_jp]

LINEヤフー Tech Blog 🆕
『高性能な日本語マルチモーダル基盤モデル「clip-japanese-base-v2」の公開』

- 日本語特化CLIPを高性能化し公開
- 大規模データ収集と精密フィルタによる精度の底上げ
- 知識蒸留によるさらなる精度改善

https://t.co/keg9JA3TzC

[LINEヤフー Tech @lycorptech_jp]

LINEヤフー Tech Blog🆕
「コンピュータビジョンの最難関国際会議 ICCV 2025に論文およびワークショップが採択されました」

- 最難関国際会議ICCV2025への論文採択・参加報告
- 基盤「データ」に関する国際ワークショップ開催
- デザイン x コンピュータビジョンの最先端調査
https://t.co/EPBjKizdts

[Lyaka @lyakaap]

gpt-oss フルファインチューニング難しい問題・・・
日本語のCoTデータを自前で集めるしかないんだろうか
> gpt-ossの英語能力、数学能力、コード能力、深い推論を伴うReasoning(推論)能力などを損なわずに日本語能力、日本語知識を強化するのは容易ではありません(=困難です)。

[Lyaka @lyakaap]

めちゃくちゃ参考になる記事。この辺の話辛すぎて先延ばしにしてたから本当にありがたい🙏

[Kazuki Fujii @kazukifujii]

NVIDIA NeMoを利用したgpt-ossの学習方法について記事を執筆しました

NGCコンテナ内のTransformerEngine、cuDNN versionのupdateだけでなく、NeMo側の実装、Megatron-Coreの実装も修正する必要がありました

LLMの研究開発において実は大変なライブラリ整備に関する記事です
https://t.co/i31nfNehwf

[Issa Sugiura @ ICML 2026 🇰🇷 @strayer_13]

大規模かつ高品質な日本語画像テキスト対データセットのWAONを公開しました!🇯🇵
新たに構築した日本文化画像分類ベンチマークWAON-BenchにおいてWAONはReLAIONより効率的にモデルの性能を向上させ、SoTAの性能を達成することを示しています。
ブログ記事もぜひご覧ください!
https://t.co/xo52Ezo73G

[Lyaka @lyakaap]

DeepSeek-OCRの文書をそのままビジョントークンとして圧縮するという話は、長いコンテキストを扱うのが得意なGeminiでも似たようなことをやっているかもという推測
たしかに有り得そう

[Jeffrey Emanuel @doodlestein]

DeepSeek just released a pretty shocking new paper. They really buried the lede here by referring to it simply as DeepSeek OCR.

While it’s a very strong OCR model, the purpose of it and the implications of their approach go far beyond what you’d expect of “yet another OCR model.”

Traditionally, vision LLM tokens almost seemed like an afterthought or “bolt on” to the LLM paradigm. And 10k words of English would take up far more space in a multimodal LLM when expressed as intelligible pixels than when expressed as tokens.

So those 10k words may have turned into 15k tokens, or 30k to 60k “visual tokens.” So vision tokens were way less efficient and really only made sense to use for data that couldn’t be effectively conveyed with words.

But that gets inverted now from the ideas in this paper. DeepSeek figured out how to get 10x better compression using vision tokens than with text tokens! So you could theoretically store those 10k words in just 1,500 of their special compressed visual tokens.

This might not be as unexpected as it sounds if you think of how your own mind works. After all, I know that when I’m looking for a part of a book that I’ve already read, I imagine it visually and always remember which side of the book it was on and approximately where on the page it was, which suggests some kind of visual memory representation at work.

Now, it’s not clear how exactly this interacts with the other downstream cognitive functioning of an LLM; can the model reason as intelligently over those compressed visual tokens as it can using regular text tokens? Does it make the model less articulate by forcing it into a more vision-oriented modality?

But you can imagine that, depending on the exact tradeoffs, it could be a very exciting new axis to greatly expand effective context sizes. Especially when combined with DeepSeek’s other recent paper from a couple weeks ago about sparse attention.

For all we know, Google could have already figured out something like this, which could explain why Gemini has such a huge context size and is so good and fast at OCR tasks. If they did, they probably wouldn’t say because it would be viewed as an important trade secret.

But the nice thing about DeepSeek is that they’ve made the entire thing open source and open weights and explained how they did it, so now everyone can try it out and explore.

Even if these tricks make attention more lossy, the potential of getting a frontier LLM with a 10 or 20 million token context window is pretty exciting.

You could basically cram all of a company’s key internal documents into a prompt preamble and cache this with OpenAI and then just add your specific query or prompt on top of that and not have to deal with search tools and still have it be fast and cost-effective.

Or put an entire code base into the context and cache it, and then just keep appending the equivalent of the git diffs as you make changes to the code.

If you’ve ever read stories about the great physicist Hans Bethe, he was known for having vast amounts of random physical facts memorized (like the entire periodic table; boiling points of various substances, etc.) so that he could seamlessly think and compute without ever having to interrupt his flow to look something up in a reference table.

Having vast amounts of task-specific knowledge in your working memory is extremely useful. This seems like a very clever and additive approach to potentially expanding that memory bank by 10x or more.

[すずどら @sz_dr]

最近やっていた仕事です

Vespaを活用したYahoo!フリマのベクトル検索 —— 類似画像で広がる商品探索 https://t.co/iSGNSv7Qh0

[Lyaka @lyakaap]

弊チームのサマーインターンの募集です！
大規模な社内の画像データを使ったVLMの研究開発ができて楽しいと思うのでぜひ！
https://t.co/9kCkKm7xvF

[Mikihiro Tanaka @mikittt417]

月曜日からNLP2025に参加します！
以下の論文を発表する予定で、内容は
1. 日本語MLLMで既存の公開モデルの精度を上回るものができたこと
2. 新しく作成したJIC-VQAベンチマーク
についてになります。

JIC-VQA:
https://t.co/ouvTrRbZLc

論文プロジェクページ:
https://t.co/NWiFXvvQct

#NLP2025

[eisaku｜LayerX @eisaku9393]

3月7日はサウナの日です！ということでサウナ企画！実はサウナーの弊社代表@fukkyy や @y_matsuwitter のおすすめサウナも紹介しています！是非見てみてください！🤟
--
LayerXメンバーが選ぶおすすめサウナ #日めくりLayerX｜Shimomura Eisaku @eisaku9393 #note https://t.co/JNQpZefCJO

[Mikihiro Tanaka @mikittt417]

#NLP2025 3月11日（火） 13:00-14:30 Q3で、日本語のマルチモーダル大規模言語モデルの開発に関するポスター発表をします。
興味のある方はぜひ来てください！

[Ikki Tanaka(kyazuki) @ikki407]

ベールに包まれてたベイスターズを支えるAI活用いっぱい話すよ⚾️（16:00〜)

ここから見れます！
https://t.co/woHJQiPYtV

[しゅんけー「📕Pythonで学ぶ画像生成」発売中！ @shunk031]

同じ部の基盤モデルチームがありえん強いCLIP拡張モデルを作ってプロダクト応用ガッツリ進めている話😤

自社開発のマルチモーダル基盤モデルを用いたYahoo!オークションの出品審査効率化 https://t.co/WSG0TkPUXb

[Lyaka @lyakaap]

#ViEW2024 の特別講演2のセッションにてVLMのお話をします。
VLM開発の話、ヤフオクでの事業応用事例の紹介、実応用における課題や解決策の話など、盛りだくさんの内容になっていると思います。
一時間という長尺ですがぜひ！

[ViEW2026 @iaipviewx]

特別講演（横尾氏）を更新しました。
https://t.co/B3qqD6IjYn
#パシフィコ横浜
#ViEW2024

[Sebastian Raschka @rasbt]

If you are curious how Multimodal LLMs work, I wrote a new article to explain the two main approaches, decoder-only- and cross-attention-style: https://t.co/cOHZBGrdVj
Plus, I reviewed and summarized the 10 latest research papers to see how it's done in practice.
Happy reading!