Top Tweets for #VisualPrompting

GPT-4VはVisual Promptingするとめちゃ賢くなるという論文。感動した。 Set-of-Mark Prompting Unleashes Extraordinary Visual Grounding in GPT-4V https://t.co/YcJ12fp7ys ## 概要 GPT-4Vに代表されるようなVision系のLLMの多くは、"写っているもの同士の関係性" を扱うのが苦手です。 例えば上記の写真を見せて「右のPCの左には何が置いてある？」という視覚的な関係性を問う質問に対しては、間違った解答をしてしまうのが現在のGPT-4Vの能力です。 そのような複雑な画像に対して、SoM(Set-of-Mark)を用いてVisual Promptingをすることで、GPT-4Vの推論能力が飛躍的に向上したという研究がMicrosoft Researchをはじめとする研究チームから発表されました。 これはあくまでVisual Promptingなので、ファインチューニングのようにモデル自体に手を加えるようなことはしません。 ただ前処理の段階で、下の画像のようにセグメンテーションと番号付与をするだけです。 たったこれだけのことですが、これまで困難であった質問にも解答できるようになります。 これを用いると、これまでbot対策で使われていたCAPTCHAは簡単に解かれてしまいます。 またマリオのような2Dゲームを実行することもできます。 SoMでVisual PromptingしたGPT-4Vは非常に強力なタスク遂行能力を有していますが、それと同時に至極シンプルで安価な手法であり、様々なソフトウェアですぐにでも応用できそうです。