junprog

画像認識、機械学習に興味があります / PAWorksが大好きです

[Odashi @odashi_t]

どれくらい楽勝かというと、いま手元の学習器が291BのMoEをB200x288で学習していますが、その100倍の台数かつ次世代機である。

[junprog @jun_prog]

これがTensor Coreの力か…！

[light @reprompting]

I didn't realize you can't zoom in on a GIF, so I turned it into a video instead, with DOOM music

[junprog @jun_prog]

サイトをリニューアルしました

https://t.co/DiO98GIUD4

[Daisuke Okanohara / 岡野原 大輔 @hillbig]

ニューラル画像圧縮は長年有望視されてきたものの、これまで実用化には至っていなかった。今回提案されたPICOは、速度と知覚品質のトレードオフを大幅に改善し、既存手法と比較して2〜3倍のビットレート削減を実現した。また、iPhone 17 Pro Max上で1200万画素画像をエンコード230ms、デコード150msで処理できる。

学習型コーデックは従来の画像圧縮方式を上回る圧縮性能を示してきたが、広く実用化されていない。大きな原因は、処理速度や消費電力の問題に加え、クロスプラットフォームでの運用が難しいことである。

PICOは一般的な学習型画像圧縮の枠組みに基づいている。入力画像 x はエンコーダによって潜在表現 y に変換される。y は量子化された後にエントロピー符号化される。また、潜在表現の統計情報を表す Hyperprior z も同時に符号化される。

復号時にはまず Hyperprior を復号し、その情報を用いて潜在表現を復号する。最後にデコーダによって画像を再構成する。

PICOでは以下の工夫を導入している。

・Learned Scale Representation
　特徴ごとに異なる受容野を用いた特徴抽出を行う ConvScale を導入している。例えば、空や建物のような大域的な構造には大きな受容野を、草や髪の毛、文字などの高周波成分には小さな受容野を用いるよう学習する。

・Haar Wavelet に基づくサンプリング
　JPEG 2000などで利用されていた古典的な信号処理手法を再導入し、情報を捨てることなく低周波成分と高周波成分へ分解する。

・One-shot Context Model
　従来の学習型圧縮では圧縮率を高めるため、自己回帰的に潜在変数の分布を推定することが多かった。しかし逐次実行となるため処理が遅い。そこでPICOでは、全潜在表現の統計量を一度のネットワーク計算で推定する。

・Learned Quantization Width
　入力内容に応じて量子化幅を適応的に変化させる。視覚的に重要な領域にはより多くのビットを割り当て、重要度の低い領域ではビット数を削減する。

・Text Fidelity Loss
　文字の誤りは大きな意味の変化をもたらすため、OCRモデルから得られる特徴を利用した損失関数を導入する。

・Tiling Artifact Loss
　高解像度画像をタイル単位で処理する際に生じる境界部分の不連続性を抑制する損失を導入する。

さらに、数百万個の候補アーキテクチャを対象としたニューラルアーキテクチャ探索（NAS）を実施している。性能予測器を利用するとともに、実機上でのレイテンシ測定も探索に組み込んでいる。

主観評価実験では、610名の評価者が約7万5000回の比較評価を行い、各コーデックの主観品質を推定している。

コメント
===
ニューラル画像圧縮は有望な技術として10年近く研究されてきたものの、実用化には至っていなかった。

大きな理由は、実用的な画像圧縮システムには圧縮率だけでなく、処理速度、メモリ使用量、消費電力、そしてGPU以外の環境、特にモバイルデバイス上での動作が求められるためである。
本研究はAppleによるものであり、iPhone上で十分な検証が行われている点が特徴である。そのため実用化も近いのではないかと期待される。将来的にはiPhoneの標準画像フォーマットがニューラル圧縮ベースへ移行する可能性もあるかもしれない。

最終著者の Oren Rippel 氏は、約10年前にニューラル画像圧縮企業 WaveOne を創業し注目を集めた研究者である。その後Appleに加わり、長年にわたりニューラル画像圧縮の実用化へ取り組んできたものと考えられる。

[junprog @jun_prog]

カメラをCanon機に買い換えて、撮影体験面ではとても満足しているのだけど、DPPによる現像体験が余りにも悪い…泣

全部の写真ピント合っとらんやん！って5度見くらいしてたら、ただローディングしてただけらしくて実際はピントが合っていたっぽい

[Bilawal Sidhu @bilawalsidhu]

Walking around a big ass 3d gaussian splat of a hot spring in japan

[GO Inc. AI Tech @goinc_ai_tech]

AI技術開発部の亀澤がSSII2025において発表した資料「量子化手法の概要とエッジ開発における課題」を公開しました。量子化の概要と既存実装について、LLMなどを含めた最新の動向を解説しています。また、弊社における開発上の課題と対策についても紹介しています。 https://t.co/0tyLZHOtwt

[junprog @jun_prog]

すごいな、もはや32bitは贅沢品

[Epoch AI @EpochAIResearch]

The speed of computations on GPUs depends directly on the numeric format: less precision means more calculations on the same hardware.

We analyzed the numerical format used to train 272 models from 2008 to 2025. Here’s what we found. 🧵

[mi141 @mi141]

拡散モデルによる生成の性質について面白いポストを見つけました。画像などでは低周波成分が先に生成され、高周波成分が後に生成されることが知られていますが、(1) これがなぜ起きるのかと、(2) これが高品質な生成に必要か、という話です
(1) https://t.co/uiVzeaV7KR
(2) https://t.co/fFnFukcGP5

[Kosta Derpanis @CSProfKGD]

The transformer model is patented by Google.

https://t.co/hRmqPfKG36

[エムスリー エンジニア公式 @m3_engineering]

テックブログに投稿しました。 "poetryのバージョンを2.0.0に上げたらinstallできなくなった" : https://t.co/O52RfIa7Sw

[junprog @jun_prog]

Vポイントで本を買おうかな

[junprog @jun_prog]

仕事の進め方がわからなくなってるな…目標着地地点がずっとわからぬ

[junprog @jun_prog]

久々に大学時代の研究分野のSoTA調べたら拡散モデルにぶっちぎられてて泣いた

[junprog @jun_prog]

拡散モデルを勉強するのとても楽しい

[junprog @jun_prog]

自分が無能過ぎて毎晩泣いてる
どうすればいいかもわからない

[junprog @jun_prog]

ラフな感じで勉強会できてとても楽しかった！

[junprog @jun_prog]

耳がおかしい期、きた…