AI実践喫茶店

アニメとラノベが好きだ。
深層学習（拡散モデルなど）を学んでるので研究者の真似事をしています。

Zennで画像生成AI関連のブログを書いてます

[AI実践喫茶店 @aipracticecafe]

今回は色々工夫しましたが、HDMの論文を参考にしながら

SPRINTによるFLOPs半減や連続RoPEによるゼロショットカメラ操作など
少ないデータセット（33万）でも問題ない
最後に話題のピクセル空間の変換もやってみました

詳細はZenn
https://t.co/QnqjfAx9Q0 #zenn
(2/2)

[AI実践喫茶店 @aipracticecafe]

ここ数ヶ月取り組んでいた「Asuka-FM」のアニメモデル重みと技術解説記事を公開しました！

RTX 4090 1枚のみを使い、200時間以内（約65ドル）でスクラッチから事前学習した206MパラメータのDual-Stream DiT

詳細はZennにて。論文も近日arXivで公開予定です！

https://t.co/A7YYXGRoY1
(1/2)

[AI実践喫茶店 @aipracticecafe]

以前はXML(block id)で複数行をまとめて投げていたが、小規模LLMだとフォーマット崩れや行飛ばしが頻発して不安定だった

history機能を活かし、「1行ずつ投げつつ直前のセリフを文脈として参照させる」
逐次方式に変更した
順序破綻がなくなり、文脈も安定した

https://t.co/nTq8xRI7RO

(3/3)

[AI実践喫茶店 @aipracticecafe]

PFNが公開したplamo-3-translate-8b(Q4_K_M)をローカル(llama-cpp)で動かしてみた

『惚れ魔女』のティザーPV字幕をJA→ESで翻訳してみたが、約5GBとは思えない精度で驚いた

古いGPUでもサクサク動くし、声優名や原作者名などの固有名詞もハルシネーションなしで綺麗に変換できている

(1/3)

[AI実践喫茶店 @aipracticecafe]

スペイン語はカスティー��ャよりラテンアメリカ寄りになるが、用語集(glossary)を使えばしっかり制御できた

推奨がtemp=0.0なのも面白い、特化されたLLM特有かな？

今までGeminiやgemma-4-26B-A4Bを使っていたが、
このサイズ感のローカル環境でこれだけ出れば十分実用レベルに感じる

(2/3)

[AI実践喫茶店 @aipracticecafe]

「GRPO-Guard」でも指摘されていたが、FMでのratioの偏りによる過剰最適化にハマっている感がある

特にbf16だとlog-prob誤差が大きい点も影響していそう

設定（MixGRPO / Fast）：
lr: 5e-6 / 2e-6
kl: 0.004 / global bs: 64
clip_range: 1e-3 / 1e-5
window size: 4
steps: 14 / 10

(3/3)

[AI実践喫茶店 @aipracticecafe]

強化学習をアニメ拡散モデルでも試してみたが、想像以上に苦戦している

Flow-GRPOの改善版（MixGRPO＋CPSサンプリング）で事後学習を進めているが、毎回発散してしまう。すでにLRは5e-6〜2e-6まで落としているのに
画像のエッジや色がバキバキに強調され、最終的に崩壊していく

崩れ始めた例
(1/3)

[AI実践喫茶店 @aipracticecafe]

今回の報酬は3つ
Danbooru tagger（プロンプトの一致確率）
自作Aesthetic分類器
Face YOLO（人数の整合性）

200Mのモデルなのでロールア��ト10ステップでは足りず、14ステップが良さそう
ランダムウィンドウ（Fast）を使うと多少安定するが、たまにratioが0に落ちてLossが爆発する

10 vs 14
(2/3)

[AI実践喫茶店 @aipracticecafe]

50エポック回した結果、見た目はかなり整ってきた

だが、なぜかFIDが元モデルの約3から16まで急上昇している
SPRINTの学習と似たようなスコアだが

正直クリップなしの画像はキャラの線がはっきり分かるけぢFIDはとんでもない

RGBの高周波ノイズや色域の分布シフトが原因かな？
(3/3)

[AI実践喫茶店 @aipracticecafe]

前から気になっていたピクセル空間への実験をやってみた

Z-Imageのチームの論文を参考に、事前学習済みモデルにDiPのU-Netデコーダーを結合
初期は色のシフトとコントラストの崩壊が激しかった

出力をクリップしたら治ったけど、動的クリッピングした方が良いらしい

クリップあり vs なし
(1/3)

[AI実践喫茶店 @aipracticecafe]

潜在変数と違って出力を抑える必要があるが

動的クリッピングは効かせすぎると彩度が抜けるので調整が必要かも

今回は論文のレシピ通り、
- x0予測（損失にv変換）
- 自己生成データを50%��合
- ノイズスケール2.0
- デコーダー先行→フルFTの2段階
で回している

https://t.co/Lh0zG3Rohp

(2/3)

[AI実践喫茶店 @aipracticecafe]

@SilveIter Thanks for the comment! I had that paper in my watchlist but forgot about the vae

under 1MP training the online vae is a problem, it has like 3 times more wall time than dit

it seems really good but 128ch looks like a lot, the 10x speedup would be huge, I will give it a try!

[AI実践喫茶店 @aipracticecafe]

1MP学習の続報。ドロップなしのファインチューニングに入ったところ、モデルが安定し始めて一安心。

512pxと同様、複数キャラの破綻が減って、全体の構図も整ってきた
腕や小物はまだ無理みたい、高品質データでのSFTが必要かも

以下は0.75ドロップを3エポック＋ドロップなし約2エポックの画像
(1/2)

[AI実践喫茶店 @aipracticecafe]

「Swift-Image」論文でも示唆されていたが、解像度を上げるとより高品質・高複雑度なデータが必要そう

全ステージで同じ33万件を使い回している点は問題になっているかも

1MPが終われば次はピクセル空間への変化をやってみたい

以下の論文は参考に使いたい
https://t.co/u5wdWruB2s

(3/3)

[AI実践喫茶店 @aipracticecafe]

Dual-streamのスクラッチ学習、1MPに進んだものの、正直かなり苦戦中

学習は遅い、潜在変数のキャッシュがディスク容量で使えないのが痛い。512pxと比べて複数キャラの破綻や解剖学（ポーズ等）の崩れがヤバい

以下は0.75ドロップを2エポックくらい回った。細部は出ているが安定しない
(1/3)

[AI実践喫茶店 @aipracticecafe]

モデルが不安定になっているけど発散していない、ドロップの影響だろうけど前回はそんなに激しくなかった

SPRINTはImageNetの研究なので、1MP規模ではどれくら有効なのか分からない

次のステージ、全トークン学習で直ると思うけど計算コストが高すぎる4090では一日以上かかるだろう
(2/3)

[AI実践喫茶店 @aipracticecafe]

学習戦略メモ：

512pxは面積が4倍なので、計算量を一定に保つためエポック数を1/4に調整し、LRも段階的に半分に落としました。

次はいよいよ1MPの領域へ。上手くいけば、ピクセル空間への変換もやりたい

重みはこちら
https://t.co/Mt2yumJOGu

(3/3)

[AI実践喫茶店 @aipracticecafe]

Dual-stream DiTのスクラッチ学習、512pxステージまで進んで質がさらに向上した

解像度を上げるだけで細部の描��込みが良くなるので、計算量を投じる価値はある

面白いのは、同じシードで髪色だけ変えても服や構図がほぼ維持される点。モデルが色の概念を分離して、全体の構造を理解できている
(1/3)

[AI実践喫茶店 @aipracticecafe]

だが、aestheticのファインチューニングをや���ていないのでモデルはあまり安定しない。複数のアーティストタグを使わないとなかなか質が安定しない

現在200エポック超えたが、RL（強化学習）系モデルと違って過学習の気配がなく、多様性がまだ高い

(2/3)