cella

あなたの役に立つものを作るつもりはない
youtube:
udio:

[cella @cella_XL]

頑張ってます。
wd14-taggerについて色々｜cella
#note https://t.co/CKODVkzYPS

[cella @cella_XL]

https://t.co/W4T9RyQISv
CL tagger v2のテスト版です(v1.09が公開されているものと同じ)
推論できるタグが10万ぐらいに増えてます。

[cella @cella_XL]

CL tagger v2をしれっと公開しました
ライセンスが変わってますのでご注意ください

[cella @cella_XL]

thinkが長いというのは、つまり沼る可能性も高くなったということ

[cella @cella_XL]

まぁ日本人はthinkの内容なんて読んでへんやろうし何も伝わらんやろなぁ

[cella @cella_XL]

Opus4.8、thinkが長ったらしくなったなとは思います
質は少なくとも自分の用途ではそんなかわらん

[cella @cella_XL]

興味がないを押せない非フォローおすすめマジで何
ｴｯｷｽ最近evilすぎ

[cella @cella_XL]

@nana_tsukisuwa 確かに。(多PC処理がめんどくさいことを度外視すれば、)仰る通りほぼ同じバッチの分割同時処理が1番無難ですかね
GPU/CUDA boundの順次処理も一応できなくは無さそうですけど、block swapみたいな処理はそもそも処理を分ける時点で遅くなるので微妙な気もしたり

[cella @cella_XL]

@narrativenavi taggerの話ですね

[cella @cella_XL]

今取り組んでいること

[cella @cella_XL]

@nana_tsukisuwa 最近はembeddingsやlatentも肥大化してますからねぇ

[cella @cella_XL]

今作っているtaggerの現行性能

[Tofu Bar 🚑 @kaisou_tofu]

触手エレベーターってなんだろう

[cella @cella_XL]

@riddi0908 梅田で食事をしない、は府民の常識だと思ってました

[cella @cella_XL]

割と超適当に学習したSigLIP2-taggerでF1 0.76でたのでこれ普通に筋よさそう

[cella @cella_XL]

いつものリメイク
フルサイズ:https://t.co/98KUviZi60

[cella @cella_XL]

sunoでいつもの
https://t.co/ifogWa05fx

[cella @cella_XL]

出力物の監査問題、LLMでも同じことが起こるのだけれど、監査する指示をいれるとそこまでの入出力のリークが起こるのでほとんど意味がなくなる
従って全く別のContextで(text/vision encodeいずれにせよ)実施する必要があるのだが、そうするとその分所要時間が倍々ゲームで増えていく

[らけしで / Mizmic Studio @lakeside529]

AIに足りてないのはもはやコーディング技術ではなく、「目」かな。
AIが生成したUIやアニメーションを、AI自身が把握する能力が欠けてる。
推論時は「スクショ撮って解析」ができるけど、動画はまだほぼ対応できていないし、学習時もあまり「目」を鍛えられるような仕組みになっていないと思う。

[cella @cella_XL]

正直今はQwen、GLM、mininaxなど群雄割拠でMoEモデルも軽量denseモデルもしのぎを削っている時代に、潤沢な資金を使って出したのがこれかぁ……という気持ちはあるけれど、憶測で批判をするのは良くないと思う

[cella @cella_XL]

https://t.co/JONq9Dwo1M
フルパラトレーナーとして今更コメント。
Tensorのcosine類似度でLoRAかFPFTか断定するのは論外。FPFTでも十分にトレーニングされたモデルからだと類似度は99%程度になる。
MLPが凍結されているならLoRAらしくはなるが、そもそもFPFTでも実際に動く値はqkv＞MLP≫normとなる。

[cella @cella_XL]

実際LoRAでMLPを凍結(してよいと)するのも、MLPなしでも十分に学習が進むから、という理解をしたほうがよい。本質的には記憶容量が十分ならLoRAでいいし、それが分からないならFTやっとけという話。

しかもこの検討ではMLPは「極めて高い類似度(100%ではない)」。
この言説は正直かなり怪しい…