chai99

Pediatrician, MD, PhD, OPTPiX color reduce engine,

[chai99 @chai99]

@offisnail ローカルLLMはメモリの量と帯域で殴る感じですよね。うちのM4 Air 32GB RAMだと4bit量子化で、12bが8.5t/sくらい、26b-a4bが30t/sくらいでした。

[chai99 @chai99]

先日買っておいたのを開けた(･∀･)

[chai99 @chai99]

@aroooy 昼前に量子化モデルの更新があって日本語大丈夫になったそうです。私は昼過ぎにDLして今動かしているのですが、普通に日本語使えています(*‘ω‘ *)ﾔｯﾀﾈ!

[witcheer @witcheer]

Gemma 4 dropped a 12B.
I put it on RTX 5090 against its 31B sibling.

when you cut a model from 31B to 12B, what do you actually lose?

~ reasoning barely moves
GSM8K (math) 97.5 > 96.4 (−1.1)
ARC-C (sci reasoning) 97.6 > 94.0 (−3.6)

~ knowledge falls off a cliff
MMLU (world knowledge) 87.8 > 78.9 (−8.9)
HellaSwag (commonsense) 92.0 > 81.6 (−10.4)

~~~
parameters store facts, not thinking. the 19B you delete is mostly where the model kept its trivia and world-priors, cut it and recall collapses, while the reasoning machinery stays nearly whole.

a 12B reasons almost like its big brother. It just knows less.

122 tok/s vs 53 (2.3x faster generation), ~10GB instead of ~24, meaning that you get 20GB+ free on a 32GB card for long context or a second model.

so it depends of your workload:

reasoning / math / agentic loops = the 12B is nearly free

broad-knowledge Q&A with no retrieval = that's the one job worth paying for the 31B.

[chai99 @chai99]

@aroooy 先に使い始めた皆さん曰く、日本語は壊滅的らしいです。とはいえモデルサイズに対して性能はとても良いので、翻訳エージェント用の軽量モデルと併用とかは良さそうですね。

[chai99 @chai99]

@aroooy 量子化モデルも来ましたね(ﾟ∀ﾟ)
https://t.co/oRexFAOvhM

[chai99 @chai99]

@aroooy 私自身はQwen3.6-27b派生がメインで、困ったときにQwen3.5-122b-a10bをCPUぶん回して動かす感じですが、コーディング用途だと以下のようなQwenの軽量級をclaudeで蒸留したのが人気のようです。
https://t.co/EGx0HlOtCM

[chai99 @chai99]

@aroooy HFのページはこちらになります
https://t.co/4j9MlyR8iI

[まだ面白い @madaomoshiroi]

雪化粧で頬を赤らめてる車の表情が可愛すぎる

[chai99 @chai99]

@aroooy 残クレタワマンの歌が来る予感(*‘ω‘ *)
一括で5000万お支払いお願いしまーす♪ｨｪｨ

[Circuits 24x7 @circuits24x7]

To reveal the text on a semiconductor's package, put a piece of Scotch Magic Tape on it!

[alpaca @alpaca7]

今朝採れ、今さら新方式MakerChip試作
元のMakerChipから取り除いた要素はあるけれど、これなら両面ベッド側にできて表面綺麗にできる♪
要修正箇所少しあるし問題は量産間に合うか？

[chai99 @chai99]

@prokokoko @caesar02 新しいのが届くからもう一ポチるのではありません。ひとはもう一つポチった瞬間に見つかるから買うのです。らーめん

[福馬 洋平 @fukumay1]

今年の５月連休はオーストリアの3Dプリンタ設計者, RobertGcode さん設計の掌サイズな3Dプリンター"QUARK"に触発され、似た構成の3Dプリンターを設計してみてました。ようやく今週末印刷できるところまで来て、現在各種パラメータ調整中です。

[chai99 @chai99]

@monohoshi_blog グリッドインフィルが原因でレイヤーシフトになったことは無いなぁ

[chai99 @chai99]

板垣ズボンはボンタンで、バギーパンツはドカンで、コムサはバルーンパンツやないかと心の中で突っ込みを入れつつ、バキーパンツは足が伸びる魔法のパンツなのかと驚くところでオチがつくのが趣深かった(;'∀')

[キリカ @kir1ca]

AMG GT、可愛くてチヤホヤされてたのに世に送り出されず荒んで闇堕ちして悪に染まって帰ってきたS-FR感ある

[chai99 @chai99]

UVカットのケブラーコード結構安いなぁ。強度も同径ステン撚り線より強そうなので、次、3DP作るときに使ってみよう。何ならフレームにたすき掛けして端っこレジンで固めても良いな。

[chai99 @chai99]

@aroooy Shamilさん曰く、こういう人物だそうで(;'∀')
https://t.co/BJZ4XbtotR

[常岡浩介☪国際的な法秩序を破壊 @shamilsh]

元共同通信記者、元同志社大教授で、学生に対するセクハラで「クビ」になった浅野健一氏、やはりロシアのプロパガンダを大拡散。
親ロシア派には一定の傾向ががが…