Akito Hirai （YASAKANI）

🇯🇵 22歳｜世界最速のローカル推論エンジン「YASAKANI」を個人開発、11月13日公開予定｜DM歓迎 　下のURLがクラファンへの入り口です。
22, solo dev of YASAKANI, the fastest local LLM engine.

[Akito Hirai （YASAKANI） @yasakani_dev]

世界最速※のAIエンジン「YASAKANI」を、3日後の11/13（金）22時に無料公開します。

RTX 5090 1枚で 1,260 tok/s、他の8エンジンに全7分野で勝利。圧縮の品質でも、近い容量のGSQ-RCO・Unslothを上回りました。
もっと多くのPCに対応するため、クラファンを始めました。詳細はこちら↓
https://t.co/vZuWH9Ja4G

・速くする仕組みはRTX 5090専用ではありません。ほかのGPUにも広げていきます
・Qwen4にも、重みが公開されたらすぐに対応する予定です
・現在の対応はWindowsとRTX 5090です
・ソースコードと2つのモデル（最速・品質）をApache-2.0で公開

ご支援で対応GPUを広げます。累計300万円でRTX 3090・4090などの24GB・16GB機へ、その先はAMD・Macへ。1,000円から応援できます。

【動画と画像について】
・動画の48秒からは、実際に生成している画面の録画です。カットも早送りもなく、編集していません。別ウィンドウのタイマーも一緒に映しています（コードの書き換えが5.56秒で完了）
・画像1・2枚目：思考なし／思考ありの速度表（��きいほど速い）
・画像3枚目：圧縮品質の表（元のモデルにどれだけ近いか。KLは小さいほど近い）

※RTX 5090 1枚・Qwen3.8-27B・単一生成。掲載した8エンジン・7分野の比較条件での記録です。1,260 tok/sは長いJSONLの生成（思考なし）。品質は、自前の思考文で元モデルとの近さを近い容量どうしで比べた結果です。
#YASAKANI

[Akito Hirai （YASAKANI） @yasakani_dev]

@115Makura Yasakaniの速さの理由がどのグラボでも共通なので、対応の方検討します。支援��によってはさらに幅広く12gb台まで対応します。

[Akito Hirai （YASAKANI） @yasakani_dev]

@TokyoJibika 7人目！！！こんなに大きなご支援、本当にありがとうございます！！！
めっちゃ嬉しいです！！！

これからも全力で開発進めていきますので、引き続き応援よろしくお願いします！！！🔥

[Akito Hirai （YASAKANI） @yasakani_dev]

@115Makura ご紹介ありがとうございます。多くの方に知っていただけて本当に嬉しいです。
11月13日に公開しますので、是非検証などしてみてください。

[Akito Hirai （YASAKANI） @yasakani_dev]

@Naritaasah1 圧縮品質も速度も今より劣っていますが、参考程度に確認して下さいm(_ _)m

[Akito Hirai （YASAKANI） @yasakani_dev]

世界最速※のAIエンジン「YASAKANI」を、3日後の11/13（金）22時に無料公開します。

RTX 5090 1枚で 1,260 tok/s、他の8エンジンに全7分野で勝利。圧縮の品質でも、近い容量のGSQ-RCO・Unslothを上回りました。
もっと多くのPCに対応するため、クラファンを始めました。詳細はこちら↓
https://t.co/vZuWH9Ja4G

・速くする仕組みはRTX 5090専用ではありません。ほかのGPUにも広げていきます
・Qwen4にも、重みが公開されたらすぐに対応する予定です
・現在の対応はWindowsとRTX 5090です
・ソースコードと2つのモデル（最速・品質）をApache-2.0で公開

ご支援で���応GPUを広げます。累計300万円でRTX 3090・4090などの24GB・16GB機へ、その先はAMD・Macへ。1,000円から応援できます。

【動画と画像について】
・動画の48秒からは、実際に生成している画面の録画です。カットも早送りもなく、編集していません。別ウィンドウのタイマーも一緒に映しています（コードの書き換えが5.56秒で完了）
・画像1・2枚目：思考なし／思考ありの速度表（大きいほど速い）
・画像3枚目：圧縮品質の表（元のモデルにどれだけ近いか。KLは小さいほど近い）

※RTX 5090 1枚・Qwen3.8-27B・単一生成。掲載した8エンジン・7分野の比較条件での記録です。1,260 tok/sは長いJSONLの生成（思考なし）。品質は、自前の思考文で元モデルとの近さを近い容量どうしで比べた結果です。
#YASAKANI

[Akito Hirai （YASAKANI） @yasakani_dev]

@Naritaasah1 https://t.co/PmnPXj2rrp

開発途中の段階のYasakaniを使用してMoeモデルでVllmと対決させた記録は残ってます。今現状は並列処理能力も最適化している段階です！

[Akito Hirai （YASAKANI） @yasakani_dev]

RTX 5090 1枚で、4,383 tok/s！
シングルでも432.2 tok/s、vLLM比 約1.6倍。
ローカルAIエンジン「YASAKANI」の実測です。
※4,383 tok/sは64件同時の合計処理速度（入力処理込み）。

Flint 40B-A2.5B／同じPC・同じGPUで比較
YASAKANI / vLLM（tok/s）
シングル：432.2 / 266.5
32件同時：2,961 / 2,819
64件同時：4,383 / 3,782

llama.cpp Q3_K_Lとの32件同時比較は、2,969 / 954 tok/s（3.11倍）。モデル容量は20.5 / 20.6GB。

シングルは32問の生成速度中央値。同時処理は各512トークン、入力送信から全件の出力終了までを測定。映像は各エンジンを別々に測った記録を開始位置をそろえて再生しています。llama.cppの後半は4倍速と表示し、カウンターは実測値のままです。

速度の構成：YASAKANIは独自4bit・Windows・20.5GB、vLLMは公式NVFP4・WSL2・22.9GB。通常の生成。vLLM 0.32.1rc1.dev353+g2d40c0609、llama.cpp b11804-c7fc50941。研究版・表示条件での結果です。

品質表は別構成の混合4/8bit版：20.635GB、元BF16とのTop1一致率85.14%、PPL 12.959。同じ53,196予測位置で評価。Top1は課題の正答率ではなく、計算・KV形式の差も含みます。速度映像は従来4bit版です。

個人で開発しているローカルAIエンジン
「YASAKANI」の、現状の結果です。

オープンソースで、無料で公開する予定です。
日程はこのアカウントでお知らせします。

[Akito Hirai （YASAKANI） @yasakani_dev]

@Naritaasah1 ありがとうございます。半年間必死に開発したので、使用して貰えるだけでも本当に嬉しいです。

[Akito Hirai （YASAKANI） @yasakani_dev]

@Naritaasah1 YES！！もちろん対応するよ！！🔥

[Akito Hirai （YASAKANI） @yasakani_dev]

@origin615 支援ありがとうございます！
すごく嬉しいです。頑張ります。

[Akito Hirai （YASAKANI） @yasakani_dev]

@baterikursu If the support funds are raised, I’ll prioritize 3090 support first. Actually, the same speedups aren’t limited to the 5090—similar acceleration is possible on AMD and Mac as well. I want to make it widely available.

[Akito Hirai （YASAKANI） @yasakani_dev]

@rahulbasu95 Depending on the funding, AMD support is coming too! Stay tuned!!

[Akito Hirai （YASAKANI） @yasakani_dev]

@selfhosted4lyf Of course, we’ll get Qwen4 support out ASAP. We’re actually thinking of making Qwen4 our main focus.

[Akito Hirai （YASAKANI） @yasakani_dev]

@real_winidi Please be sure to try it out after the release. I believe a wonderful experience awaits you.

[Akito Hirai （YASAKANI） @yasakani_dev]

@ni4day @grok はい。

[Akito Hirai （YASAKANI） @yasakani_dev]

@goldbecksfire 所々情報を省き過ぎていて誤解を招きそうですね。ですが、わかりやすくまとめて頂きありがとうございます。

[Akito Hirai （YASAKANI） @yasakani_dev]

@MgkMshrmBrkfst Even with Linux support, the speed stays the same lol

[Akito Hirai （YASAKANI） @yasakani_dev]

@borgerntendies YASAKANIが公表する1,260 tok/sは、RTX 5090上のQwen3.8-27Bの単ーリクエストのデコード速度 (思考なし・��いJSONL生成)です。

[Akito Hirai （YASAKANI） @yasakani_dev]

@basket5jp コメントありがとうございます。

YASAKANIは、1つのGPUでちゃんと収まるモデル（例: Qwen3.8-27Bクラス）を極限まで速く動かすためのエンジンです。

一方Strataは、1つのGPUでは収まらない巨大モデルを、CPUやRAMなども総動員して無理やり動かすものなので、土俵が違います。

[Akito Hirai （YASAKANI） @yasakani_dev]

@namakosan3 ありがとうございます! ささやかながらと書いてくださいましたが、私にとってはとても大きなご 支援です。本当に助かります。心より感謝いたします。

[Akito Hirai （YASAKANI） @yasakani_dev]

@sidodtv 3日後楽しみにしていてください🔥

[Akito Hirai （YASAKANI） @yasakani_dev]

@shadowaguy It's appreciated that you will check it after the release!! Thank you in advance.