ogaga

生成AIとITと物理 / 哲学っぽいもの / ASD / Membrain開発 / 文明OS / CachyOS + Hyprland / Webサイト・アプリ / WordPress / 就活中

[ogaga @oga5tsu]

LinuxパソコンにWindows環境作れた！

キーボードやマウスの設定アプリとか、低レイヤーに食い込むアプリだとWineでも動かないから、ネイティブのWindowsが必要だった。

間違えると普通にデータ消えるからひやひやしたけど、どうにかなってよかった。

[ogaga @oga5tsu]

民間企業に、しかも海外の企業にマイナンバーを渡すことはできないよ

[ogaga @oga5tsu]

詰んだかも
AIアノーテーションのOutlierで、本人確認をしようとしてたのね。persona使って
マイナンバーを選んだんだけど、「個人番号」が入力必須になってて、一度撮影が完了すると券種を選び直せない
つまり個人番号を入力する以外でもうOutlierの正規アカウントを作ることはできない。詰んだ

[ogaga @oga5tsu]

今気づいたんだけど、Chrome "Alt + E" でこのメニューひらけて、
このPとかDの下に下線引いてあるやつ。その文字を押下すればショートカットでそれを開けることに気づいた。
神機能

[ogaga @oga5tsu]

今回の件で、もっと現実的な話で、AIに頼らず私の頭で判断したくなった

なんとなく現実に向き合っていない気がしてました

[ogaga @oga5tsu]

AIが便利だから、判断に頼りすぎてた。
今週くらいは判断の9割は任せてて、私はただそれに従うだけ
でもその中に重要な判断も入ってて、案外小さくない失敗してしまいました。

判断材料を得ようと使ってたら、いつの間にかそれに依存してた
私は判断をしてなかったみたい

[ogaga @oga5tsu]

@shimarin @soichi1208tenko 26万トークンも抱えてると、どのくらい速度ってでるものなんですか？？（何％くらい低下しましたか？）
もしよかったらGPU環境も教えてください！

[ogaga @oga5tsu]

機能nanobotがcurlでインストールできなくて、なんだろうと思ってたけどやっぱり異常があったんだ。

リポジトリは見れるけど、コミットメッセージとか見れないようになってた
それに「原因のあるリポジトリ」ってなんだ？

GitHubが世界中でダウン - GIGAZINE
https://t.co/hid9Kyau3B

[ogaga @oga5tsu]

本当にQwen3.8 27Bすごい。
普通に、対話相手のAIとして使える。

来ると噂の35B A3Bはもっとすごいのかな？

[ogaga @oga5tsu]

アニメーションその2

[ogaga @oga5tsu]

早速Qwen3.8 27Bで、CSSアニメーション作らせてみた！
普通にすごい。

[ogaga @oga5tsu]

早速Qwen3.8 27Bで、CSSアニメーション作らせてみた！
普通にすごい。

[ogaga @oga5tsu]

補足：3bit量子化使ってます。

[ogaga @oga5tsu]

Qwen3.8 27B コンテキスト4kトークンでvram 13.5/16GB
nvidia waylandの相性問題もあり、若干不安。4kトークンじゃ何もできないので、コーディング試すためにもう少しあげてみたいが、既に一瞬画面暗くなる現象が発生してる。いけるか？

今まではローカルLLMなんてって、API使えば良いと思ってたけど

[ogaga @oga5tsu]

Qwen3.8強すぎ
でも持続性はどうだろう？Sonent 5とOpus 5はDocument関連ではスコア同等だけど、長いコンテキストではやはりOpus 5が全然強いし。

本来MoEじゃない27BはVRAM 16GBじゃきつい。
3bit量子化で試してみる。

[ogaga @oga5tsu]

今やったら36t/sくらいだった

Qwen3.8が使えるとなれば本格的にvram整えに入るかも
5060 12GB 中古4万円一枚買って、ガチめに運用したいかも

[AI最严厉的父亲 @dashen_wang]

可能很多人对27B模型没什么概念。

27B听起来好像也没多大啊，现在普通玩家128G内存都开始普及了。

但我讲几个冷知识。

Google训练Gemma 3 27B的时候，预训练数据是14万亿Token。

不是140亿，也不是1400亿。

是14万亿。

训练它的集群用了6144颗TPU v5p。

而27B这个数字，只代表它有大约270亿个参数。

光把BF16原始权重放进内存，大概就是54GB。

32K上下文跑起来，加上KV Cache，大概72.7GB。

注意，这还只是推理。

真正训练的时候还要塞梯度，优化器状态，激活值，各种通信Buffer。

所以你看到一个27B模型只有几十GB，很容易产生一种错觉。

这玩意我电脑都装得下，我是不是也能训练。

完全是两回事。

还有一个更离谱的地方。

14万亿Token是什么概念。

假如一个人一天非常夸张地读10万个Token，而且一天不休息。

读完这些训练数据，大概需要38万年。

而机器要做的也不只是把这些字读一遍。

它要一层一层做矩阵运算，算损失，反向传播，再一点一点修改270亿个参数。

所以我现在越来越觉得，本地能跑27B，甚至70B，是一件非常牛逼的事情。

不是因为我们的电脑已经可以训练它们了。

而是因为人类把一个需要几千颗AI芯片训练出来的东西，压缩，量化，优化之后，居然可以塞进一台桌子下面的小电脑里。

这个过程本身就挺赛博朋克的。

[ogaga @oga5tsu]

アプリの仕様を考える時、Claudeがこちらのプロンプトに流されて的はずれなこと言い出すので、アプリの「所有権」を与え、プロンプトへに追従しなくていいと言ってみたけど思ったよりいい

私の提案をちゃんと棄却するようになったし、自律性を高められてるみたい

[shi3z @shi3z]

Qwen3.8-27B-4bit-MLXをMacBookProM4 128GBで自律動作するエージェントハーネスを自作し、「three.jsで本格的なFPSを作れ。モデリングも全部自分でやれ」と言ったら3時間30分くらいでこれができた。

[ogaga @oga5tsu]

Qwen3.8強すぎ
でも持続性はどうだろう？Sonent 5とOpus 5はDocument関連ではスコア同等だけど、長いコンテキストではやはりOpus 5が全然強いし。

本来MoEじゃない27BはVRAM 16GBじゃきつい。
3bit量子化で試してみる。

[Qwen @Alibaba_Qwen]

Performance of Qwen3.8-27B:

[ogaga @oga5tsu]

今更「ハーネス」ってものを理解してた。
Hooksとか使えば、数十以上のオーケストレーションができると。
エージェントを指示して広げていくだけじゃないんだ。

[ogaga @oga5tsu]

Claudeeの、毎月アップデートの情報を配信をしてくれるようメール登録した。