ざみ

今やってる事：FX / プログラミング
興味あること：機械学習 / AI画像生成 / ゲームDev
Obsidianは神。

[ざみ @jeau]

日本語のツイートはそのまま読んで、英語のツイートは翻訳するために本文を開くと、アルゴリズムに特別興味があるツイートと判断される。

そうして英語ばかりのタイムラインができあがった。

[ざみ @jeau]

X記事の存在を知らなかったんだけど、この機能覇権取れるだろ。

有料記事書ければNote潰れるし、Xだけで完結した本格的なニュースメディアも誕生しそう。

ダメ過ぎるのは、記事作成がサブスク必須な所。
PV広告と有料記事のマージンで儲ければいいのに、記事作成側にサブスク必須なら伸びしろが無い

[tetsuo @tetsuoai]

https://t.co/BGKJc5q6wv

[ざみ @jeau]

@fladdict まさに同じ結論にたどり着いていました。

単語の関係を厳密にすると文章に近づいていき、タグである利点は無くなるんですよね。

逆にタグである利点は表記揺れを防いだり再利用する事ができる点なので、ネストにすれば再利用性を担保しながら関係性を表せます。
https://t.co/bxrKYuRsps

[ざみ @jeau]

プロンプト(文章)で絵を表現する限界はどこかって考えてたんだけどネストしたタグ型が一番簡単に状態や関係性を表わせると思う。

ただし、手の形をプロンプトで定義しなくても年々崩壊は減っているから、プロンプトよりネットワークの大きさの方が性能に関与してる可能性が高い。

[ざみ @jeau]

@mmm3710m8 なるほど、物の価値が云々という話ではなく、Apple社の態度や魂胆に対して怒ってると言うことですか？

魂胆に対して怒るというのは、内心を気にする日本人っぽい発想ですね。
でもやっぱりそれだけで、あんなに怒る人達が居る理由が解りません。
Appleに対して崇高な期待をしてる人が多いんですかね？

[ざみ @jeau]

このApple社のCMがなぜ日本で炎上しているのか、正直分からない。

イーロンマスクがTwitter買収した時も思ってたけど、お金出して買ったのだから、法律に違反しなければどう使おうが勝手だと思うのだけど、、、

皆さんが何に対して怒ってるのか知りたい。

[すまほん!! @sm_hn]

現場の暴走で世界1位のブランド企業と思えない傲慢でクソ以下の下品な映像が流れちゃったのだろうと思ってたけど、普通にティム・クックも投稿してて逃げ道無くなってた。後で振り返って本当にここがAppleの歴史の頂点だったんだろうと思えてしまうグロい動画なので消える前に観た方が良い(閲覧注意)

[ざみ @jeau]

@zonbi 質問なんですけど、あの映像の何にそんなに怒ってるんですか...？本気で分からないので知ってみたいです。

[ざみ @jeau]

今までは、ウェイトが値を持っていてニューロンがアクティベーションをする構造だったけど、
KANは、ウェイトがアクティベーションの形自体を学習して、ニューロンは足し算するだけらしい。

柔軟性高そうだけど、計算コストがどうなってるのか気になる。

[ざみ @jeau]

KANとかいう新しい人工知能学習方法が見つかったっぽい。
今までは同じ土台のネットワークをこねくり回して新しい構造を作っていたけど、その土台となるMLPよりも性能が良い。（画像の青線）

土台自体が置き換わるから、今のMLPの蓄積技術が使えるのか。
どちらにしろ期待大。

[Aidan McLaughlin @aidan_mclau]

wake up new neural network just dropped (holy shit)

[ざみ @jeau]

正直LLMは普段遣いのフェーズに入っていて、使い倒すという事が無くなっていたのだけど、GPT2の登場で久々にどこまでできるのか試したくなってきた。

特に哲学的で曖昧な、答えを考えなければいけない分野を話せるようになっていたら凄く嬉しい。

[ざみ @jeau]

プログラマー的な思考が毒になる事例を最近感じるようになった。

高い所に行きたければ、飛行機の設計から始めずに、今すぐ山を登ればいいだけ。

プログラマー的には愚直に山を登るは美しくないけど、実際そっちの方が何倍も早い。

[ざみ @jeau]

インターネットとかいうヒト科テレパシーを手に入れた代償として、人類は性欲も満たせるようになってしまったし、無限に選り好みができるし、子供産むメリットがインターネットの娯楽を上回れなくなってんだよ
問題はお金じゃないから小手先で政策しても意味ない
完全体外受精の技術が先か、絶滅が先か

[ざみ @jeau]

メスが選り好むのは生物学上仕方が無い（オスの性欲が強いのと同じ原理）なのだけど、これってインターネットの影響もありそう。

閉ざされたコミュニティで、他を知りようがなかったら、そのコミュニティ内での序列が確定するけど、他の世界を見れるなら潜在的な選り好みの上限は無限に確定しないよね

[ざみ @jeau]

めっちゃ良いじゃん。これでなんでPixivが叩かれるのか全くわからん。

pixivは真っ当に住み分けしてくれただけであって、批難したいなら、その国の法律や宗教に文句言いなよ。

pixivに文句言ったって法律は変わらないよ。

[pixiv @pixiv]

2024年4月25日付で、特定の国・地域を対象とした制限に伴う、規約新設および改定を行います。
https://t.co/ZVihAY4fdY

ご自身の閲覧地域をご確認いただき、該当する地域の皆さまにおかれましては、規約内容をご確認・ご同意の上ご利用ください。

[ざみ @jeau]

AIは理論値で言えば人間が完全に要らなくなる。

でも、実はこれはからくり人形の時代から言われてたこと。
理論値と現実に乖離があるとも言えるし、人間が未知数の可能性に対して期待しすぎるとも言える。

何度同じ過信を繰り返しても、人は過度な期待を辞められない。なんでだろう。

[ざみ @jeau]

結局、今のAIでは世界は大きく変わらない気がする。
最近は人間の過度な期待について考えている。

理論値で言えば、産業革命で仕事は完全自動化するし、インターネットで記憶は無価値になるし、ビットコインは基軸通貨になるかも知れないけど、現実はどれもそんな事になってない。
じゃあAIは？

[ざみ @jeau]

プロンプト(文章)で絵を表現する限界はどこかって考えてたんだけどネストしたタグ型が一番簡単に状態や関係性を表わせると思う。

ただし、手の形をプロンプトで定義しなくても年々崩壊は減っているから、プロンプトよりネットワークの大きさの方が性能に関与してる可能性が高い。

[ざみ @jeau]

BitNetだと
活性値[多値] × 重み[二値] + (バイアスがあるか知らん)

これだと「重み」はシナプス強度を表すのではなく、興奮性シナプスか、抑制性シナプスかを表すようになった。
シナプス強度は実質、活性値の大きさで表せるってことだな。

人間の仕組みに近いわけじゃないけど、かなり効率化された

[ざみ @jeau]

これ1bitになっているのは重みだけみたいだから
ニューロンを活性層と抑制層の分類だけにしたんだな。

そしてシナプス強度は8bit活性値で表現できる。
人間とは少し違う実装だけど、原理的には近くなったな。

後は学習則の違いにも取り組んでほしい。

[goto @goto_yuta_]

マイクロソフトが発表したBitNet、やばすぎて半信半疑ながらも真実ながら凄すぎて期待してしまう。
行列の中身を1ビット(0 or 1のみ)にして、行列演算に乗算が必要なくなって高速化させてるらしい。

高速化する理屈はわかるけど、論文によるとなぜか精度も向上してるらしい。
やばすぎて一旦様子見。

[ざみ @jeau]

本来の人間の実装。
入力化学物質[多値] × 興奮性シナプス or 抑制性シナプス × シナプス強度[多値] -> 活性値[二値] -> シナプス

今までのAIだと
活性値[多値] × 重み[多値] + バイアス[多値]

重みにマイナスも含まれるので抑制性シナプスも表現できる。
バイアスは静止膜電位の興奮性を表せる。

[ざみ @jeau]

@oyatsuai13144 なるほど、ハロウィン風のデザイン文字とか自作しようとするとかなり大変ですもんね。
編集経験がある（できる範囲でデザインを考えていた）からこそ、発想に縛られていました。
たしかにそれは有用になり得ますね。

[ざみ @jeau]

画像生成AIで文字が書けることの有用性が全く解らないのだけど、もしかしたら商品名を入れた広告画像に使えるという商業利用アピールなのだろうか。
だとしても今の時代スマホでもキャプション入れられるし、自社商品ならその画像使えばいいし、やっぱりよく分からない。