アキオ⚡️創作技術系雑多垢

よわよわAIエンジニア。無料の自作Webゲーム公開サービス『WebGameGarden』の開発と運営を行っております。タイピングゲームが好き。現在はPyTorchを用いて、タイピング例文生成特化の言語モデルの開発しています。

[アキオ⚡️創作技術系雑多垢 @AkioMabuchi]

タイピングゲームをメインに開発している者です。

また、英数字や特殊記号、絵文字、版権ワード、特殊表記が一切出現せず、タイピングしやすい例文を生成する言語モデル『karashi』の開発に挑戦し、機械学習などの勉強を行います。

AIは活用する側よりも、作る側になりたいです！

[すたーまん@メガベンチャーAIエンジニア @fujitech_ai]

「LLM実装やってます」と言うと、「スクラッチでモデル作ったんですか？」と聞かれることがあります。
違います。そんな人はほぼいないし、業務で必要になる場面もほぼないです。
現場で言う「LLM実装」は大半がこれです。

①APIを叩いてアプリに組み込む：OpenAIやGoogle、AnthropicのAPIを使って、プロダクトの機能としてLLMを動かす。
②RAGを構築する：社内ドキュメントや外部データをベクトルDBに格納して、LLMが参照できる仕組みを作る。
③プロンプトを設計・管理する：用途に応じてシステムプロンプトを設計し、出力の品質を担保する仕組みを整える。
④エージェントを組む：複数のツールやAPIをLLMに組み合わせて、タスクを自律的にこなす仕組みを作る。

スクラッチでTransformerを実装したり、独自モデルをゼロから学習させたりするのはAI研究開発の領域です。AI活用開発とは求められるスキルが全然違う。
そもそもAnthropicはすでにClaude Fable 5を一般公開しつつ、その裏側にはセーフガードを外したClaude Mythos 5を保持しています。Mythos 5はサイバーセキュリティ上の懸念から一般には非公開で、限られた組織にのみ提供されている状態です。
つまり公開できないほど高性能なモデルがすでに存在していて、モデルの性能競争は個人や一般企業が戦える土俵ではなくなりつつあります。
今AIエンジニアがやるべきことは、目の前で困っている人や解決されていない社会課題に、AIをどう組み込むかを考えることです。
モデルを作る競争ではなく、モデルを使って何を解決するかの競争が始まっています。

[アキオ⚡️創作技術系雑多垢 @AkioMabuchi]

@Tebasaki_lab おめでとうございます！🎉

[アキオ⚡️創作技術系雑多垢 @AkioMabuchi]

簡単なタイピング例文自動生成言語モデルの開発ができました。

PyTorchと、自前のトークン数1956、語彙数60の手作業コーパスを用いて、Transformerを実装し、GPTモデルに仕上げました。

[アキオ⚡️創作技術系雑多垢 @AkioMabuchi]

いろいろ買ってる。

[Koki Saitoh 斎藤康毅 @SaitohKoki]

本日発売です！

https://t.co/6M62P3Onov

[だるまと赤べこ @DarmaAkabeko]

Instantaleを今発売しました。 本当にご迷惑をおかけしました。またお世話になりました。 これからも改善していきます、どうぞよろしくお願いします。

[アキオ⚡️創作技術系雑多垢 @AkioMabuchi]

人一倍、著作権法に詳しくならないといけない人になってしまった。

[アキオ⚡️創作技術系雑多垢 @AkioMabuchi]

ゲーム開発は一旦お休みして、以下の資格勉強を行います。

[アキオ⚡️創作技術系雑多垢 @AkioMabuchi]

この本の実践は終了。

[アキオ⚡️創作技術系雑多垢 @AkioMabuchi]

具体的に「作りたい」かつ「需要がありそう」なAIのひらめきにより、8年前に買った以下の本の実践に挑んでいる。
https://t.co/Jo0x4ioDAI

[🌕mochizuki875 @mochizuki875]

ついにこの手の本を読む時の最適解に辿り着いた

[山名琢翔(にゃにゃん) @takuto_yamana]

オセロAIの学習データ、5200万局公開しました！！

[アキオ⚡️創作技術系雑多垢 @AkioMabuchi]

100万トークンものタイピング例文を手作業で（一部LLMの力を借りて）作成している。

[アキオ⚡️創作技術系雑多垢 @AkioMabuchi]

タイピングの例文の生成と、自己教師あり学習用のコーパス生成と、タイピング練習を同時にこなしている。

[アキオ⚡️創作技術系雑多垢 @AkioMabuchi]

事前学習モデルをSFTなどで魔改造した方がいいかな？

[アキオ⚡️創作技術系雑多垢 @AkioMabuchi]

シソーラスからカウントベース、Word2Vec、RNN、Transformerまで、歴史を追って自然言語処理の学習を行っている。

[アキオ⚡️創作技術系雑多垢 @AkioMabuchi]

MeCabというものを触ってみた。
これさえあれば、普通にタイピング例文をパースしてくれそう。

[アキオ⚡️創作技術系雑多垢 @AkioMabuchi]

@GesonAnkoVR お誕生日おめでとうございます！！🎉🎂🎈

[アキオ⚡️創作技術系雑多垢 @AkioMabuchi]

自然言語処理の勉強を行なっている。

[アキオ⚡️創作技術系雑多垢 @AkioMabuchi]

自作の数値画像認識AIがUnityにて動いている・・・！

[アキオ⚡️創作技術系雑多垢 @AkioMabuchi]

PyTorchを用いて簡単な画像認識AIが作れた！