Yoshioka

WEBシステム開発者。
プライベートでは、Elixirを使っています。

[Yoshioka @yu4yosh]

AI エージェント構築は、ビジネスに近いアプリケーションの領域に入ったと思うので、今年後半から node.js のサーバー上で LangGraph JS/Mastra でワークフローを作成する仕事に向かいたい

[Yoshioka @yu4yosh]

AI はまだまだ。それでも実運用に向け取り組んでいる会社と PoC 止まりの会社との間に、すぐには追いつけないノウハウの差が見えてきたような

[Yoshioka @yu4yosh]

LLMをアプリに組み込むのはエンジニアの仕事だけど、それがちゃんと使えるかどうかを評価するのはビジネス側の役目だと思う。
でも、うまいやり方がまだ広まってないから、PDCAもうまく回らなくて改善が進まない。

[Yoshioka @yu4yosh]

ai エージェントのフロントエンドとバックエンドの通信は、ほぼ全部　websocket を使うようになった

[Yoshioka @yu4yosh]

Sequence Parallelism (360-LLaMA-Factory)というのもあるのか

[Yoshioka @yu4yosh]

langgraph を 1 node =1 agent と考えていたが、沢山のマルチエージェントを作ると直ぐに限界になりそう。1 node を（複数）エージェントが活動する一つの「場」とイメージしたほうが良いと思い始めた

[Yoshioka @yu4yosh]

AIとのインターフェースがチャットだけというのは良くないなー。特に話題ごとに新しい会話始めなくてはいけないところ

短期・長期記憶みたいに、次の日に会話履歴消えても良いので、整理され構造化された形で知識グラフに残って欲しい

[Yoshioka @yu4yosh]

マルチエージェントを作成すると、知識グラフが必要と感じる
しかし個人的には、neo4j のような専用DB使うより、postgres などの上にネットワークグラフの構成で保存するほうが実運用には適していると思う

[Yoshioka @yu4yosh]

マルチエージェント作成で、使うライブラリは langgraph ぐらい
それより上位（抽象度？）のものは、アプリケーションに沿った修正必要になるので、自前実装したほうが早そう
また、autogen の構成はとても参考になるので真似するのが良い

[Yoshioka @yu4yosh]

今エージェントシステムを構築する上で、コーディングの観点で必要と思うもの
* 既存のコードを流用するため langchain 上に構築できる
* クライアントサーバーモデルに対応し、進行状況を保存できる
* AutoGen のような Agent の役割分担
この3点を満たしたフレームワークはあるか？

[Yoshioka @yu4yosh]

kindle で crewai の洋書があったので、いくつか購入してみたが、全部実際の使い方と違ってた
AIに推測で書かせたものだろう、ひどいものだ

[Yoshioka @yu4yosh]

langgraph と autogen の連携サンプルコード読んだ
langgraph が autogen の処理を呼んでいるが、ボトムアップでエージェントを作成していくとしたら、内包関係が逆ではないか

[Yoshioka @yu4yosh]

AMD 7900 XT で、vllm の推論できた。量子化は対応されていない。（Tensor parallel は出来るのだろうか？）

[Yoshioka @yu4yosh]

ソースコード
カスタムの機能多く分かりづらいと思う、知り合い向けかな...🙇‍♂️
https://t.co/zrjAeYhwt9

[Yoshioka @yu4yosh]

最近自分がGPT-3.5を超えたかなと思うものを３つほど
* 左がgpt-4-0125-previewでの評価、右がgpt-4oでの評価
* gpt-4-0125-previewは評価厳しくて良いが、正解も間違いとする時がある、特にreasoning
* gpt-4oは判定甘く、駄目だと思う回答に結構な点数つけてしまう

[Yoshioka @yu4yosh]

TGI で gemma-2-9b-it は正常動作できたのだが、
gemma-2-27b-it は、全部 stop_reason が lengthで返ってきてしまう🤔

TGI や vllm のような推論サーバーを開発している日本企業あったら知りたい

[Yoshioka @yu4yosh]

Alice in Wonderland のデータで翻訳・評価してみた
* gpt4oが優秀
* 他モデルが間違う原因は下のようにアリス自身を姉妹のカウントに含めてないから

回答：アリスには4人の姉妹がいます。アリスの兄弟はアリスを含めた姉妹が4人います。したがって、アリスの兄弟には4人の姉妹がいます<-正解は5

[Yoshioka @yu4yosh]

日本語指示でcodingが良いモデルをいくつか
* Codestral-22B-v0.1-hfのchat templateは、一旦vicuna使用（多くないが、いくつか英語回答有った）
* codingは自分で解けないもの多いので、点数が妥当かチェックできてない...

[Yoshioka @yu4yosh]

Phi-3-medium-4k-instruct 良い
しかし、良すぎてどこか評価手順間違っているのではと疑っているくらい..
※評価は gpt-4-0125-preview

[Yoshioka @yu4yosh]

いくつかのローカルLLMのJMT-Benchでmath/reasoning/extraction で良い点が欲しかったので、Self-Reflectionを組み込んでみたが全く効果なかった
次はSelf-Contrastを試してみよう