Top Tweets for #QA4AI

Ogawa N. Hideto　（土台からしっかり学ぶ──ソフトウェアテストのセオリー） @hideto_ogawa

almost 3 years ago

日本ではアラインメントに対する議論や関心が薄くないか、という話が頭に残っている #QA4AI

0

4

0

176

Kazu SUZUKI @kz_suzuki

almost 3 years ago

ガイドラインによる権威付け、最初は「このガイドラインをベースにしっかりやろう」というポジティブな感じになるけど、そのうち「ガイドラインに書かれた通りにやったので問題ナシ！」を無批判に使われるネガティブ側面あるよなあ。#QA4AI

1

3

0

190

almost 3 years ago

会場で頷いてくれる人が多かったので話しすぎた #QA4AI

0

8

0

397

almost 3 years ago

法律や規制の絡む領域は、闇雲な網羅・束縛が逆に進化を阻むケースが多い。進化と安全を両立するためにも、立法過程で国際的な動向やその中での日本のポジショニングを意思決定することが大事そう(元法学部的感想) #QA4AI

1

2

0

164

almost 3 years ago

定量評価しにくい品質特性(特性要因図などで語られる根本的な品質特性)は、最終的には主観評価になる気がする。でもそれを分解して個別定量評価できるところを洗い出し切り、そこ以外に人力を割くようにするアプローチはありそう。 #QA4AI

0

2

0

165

maco

@makotookano

almost 3 years ago

“temperature設定効かないことで有名” えっ #QA4AI

0

2

0

290

almost 3 years ago

やっぱりLLMと(初期)プロンプトの組に対する品質評価が重要なんだなあ #QA4AI

0

1

0

576

almost 3 years ago

一般的な評価で紹介されている、ベンチマークを用いた LLM の評価が応用上どれだけ有用かは疑問を持っていて、現状では LLM を構築する (できる) プレイヤーは少ないので、LLM そのものを評価する機会ってそんなに無い気がする #QA4AI

1

3

0

1K

almost 3 years ago

GLUEなどのような、生成AIモデル自体を評価する指標についてもガイドラインに書いてくれているのが嬉しい。品質っぽい領域だと思いつつも、まだ個人的には心の距離が遠い。 #QA4AI

0

2

0

122

almost 3 years ago

特定業務領域に特化した基盤モデルを作ることのできる企業って存在するんだろうかというのはずっと疑問、ファインチューニングすらも難しいので基本は RAG じゃないかなあ、ただ難しさがデータの用意と評価方法の確立にあるからこの先の話が気になる #QA4AI

0

4

0

1

673

almost 3 years ago

やはり LLM の特徴として、特定タスクに向けた開発や訓練を必要とせずともそのタスクが実行できる点に着目されるんだなあ #QA4AI

0

2

0

524

almost 3 years ago

「モデルが改善したら全てが解決した」系の品質向上策も直近は実態としてある。なので、どこが品質のボトルネックなのか、それが解消されるまでのスパン、解消されたら捨てることになる自作コンポーネント(一部自動テストとか)、なども想定してプロジェクトを動かしていくんだろうな。 #QA4AI

0

2

0

161