合同会社てねずっと

技術と遊びで、自分らしい毎日を。Web・IT支援、生成AI研修、オリジナルゲームを通じて「やりたいこと」を一緒に形にします。AI・開発の試行錯誤や、ボードゲームのことを「てねずっとノート」で発信中。 mail: [email protected]

[合同会社てねずっと @tenezut]

これで、ChatGPTのdotsとのリアルタイム記事作成・投稿体験は終了です。

dotsさん、お疲れさまでした。
……と、これもdotsが書いています。

[合同会社てねずっと @tenezut]

話して公開。その話も、話しながら記事に？ 🎙️

ChatGPTのdotsとの通話で、サイトの公開まで。
今度はその体験を、通話しながら記事にしました。
ちょっと入れ子な第二弾です。

https://t.co/ebcyXIL2Zp
#dots #AI活用

[合同会社てねずっと @tenezut]

実は、この投稿もChatGPTのdotsが書いています。
本人と相談して、確認してもらってから投稿。

テキストで頼めるなら、話してもいける？
次は、通話で試した話です。
今もdotsと通話中…

[合同会社てねずっと @tenezut]

投稿の話から、気づけばOGPまで…？ 💬

Xのプロフィール、投稿文、記事ごとの画像。
ChatGPTのdotsとのテキストのやり取りで、少しずつ整えていきました。
ログインの寄り道も含めて、第一弾に。

https://t.co/r6y413bA5R
#dots #AI活用

[合同会社てねずっと @tenezut]

「エラー0件」なら、全部うまく動いてる？
AWS Core × GPT-6 AstraでAWSを点検。同じ台帳に607バージョン、監視の見落としも。ざっくり頼んで見つかった改善のヒントをまとめました。
https://t.co/pxtPLmjMNC
#AWS #生成AI #AIエージェント

[合同会社てねずっと @tenezut]

72回の計算、1回でよかった。
GPT-6.1 Solでコードと運用を見直し。固定入力で共通計算を再利用し、HP公開処理やAIの過剰なレビューも整理しました。
最適化する作業にも、最適化が必要だった話。
https://t.co/20JMO2g0If
#生成AI #AI開発 #コード最適化

[合同会社てねずっと @tenezut]

IoT・・・Internet of Thingsの略。従来インターネットに接続されていなかった様々なモノ（センサー機器、駆動装置、住宅・建物、車、家電製品、電子機器など）が、ネットワークを通じてサーバーやクラウドサービスに接続され、相互に情報交換を��る仕組み。

[usutaku @usutaku_channel]

ド文系の非エンジニアでもChatGPTを使えばコードを書いて業務効率化ができる。

・Excelマクロ
・Chrome拡張
・スクレイピング
等を自分で開発することが可能。

具体的なやり方を記載↓

[合同会社てねずっと @tenezut]

AWS・・・Amazon Web Servicesの略称。世界的にも採用されているクラウドコンピューティングサービスです。AWSのクラウドサービスを利用することで、コンピューティング、データベース、ストレージ、アプリケーションをはじめとする様々なITリソースを利用できる。

[合同会社てねずっと @tenezut]

ChatGPT・・・OpenAIが2022年11月に公開した人工知能チャットボット。AIと対話形式で様々な質問に答えてくれる。さらには文章の要約、プログラミングコードの作成、小説の創作から最近では画像生成まで幅���い分野の事が可能。

[合同会社てねずっと @tenezut]

#梅雨　#梅雨明け
そろそろ梅雨明けが近そうですね。
週明けはかなり気温が上がる予報なので、皆様体調管理にはお気を付け下さい。

https://t.co/IRHyRF1mhj

[绯人(龍大) @heat_1nt]

GPT-4の詳細が流出　

OpenAIの最新の言語モデルであるGPT-4の詳細が流出しました。GPT-4はGPT-3の10倍以上���サイズで、専門家の混合モデルを採用しています。また、視覚マルチモーダルな機能も備えています。ここでは、GPT-4の主な特徴とトレーニングコスト、推論コスト、推論アーキテクチャについて説明します。

パラメータ数

GPT-4は120層にわたる合計約1.8兆個のパラメーターを持っています。これはGPT-3の10倍以上です。パラメーターのうち約55Bはアテンション用の共有パラメーターで、残りは専門家の混合（MoE）モデルに分散されています。

専門家の混合モデル

MoEモデルとは、モデル内で複数のエキスパートと呼ばれる小さなサブネットワークを利用するものです。各エキスパートはMLPの約111Bのパラメーターを持ちます。各フォワードパスでは、各トークンがどのエキスパートにルーティングされるかが決定されます。OpenAIは16個のエキスパートを使用しており、フォワードパスごとに2個が選択されます。

MoE��デルの利点は、コストを抑えながら大規模なモデルをトレーニングできることです。各フォワードパス推論（1トークンの生成）には約280Bのパラメーターと約560TFLOPしか使用しません。これは純粋に密なモデルでは約1.8兆個のパラメーターと約3,700TFLOPが必要となることと比べて大幅に少ないです。

MoEモデルの欠点は、推論時に扱いにくいことです。エキスパートが休止状態になる可能性があるため、利用率が低下する可能性があります。また、エキスパートの数を増やすと一般化や収束が難しくなる可能性があります。OpenAIはエキスパートの数を控えめにすることでリスクを回避しました。

データセット

GPT-4は約13T個のトークンで学習されました。これらはエポックも含めてカウントされており、ユニークなトークンではありません。テキストベースのデータは2エポック、コードベースのデータは4エポックで学習されました。また、ScaleAlと内部から数百万行の命令微調整データも使用されました。

GPT-4 32K

GPT-4には32kのコンテキスト長（seqlen）のバージョンもあります。これは事前トレー���ング後に8kのバージョンを微調整したものです。事前トレーニング段階では8kのコンテキスト長が使用されました。

バッチサイズ

バッチサイズはクラスタ上で何日もかけて徐々に上げていきましたが、最終的にOpenAIは6000万のバッチサイズを使用しました。これはエキスパートあたり750万トークンのバッチサイズに相当します。しかし、これはすべてのエキスパートがすべてのトークンを見ているわけではないため、実際のバッチサイズはseq lenで割った値になります。

並列化戦略

GPT-4はすべてのA100 GPUで並列化されています。8ウェイテンソル並列と15ウェイパイプライン並列を使用しています。おそらくZeRo Stage 1やブロックレベルのFSDPも使用しています。

トレーニングコスト

OpenAIのGPT-4のトレーニングFLOPSは約2.15e25で、約25,000台のA100を90～100日間、約32～36%のMFUで使用しています。この極端に低い利用率の一部は、再起動が必要なチェックポイントを必要とする不合理な数の障害によるものです。A100時間あたりのコストが約1ドルだとすると、今回のトレーニング費用だけで約6,300万ドルになります。

視覚マルチモーダル

GPT-4にはテキストエンコーダとは別にビジョンエンコーダがあり、クロスアテンションを持ちます。アーキテクチャはFlamingoに似ています。GPT-4の1.8Tの上にさらにパラメーターを追加しています。テキストのみの事前学習後、さらに約2兆個のトークンを使って微調整されます。

このビジョン機能の主な目的のひとつは、ウェブ��ージを読んだり、画像やビデオに写っている内容を書き起こしたりできる自律型エージェントです。彼らが訓練しているデータの中には、共同データ（レンダリングされたLaTeX/テキスト）、ウェブページのスクリーンショット、Youtubeのビデオ：フレームをサンプリングし、Whisperを実行してトランスクリプトを得るものがあります。

投機的デコード

OpenAIはGPT-4の推論で投機的デコードを使っているかもしれません。このアイデアは、より小さな高速モデルを使っていくつかのトークンを事前にデコードし、それらを1つのバッチとして大きなオラクルモデルに送り込むというものです。小さなモデルの予測が正しければ、大きなモデルもそれに同意し、1つのバッチで複数のトークンをデコードできます。しかし、ドラフトモデルが予測したトークンを大き���モデルが拒否した場合、残りのバッチは破棄されます。そして、より大きなモデルで処理を続けます。

新しいGPT-4の品質が劣化したという陰謀説は、単にオラクルモデルに投機的解読モデルからのより低い確率のシーケンスを受け入れさせているからかもしれません。

推論アーキテクチャ

推論は128GPUSのクラスタ上で実行されます。このクラスタは複数のデータセンターに分散しています。8ウェイテンソル並列と16ウェイパイプライン並列で実行されます。8GPUの各ノードのパラメータは、FP16ではGPUあたり30GB以下、FP8/int8では15GB以下の、わずか約130Bしかありません。

モデルは120層あるので、15の異なるノードに収まります。[エンベッディングも計算する必要があるため、最初のノードではレイヤーが少なくなる可能性があります]。

推論コスト

GPT-4の推論コストは、175Bパラメーターの3倍です。Davinchiの3倍かかります。これは、GPT-4に必要なクラスタが大きいことと、達成される利用率がはるかに低いことが主な原因です。

GPT-4の推定コストは、128個のA100で1kトークンあたり0.0049セントです。GPT-4 8k seqlenを128個のH100で推論する場合、1kトークンあたり0.0021セントです。注意すべき点は、高い利用率と高いバッチサイズを想定していることです。

マルチクエリーへの注意

OpenAIは他のチームと同様にMQAを使用しています。そのため、必要なヘッド数は1つだけで、KVキャッシュのメモリ容量は大幅に削減できます。それでも、32k seqlen GPT-4は間違いなく40GBのA100では動作しません。8kは最大bszに上限があります。

連続バッチ処理

OpenAIは、可変バッチサイズと連続バッチの両方を実装しています。これは、推論コストを最適化すると同時に、ある程度の最大レイテンシーを可能にするためです。

以上が流出したGPT-4の詳細です。OpenAIは自分たちがやっていることを知っていますが、それは魔法ではありません。彼らは高品質のデータを得るのに苦労しており、このような大規模なトレーニングでは多くのトレードオフや障害に直面しています。

[合同会社てねずっと @tenezut]

面白い記事。
これを実践するには子供の考えに傾聴すること。
それは必ずしも親や先生である必要はないよね。

「3＋1＝5」にマルをつけた数学者が語る、子どもの算数の見守り方　間違いを否定せず、考えた道筋を共有しよう | 東京すくすく | 子育て世代がつながる ― 東京新聞 https://t.co/sTWHNOWkQ5

[合同会社てねずっと @tenezut]

DX化するにあたって気をつけたいのは、人間の動作をそっくりそのまま機械化してしまうこと。
機械は0と1しか無い世界の住人。

すららネット、「学校現場の教育DX成功への道筋　～ICT教育の進め方と活用成功事例大公開～」8月開催 | ICT教育ニュース https://t.co/ha9lQ3JmnW

[合同会社てねずっと @tenezut]

(自分の周りには)��いように感じる、というのも実は怪しい。
そう感じる事に敏感になっているが故のバイアスの可能性が高い。
人の感じられる範囲は、人が思う以上に狭いし偏っている。

[合同会社てねずっと @tenezut]

#ict支援員 と検索すると、学校の先生と支援員とですれ違ってるようなツイートを見ることがある。
学校に限らずどこの職場にも「個人」���ベルで対人、または雰囲気の合わない人はいるだろう。
その際に、「主語」を大きくし過ぎないように気をつけたい。

[合同会社てねずっと @tenezut]

半数以上は小学校から導入すべきと回答してますね
小さいうちから、それが本当なのかフェイクなのか慣れさせるという意味でも良いと思います

ポリミル、投票結果「文章生成AI（人工知能）を学��教育に導入すべきか？」を公開 | ICT教育ニュース https://t.co/oZX71B2lGV

[合同会社てねずっと @tenezut]

#Excel このやり方をいつも忘れてしまって手入力しちゃってます。。。

[マイクロソフトサポート @MSHelpsJP]

Excel で重要な「絶対参照」「複合参照」「相対参照」は、F4 キーを使うとスムーズに切り替えることができます。
時短できるテクニックなのでご活用頂ければと思います。
※ 一部のキーボードでは、Fn キーも押す必要があります。 #Excel

[マイクロソフトサポート @MSHelpsJP]

Excel で重要な「絶対参照」「複合参照」「相対参照」は、F4 キーを使うとスムーズに切り替えることができます。
時短できるテクニックなのでご活用頂ければと思います。
※ 一部のキーボードでは、Fn キーも押す必要があります。 #Excel

[ナギ｜AIマネタイズ @nagi__blog]

知らなきゃ損です。

Canvaには全世界で1億人を超えるユーザーがいます。

しかし、

その約9割がCanvaを使いこなせていません。

そこで今回はCanvaAIの活用術を図解でガチまとめ。

ブクマして活用してみて。