Running LLM inference on a $4 microcontroller
(Raspberry Pi Pico, 256KB RAM, no FPU, no internet)
- Integer-only. No floating point.
- No division, no exponential functions
- 10 inferences/second
- ~45mW power consumption
This is NOT quantization.
This is CIA (Constructive Integer Attention) —
a softmax-free Transformer rebuilt entirely
from integer arithmetic.
@estrypt I am a mathematician and mathematical entrepreneur. At companies like Google, a significant portion of the cost and time in data centers is consumed by attention mechanism processing. My vision is not to replace these mechanisms entirely, but to complement them: using my advanced algorithms to perform ultra-fast preprocessing, so that only the essential remaining workload goes through the existing mechanisms.
Even a 5% reduction in this process could translate into tens of billions of dollars in cost savings worldwide, along with dramatic performance improvements. This kind of breakthrough could sharply define competitive advantage for big tech firms.
I would very much like to explore this concept with AI scientists and business leaders who are capable of making quick, informed decisions. If you know someone to connect me with, please let them know there is a mathematician and entrepreneur who can tackle NP-hard problems and obtain solutions at the nanosecond level.
世界の貧困を解決する永続的な仕組みを作ろうと挑戦しています。そのためには、以下を満たす雇用を創出する必要があります。
① 局所的でなく、一時的でなく、永続的に、世界に広く提供できる
② 働き手に新たなスキル(資格・教育・経験)などを求めない、
③ 何処でも(フルリモートなど)出来る、
④ 何処にでも提供できる
⑤ 事業者に多大なコストとリスクテイクを求めない
⑥ 顧客にベネフィットがある
途上国の貧困を考えたとき、例えば、工場をアフリカに作ると雇用を生むとは思います、また、学校を寄贈すると教育とともに若干の雇用を創出できます。ただ、それらは、一時的であり、局所的であり、永続的な仕組みとは、言えません。多くの途上国支援は、仕組みでなく、一過性、局所的なものが多いと思います。
私が、主宰する超短期!外国語習得は、事業と働き手で考えると上の①~⑥全て満たしております。オンラインで提供しており、働き手は途上国の青年です。彼らには、母語以上のスキルを求めません(3か月のOJTは必要)。私でなく、新しい事業者がノウハウ伝授と運営支援のもとでやろうとすれば、多大なコストとリスクテイクは、無いです。また、外国語習得は、世界のトレンドであり、潜在的顧客数は、増大します。また、日本など一部の国では、大手英語スクールなどでも、戦前からの文法訳読式・記憶重視スタイルとそれに英会話など加え多少改善したものが、今でも英語学習の主流であり、それでは、数年かけても英語を使えるようにはならない。昨日も大手英語コーチングスクールの3か月コース終了した方が、終了後のVERSANT試験で1点も上がらなかったようです(M6Mは2か月で4~12点アップ)。賢い人は気づいており、超短期!外国語習得を求める人も増えてきています。教えない、学ばない、覚えない、練習しない、実践的に使って、挑戦して、失敗して、体に身に付けるスタイルです。TOEIC等所謂英語試験にも有用です(特に伸び悩んでいる方)。仮に1万人受講者がいれば、途上国に数千人のフルタイムに近い雇用を生み出せます。50ドル足らずで親が子供を売る(手放す)西アフリカのガーナ。子供らは漁師の奴隷としてずっと働き続けます。M6Mは、その子らと親の多くを救える可能性があります。
M6M英語拷問刑務所、所謂オンライン英語教育&コミュニティを昨年10/11にはじめました。今日は1期生の卒業式。6か月で当初想定以上の上達を皆様されました。卒業試験では、5分間のネイティブの切れ目のない会話(参加者がリード)、5分間のスピーチと5分間の質疑応答、みなさん難なくクリアー。実際3か月くらいで達成されていた。卒業試験終わっても人によってはネイティブ2名と50分近く会話されていた。グローバルな様々なプロジェクトに参加してきたが、それくらいの英語力の人は殆どいない。週4回夜21:45から1時間+予習復習で達成された。元々留学していたとか、仕事で英語を使っていた人々とかでなく、本当に普通にいらっしゃる英語が話せない方がが参加くださった。多い日は1時間で12000語、結果半年で100万語の英語に触れた方々。TOP GUN MARVERICの3倍の密度。初日はネイティブが話す英語がわからず、レスポンスも出来ない状況。それでも鬼所長(私)が早くレスポンスしてくださいと。M6M英語では、ありとあらゆることを1時間で行った。大量の聞く、素早く返答とキャッチボール訓練、英作文指導、長文を聞き・質疑応答、自分でエッセイを書き、プレンゼン、質疑応答、入念な発音指導、文法・用法指導、語彙特訓、フリートーク、仲間の対話の記録と改善点抽出、運営への貢献などなど。苦しく辛い日もあったと思う。しかし、2か月もすれば、その苦しく、辛い英語拷問も、慣れたもの。お正月も膨大な宿題が出され、一生懸命やって提出くださった。アクセンチュアの元社長さんが、英語は毎日勉強しないといけないよといってくれた。確かにそうだとも思う。ただ、そこそこ話せるまでに何年も、何十万~何百万もかけるものではない。そこそこ話せて、例えば急遽ニューヨークに行ってもアメリカ人との交流が楽しめて、わからないことがあっても聞いて対応でき��、四苦八苦しながらも仕事ができるくらいのレベル、そんなレベルをM6Mを目指していた。そしてみなさんの頑張りで、当初より早く実現できた。来月からはM3M英語拷問刑務所が立ち上がる。6か月ではなく3か月で達成するのを目標にする。M6Mでも既に実現できていたレベルなので、M6Mで得た数多くの知見、型、方法、そして組織で更なる次世代の英語教育を実現する。既に外国人向けの日本語では実証済みであるが、年内には同じ方法でインドネシア語、スペイン語、中国語、イタリア語、フランス語、アラビア語、ドイツ語まで拡大し、提供地域も世界へ広げたい。また、M3M=>1か月へ話せるM1Mと進化させる。M3Mが解決する社会課題の一つは世界の各地域の雇用創出、人材育成、世界交流・協業。応援、ご支援くださった皆様、ありがとうございます。引き続き応援、ご支援、ご指導お願いします。ちなみに私は所謂先生ではありません。単なる自分勝手なM6M英語拷問刑務所長!
昨年Microsoft for Startupに採択され数多くの特典(AZURE、OPEN AI 利用権など)が与えられる。それらを最大限活用させて頂き、M6MのクラスもAIで大方生成し、多言語相互利用、録画・録音コンテンツの有効利用していきつつ、人間しかできない部分を人間が行っていくようにしていきたい。