MacLab

MacLabのTwitterアカウントです。MPEG Exporter TNGなどのソフトウェアのリリース情報をつぶやきます。 MacやiPhone、Appleなどについての話題も適宜リツイートします。

[MacLab @MacLab2010]

My iOS app "mini Assistant" is a tiny client for LM Studio API, OpenAI API, and Apple's on-device Foundation Model.
https://t.co/7Al3bYVq4K

[Kyome𓅹 @Kyomesuke]

満を持して次世代版のRunCat Neoがリリースされました！オープンソースになり、カスタムメトリクス表示機能が追加され、Claude CodeやCodexのRate Limitをはじめ、好きな情報を表示できるようになりました。何を表示させるかはユーザー次第。
https://t.co/zof3snbMXm

[MacLab @MacLab2010]

mini Assistant ver.4を汎用アシスタントとするべくtool callingの種類を増やそうと思ったけれど、これはOSのAPI等を整備するのと同じだと思った。キリがない。

[mio💛 @numanuma_72]

AIの勉強って何をやらせるんですか
スタンフォード大でAIを基礎からやりましたが、最初は行列計算からでしたよ
なぜ行列やベクトルを教えずに「AI」を教えようとするんですか
なぜAIにはGPUが必要だと思ってるんですか

[PC Watch @pc_watch]

【今週の人気記事】KDDI、不正アクセスでメールアドレス1,223万名とパスワード761万名漏洩 https://t.co/aa1vbSZqJ4

[MacLab @MacLab2010]

iOS27でSiriに画像認識機能がつくと言われていますが、Vision Detectorなら一足早くiOS18でも機種を問わず画像認識を利用できます。エンジンにはGPTでもGemma-4でも選び放題。

[MacLab @MacLab2010]

Vision DetectorのmacOS版のみの機能として、前のフレームも送信する機能があります。iOS版はワンショットの画像を送信するだけですが、macOS版は2枚の連続した画像を比較させることができるので、「写っている人がいなくなったり、逆に新しい人が写ったらtool callingで通知して」という処理が可能。

[MacLab @MacLab2010]

ちなみにVision Detectorやmini Assistantで使用するLLMは、OpenAIならgpt-5.4-miniまたはgpt-5.6-luna、ローカルLLMならgemma-4-12bなどがおすすめです。gemma-4は特別な対応が要求されるので面倒でしたが、頑張って対応しました。

[MacLab @MacLab2010]

LLMにはAPIで接続します。iOS版はLM Studio、OpenAI、Anthropicに対応します。macOS版はLM Studioに対応します。macOSで同じデバイス上で動くLM Studioを使う場合、ホストとしてlocalhost:1234と指定します。OpenAI、Anthropicは従量課金になるのでLM Studioがおすすめですが、外出先では使えません。

[MacLab @MacLab2010]

Vision Detector ver.3.1 (iOS/macOS) リリース
https://t.co/lLP3Tt1u5u
目玉の新機能は通知ブロードキャストです。LLMにカメラ映像を監視させ、指定した条件を満たしたら通知を出すことができますが、その通知が同じApple Accountの全デバイスに配信されます。

[MacLab @MacLab2010]

指示は日本語で書けます。
「誰か人が見えたらtoolで通知しなさい」
「荷物が届いたらtoolで通知しなさい」
使用するLLMにもよりますが、tool callingを使ってと明示しないとtoolを使わないことがあるようです。もっと複雑な条件も自然言語で書くことができます。

[MacLab @MacLab2010]

Vision Detector 3をiOSとmacOSで同時リリース。
LLMにライブ画像を解釈させます。条件を満たしたら通知センターで通知させることができます。各種ドキュメントは更新が遅れているため、最新の仕様はApp Storeを参照してください。
https://t.co/lLP3Tt1u5u

[MacLab @MacLab2010]

実際にアプリを開発してみると、LLMごとの仕様の違いがあることがわかる。その差はアプリで全部吸収してしまうし、そのコードはLLM自身が書くのだが、そういうことがあるということを知らないとそのコードを書かせる指示が出せない。

[MacLab @MacLab2010]

Vision Detector 3 (iOS/macOS)、LLMの画像認識をライブで利用できます。OpenAI / Anthropic / LM StudioのAPI対応。Gemma-4にも対応。進捗状況はApp Store審査準備中。

[MacLab @MacLab2010]

そして予告。
Vision Detectorが大幅にパワーアップします。

[MacLab @MacLab2010]

mini Assistを作ってわかったのは、アップルでさえもApple Intelligenceの使い方をわかっていなかったということ。Small language modelは検索などの外部資源を併用しなければいけない。単体では役に立たない。

[シグ @shigu519368]

LINE「メッセージ編集は有料です」
「それ、無料でできます」
LINE「送信予約は有料です」
「それも、無料で提供します」
LINE「iPhoneのショートカット使えば、LINEでも送信予約できます」
「ショートカット組まなくてもできます」
LINE「サブデバイスには制限有」
「…全てのデバ」

[MacLab @MacLab2010]

mini Assistant ver.3.9をリリースしました。
特筆すべきは大幅に強化されたApple Intelligence対応です。これまでまともに話もできず、小学生以下の知識しかなかったApple Intelligenceが、web機能を追加することで突然秀才になりました。これが理想のsmall language modelのあり方かもしれません。

[MacLab @MacLab2010]

mini Assistant ver.3.9は細かい改善が求められたため、いったんApp Storeでリジェクトされました。アップデート版を再度提出済みですが、リリースまでしばらくお待ちください。

[MacLab @MacLab2010]

ver.3.9からは、デフォルトのOpenAIのモデルをgpt-5.4-miniに変更します。

[MacLab @MacLab2010]

mini Assistantは GPTを APIで利用するので、ChatG PTのような定額課金ではなく従量制課金になります。使うモデルで価格は大きく変わるので、使い方によっては安くなります。まあ、ChatGPTの高度な機能をこのアプリだけでカバーできるわけではありませんが。