Ben Boren

CTO, SwarmOne

[Ben Boren @BenBorenn]

@cursor_ai What about grok4.5+composer2.5 🤔

[Ben Boren @BenBorenn]

@AI_evangelist42 +opus 4.7 sucks :(

[Ben Boren @BenBorenn]

why is everyone losing their minds over fable when opus 4.6 is available

[Ben Boren @BenBorenn]

@justalexoki codex is legitimately underrated
way more responsive and the UI doesn't try to do too much

[Ben Boren @BenBorenn]

@ZackKorman the cognitive dissonance is real

[Ben Boren @BenBorenn]

the stack should be optimized

everyone's screaming "more compute" "better chips" while we're squeezing everything out of existing hardware

infrastructure upgrades won't magically fix your inference costs

[Ben Boren @BenBorenn]

@SiliconFlowAI Hey @SiliconFlowAI Our product optimizes your entire serving stack around real agentic workloads. Way more margin on the same hardware, costs are predictable. Think you'd find it interesting.

[Ben Boren @BenBorenn]

@nikolaborisof Hey @nikolaborisof we built a simulator that optimizes your entire serving stack around real workloads. Way more margin on the same hardware, costs are predictable. Think you'd find it interesting.

[SwarmOne.ai @swarmoneai]

We ran GLM 5.1 on MI350X - much faster and cheaper than MI355X and B200.

SwarmOne optimization delivered off-the-chart agentic performance on 150-200K context windows.

Single node. 8×MI350X. 140 tok/s/user. $1.44/Mtok.
34–55% faster. 54–64% cheaper. No synthetic benchmarks.

Most configs on the chart sit on frustrating or constrained territory for agentic inference. Below ~50 tok/s/user with variable ISL/OSL and tool calls, your agents are bottlenecked - no matter how low the cost looks on paper.

Respect to @AnushElangovan, @roaner and HaiShaw for pushing MI355X forward. We're building on that momentum and showing what full-stack agentic optimization unlocks on ANY silicon.

If you're scaling agentic workloads and cost-per-token matters, let's talk.

@nvidia @AMD @SemiAnalysis_

[Ben Boren @BenBorenn]

@Tom_Westgarth15 @Tom_Westgarth15 We are bringing our software to several chip companies - we should work together also - email me let's talk - [email protected]

[Ben Boren @BenBorenn]

@Jason I'm in

[Ben Boren @BenBorenn]

@marclou Can't swing the meetup, but coffee would be great!

[SwarmOne.ai @swarmoneai]

Every LLM benchmark tests chatbot performance at 2K context.

Agentic workloads runs at 40-400K context with tool schemas, file contents, and error traces growing every turn.

No benchmark tested this. So we built one.

Introducing AgenticSwarmBench 🧵👇

[Ben Boren @BenBorenn]

Every LLM benchmark tests at ~2K tokens of context.
Claude Code and Cursor send 40–400K token requests.
The real-world performance gap? 3–5x.

Today we're launching AgenticSwarmBench -
the first open-source benchmark for real agentic workloads.

- 110 tasks, 5 languages
- Context up to 400K tokens
- Prefix cache defeat (true cold-start)
- Record & replay real Cursor/Claude Code sessions

Tested on @nvidia @AMD @intel @tenstorrent

https://t.co/N5tnFKpV0O

[Ben Boren @BenBorenn]

if mythos agi, why claude code source leak?

[Mike Erlihson, Math PhD, AI @MikeE_3_14]

כמו שאתם כנראה יודעים אני יוצר תוכן טכני: סקירות מאמרי ai, סקירות נושאים רחבים וכדומה.

יש רק 3 מקומות שאני מפרסם בהם את כל(!!) התוכן שלי - בשאר מדי פעם:

1. ערוץ טלגרם בעברית
2. ערוץ טלגרם באנגלית
3. הספייס החדש של ai Israel בדיסקורד

אז אם אתם לא רוצים לפספס , נהרו בהמוניכם!

[Mike Erlihson, Math PhD, AI @MikeE_3_14]

💥💥שמעתם שהגעתי ל 500+ סקירות מאמרים - וזה סיבה מצוינת למסיבה רצינית שתתקיים ב-22.10! 🔥🔥

המסיבה מאורגנת בשיתוף פעולה הדוק עם aws (תודה רבה!) ובתכנית:

- שני תותחי על בעלי אותו שם המשפחה (נחום): גילי ואורי שידברו על הנושא החם שזה כמובן אג'נטים וההרצאה של אורי קשורה גם לסקירות
- א��י אספר קצת על הסקירות, מגמות, תחזיות, קצת פרטים לא ידועים ��ליי וכאלו...
- פיצות, בירות וכאלו....

https://t.co/u55GHbFGLJ

מהרו להירשם - מספר מקומות מוגבל 👀

#AWS #AWSMeetups #Agents #סקירות_של_מייק_

[Mike Erlihson, Math PhD, AI @MikeE_3_14]

🔥הסקירות ממשיכות לזרום ל-X🔥
🧵
המאמר היומי של מייק: 25.06.25
The Alternative Annotator Test for LLM-as-a-Judge: How to Statistically Justify Replacing Human Annotators with LLMs

מאמר 🇮🇱

תפנית מעניינת מתרחשת בתקופה האחרונה בעולם של הערכת ביצועי מודלים. אנחנו כבר לא שואלים רק עד כמה המודל מצליח במבחן כלשהו, אלא שאלה מהותית יותר: האם ניתן לסמוך על מודל שפה שיחליף מתייג אנושי? זו לא שאלה שמדדים מסורתיים כמו דיוק, F1 או הסכמה בין מתייגים יכולים לענות עליה כראוי. תחת זאת, המאמר שנסקור היום מציג שיטה מבוססת סטטיסטיקה לפתרון ביעה זו. בלב המאמר עומדת קריאה להתרחק ממדדי התאמה שטחיים, ולעבור לנימוקים מבוססי השערות סטטיסטיות וניתוח עלות-תועלת.

[Ben Boren @BenBorenn]

@levelsio @WHOOP Same with @ouraring