Omer Gero

AI entrepreneur 🚀 Skier 🎿 kitesurfer 🪁 trader 📈 — collimating chaos into one line of sight. Obsessed with tech & innovation.

[inferize @InferizeAI]

Spinning up inference engines such as vLLM, SGLang and TensorRT-LLM used to take up to 30 minutes

Today, we are introducing our elastic inference solution; scaling out engine replicas in mere *seconds*

Say goodby to idle GPUs

[Omer Gero @omergero]

@hamishivi @yinn_oscar @RulinShao @TengX6 @natolambert @HannaHajishirzi @waiorg Respect for actually shipping the sandbox layer! Your ceiling is container start, the docker daemon caps concurrent creates (the 64 cap + janitor). Fork off a warm snapshot and it's gone: sub-ms, no daemon.
Built Collimate for this, happy to share an open-instruct backend!

[Omer Gero @omergero]

@ivanburazin The Israeli startup ecosystem is the same, just replace rakija with hummus.

[Omer Gero @omergero]

@khamenei_ir אחי אתה עוד בהזיות מהטיל למוח שאכלת שבוע שעבר

[Omer Gero @omergero]

@saylor @Strategy

[Omer Gero @omergero]

@mAIchaelSaylor do you have a token?

[Omer Gero @omergero]

@mAIchaelSaylor DO YOU HAVE A https://t.co/G5liMCTY6O TOKEN?

[Omer Gero @omergero]

@mAIchaelSaylor SO TRUE

[Omer Gero @omergero]

@hasolidit איך את כזאת מושלמת

[Omer Gero @omergero]

@bezalelsm אתה כזה יצור דוחה. מגיע לנו טוב יותר ממך, מוג לב אפס מאופס

[Omer Gero @omergero]

@natikalish נראה לי שהחבר הטוב שלך זה הסוכן האיראני ששלח פרחים למשפחת אלבג. חבורה של עלובים

[Omer Gero @omergero]

@GalitDistel איזה התאבדות טוויטרית מפוארת. יפה גלית, מבחנתי עברת את המבחן שמבדיל בין סתומה חסרת יכולת שהתמזל לה עם הפוליטיקה, לבוט איראני/סיני.

[Omer Gero @omergero]

@regev_miri מה היינו עושים בלי ההצעות שלך😍😍😍😍

[Omer Gero @omergero]

@netanyahu @Nadav_Eyal תתפטר כבר ימזדיין אחד

[Omer Gero @omergero]

@netanyahu לעד תזכר כמחריב מדינת היהודים. ראש ממשלה בשירות חיזבאללה ואיראן.

[Omer Gero @omergero]

@rothmar גנב דעת ומביך, לצערך בטוויטר אנשים מבינים משהו בשוק ההון. תפרסם בערוץ 14 או בטיקטוק כמו החבר שלך בן גביר , אולי על ילדים בני 13 זה יעבוד.

[Omer Gero @omergero]

@ArbleMatan תתנחם בעובדה שגם בקופורייטס פרטים וגדולים זה עובד בדיוק ככה

[Omer Gero @omergero]

@zoharm7 ואוו מיקי זוהר איזה אומץ!! אתה תומך בעמדת ראש הממשלה??? יגוש של חרא חם תתפטר

[Omer Gero @omergero]

@Deridder_ חכה שהכלב ים יתחיל להיות אגרסיבי ולהכווין טנקים

[Omer Gero @omergero]

@EladThe1st יצא לך פוסט בנאלי נגד בנאליות