talrid23

Deep learning researcher

[talrid23 @talrid23]

💡 So how is the new Claude 3.5 Sonnet model on real-world code tasks?

We conducted extensive performance testing of Claude 3.5 Sonnet on a dataset of pull request code.

🔬 Our Test Setup:

- We aggregated 200 pull requests spanning multiple repositories and programming languages

- On each pull request we generated code suggestions using competing models.

- For each set of generated code suggestions, we used an ensemble of judge models to determine which model produced better suggestions.

📊 Key Findings:

1. Claude Sonnet models demonstrated significantly stronger performance than GPT-4o in pull request code analysis

2. Interestingly, we observed comparable performance levels between the latest Sonnet versions

[talrid23 @talrid23]

@netadror נפתר

[talrid23 @talrid23]

@FeedTechILUncen נשמע הגיוני. ראינו דברים דומים גם ב
AI21
העדר חשאיות הרבה פעמים הוא סמן להעדר אמינות

[talrid23 @talrid23]

@gemanor הזמנים קצת קצרים.
אבל האבחנה תואמת את מה שאני ראיתי.

סטרטאפ שמדשדש במקום כמה חודשים לרוב יישאר מדשדש.
במיוחד בעידן האייאי, כשהזמנים מתקצרים והתחרות על כל חידוש יותר אגרסיבית

[Avi Nahir @AviNahir]

אני בטוח שאתה מבין בזה הרבה יותר ממני, ואני זקן, וזה תלוי גם בציפיות קהל היעד. אבל אני הייתי מפרק את זה לשניים: צורה ותוכן.

שלב ראשון: צור קודם כל מצגת של עשרה עמודים בטקסט בלבד. אל תכניס שום חומר גרפי. לא כטיעון (גרפים וכו') ולא כקישוט (פרחים ופרפרים). מותר לך להשתמש כותרות אחת לעמוד ופעם אחת בעמוד גם ב-bold. אתה יכול להעזר פה ב-AI כיוצר וגם כמבקר - למה העמוד הזה לא חד מספיק.

שלב שני: חדד את המצגת הזאת על עצמך. בדוק שהיא מובנת. חדד וחדד. רעיון אחד לכל עמוד. שיהיה ברור *לך* מעבר לכל ספק למה הרעיון הזה שם. סתם כדוגמא, אם המצגת היא לגבי קבלה שלך לעבודה, אז הדף לא מכיל את החברות שלך בבני עקיבא אלא רק את זה שיש לך 14 פטנטים שהכניסו כסף. גם פה אתה יכול להשתמש ב-AI כיוצר וגם כמבקר - למה העמוד הזה לא חד מספיק.

שלב שלישי: חדד את המצגת הזאת על קהל (שחלק ממנו יכול להיות AI-ים). בדוק אחר כך מה הבינו בדיוק. תקן מה שלא עובד.

עכשיו, שיש לך מצגת טקסט שמעבירה טוב את המסר, תפסיק!

[talrid23 @talrid23]

Post:
https://t.co/Y13QXTOfTC

[talrid23 @talrid23]

Are your Gradient Clipping settings silently throttling the network's training?

If you scale up your model without adjusting the default threshold, gradient clipping can quietly turn into a permanent ceiling and damage the training dynamics.

Link to the post in the comments! 👇

[talrid23 @talrid23]

@mati_h אפשר לטעון שזה יתרון ולא חיסרון.
אנחנו בעידן התוכנות האישיות

אנשים מעדיפים כלי שהם כתבו ויכולים לערוך, על פני תוכנות גנריות סגורות

[talrid23 @talrid23]

A real potential here

[Madni Aghadi @hey_madni]

this is what Origin actually does

- resolves merge conflicts automatically
- fixes CI failures on its own
- addresses PR comments without you
- only tags you when it needs to

cuts review time by more than half

built around agents from the ground up

[talrid23 @talrid23]

@nadavbenedek @MikeE_3_14 אוקי, נשמע מעניין.
אנסה אותו

[talrid23 @talrid23]

@Meir_Rubin לא ברור

[talrid23 @talrid23]

@FinancialEduX לכל כך הרבה סטרטאפים אין היום אפילו רווח *גולמי* על המוצר שלהם ...

[Qodo @QodoAI]

Your last PR passed all tests, but it also stored customer data unencrypted. 🧐

Code reviews help catch bugs, but what about security, orphan code, & that function that already exists in 3 other repos?

Qodo Merge now runs automatic compliance checks on every PR:

🔐 Security vulnerabilities
🎫 Ticket associations
♻️ Code duplication
⚡ Custom org rules

Learn more here -> https://t.co/C84wftyPRv

[talrid23 @talrid23]

@scaling01 What prevents all models to be trained on this dataset ?

After several months, any public benchmark becomes unreliable...

[Francesco Ciulla @FrancescoCiull4]

I've been exploring tools that make the code review process smoother, and I recently discovered the open-source PR-Agent (along with its managed version, Qodo Merge).

It's one of the most exciting approaches to PR automation I've encountered lately. It functions like a helpful command-line AI assistant right within your Git provider.

What caught my attention is its architecture and how it processes requests.

How It Works

When you comment /review or /ask "what's the impact of this change?" on a pull request, the agent kicks off a smart workflow:

- Digest Request: It first analyzes the PR's code changes (the hunks) and understands the specific command you issued.

- Plan: Based on your request, it formulates a plan. This involves token-aware compression and prioritization, which is crucial for handling large PRs efficiently and focusing on what matters.

- Function Selection: It then intelligently routes the request to the appropriate specialized tool. This modular approach is great because it dedicates specific logic for describing, reviewing, suggesting improvements, answering questions, generating docs, and more.

Beyond just generating a generic PR description (/describe), some of the commands are incredibly powerful for the day-to-day developer workflow:

/review: This gives adjustable feedback that goes beyond static analysis. It can comment on potential issues and security concerns, and even estimate the review effort needed from a human teammate.

/improve: Instead of pointing out a problem, it provides concrete, inline code suggestions you can accept directly. This significantly cuts down on the back-and-forth.

/ask: This is a game-changer. You can ask free-text questions about the PR (e.g., "Why was this specific library chosen?" or "Explain the logic in my_function"). It uses the PR's context to give you a relevant answer.

Deeper Integrations: It also has tools for automatically updating the CHANGELOG md file (/update_changelog), generating unit tests for changed components (/test), and even getting feedback on failed CI jobs (/ci_feedback).

It feels like a step in the right direction for AI-assisted development, less about replacing the developer and more about augmenting the review process to make it faster and more thorough.

What's the most tedious part of the PR process for you?

[talrid23 @talrid23]

GPT-5 delivers exceptional performance, but the default 'medium' reasoning mode comes with significant latency challenges.

Pro tip: Switch to 'minimal' reasoning for a true drop-in replacement for Claude Sonnet-4.

You'll still get top-tier performance, while achieving the low latency needed for real-time applications.

[Foojay.io @foojayio]

Check it out, @QodoAI and @MongoDB articles hot off the press, both on #Java and AI, "How to Make a RAG Application With @langchain4j https://t.co/JGXEecpwY6 and "Understanding #MCP Through Raw STDIO Communication" https://t.co/wVYD1disa8 with @daviddryparry and more!

[Qodo @QodoAI]

How to get the most out of Qodo Merge for PR reviews 🧵

Here’s a breakdown of the most powerful workflows in Qodo Merge 👇

[talrid23 @talrid23]

@jxmnop Not sure it's even that better

https://t.co/EsMeDeUCr1