Heinan Cabouly

DevOps lead, 10 yrs. AWS, Kubernetes, platform eng in FDA-regulated healthcare. Production war stories + the fixes.

🇮🇱

[Heinan Cabouly @heinanca]

I upgraded EKS to Kubernetes 1.35 on a Tuesday. By Wednesday 6am half my node groups were stuck NotReady, Karpenter was spinning up replacements that failed too, and on-call was paged. The cause was documented. Nobody sees it. Thread:

[Heinan Cabouly @heinanca]

@theagentpod So far, so good. This one burned me once too often, so I built Tideclear - an open-source scanner that catches EKS upgrade issues before they pick their own priority: https://t.co/LXmsBGe9Ww

[Heinan Cabouly @heinanca]

1/3 The most expensive ticket I ever deprioritized looked like housekeeping.

AWS stopped publishing AL2 EKS AMIs. No console banner, no Health Dashboard alert. We had a medium-priority ticket to move nodes to AL2023 and it kept sliding - there was always something more urgent.

[Heinan Cabouly @heinanca]

@netanyahu אתה שהיית ראש הממשלה ב 7.10 אומר ״נלחם״??? אתה שהיית ראש הממשלה כשנרצחו 1200 ישראלים ביום אחד??

[Heinan Cabouly @heinanca]

3/3 What are you actually running, and would you choose it again?

[Heinan Cabouly @heinanca]

1/3 Honest question for the infra people here: Terraform, OpenTofu, or Pulumi in 2026?

Context: I work in regulated environments, so my checklist is boring on purpose - state locking I can trust, a plan output an auditor can read,

[Heinan Cabouly @heinanca]

2/3 and upgrades that don't surprise me six months later.

Terraform still wins on ecosystem, OpenTofu on license purity, Pulumi on real languages. But I keep hearing different answers on which one teams would pick today if they started fresh.

[Heinan Cabouly @heinanca]

@naftalibennett נשמע שממש חיפשת לדפוק לעצמך את הקמפיין בקרב הימין.

[Heinan Cabouly @heinanca]

@theagentpod Yes it did, we had to change some networking configurations because things changed between AL2 to AL2023 in the kernel

[Heinan Cabouly @heinanca]

3/3 and an audit trail. A "medium" ticket cost us 10 hours and an incident record.

Lesson I now give every team I work with: treat deprecation notices as P1, even when the vendor doesn't. The quiet ones are the ones that get you.

[Heinan Cabouly @heinanca]

2/3 Then 1.35 made cgroup v1 a breaking change, and the ticket picked its own priority.

The fix itself took 4 hours. The incident paperwork took 6. That's the part nobody budgets for: in FDA-regulated infra, every unplanned change comes with documentation, approvals,

[Heinan Cabouly @heinanca]

@naftalibennett האם אתה מתחייב שקטאר תוכרז כמדינת אויב, על כל המשתמע מכך?

[Heinan Cabouly @heinanca]

@here2daygonetmr @ZuckermanRoy אתה משווה באמת בין לעבור דירה ללעבור מדינה?

[Heinan Cabouly @heinanca]

3/3 3. What breaks silently. The failures that hurt are the ones with no banner and no alert, where a dashboard just looks slightly off.

Upgrade the easy stuff first. Find the hard stuff before it finds you.

[Heinan Cabouly @heinanca]

1/3 Before any EKS upgrade I run three checks. They take ten minutes and have saved me more than once:

1. Node OS. kubectl get nodes -o custom-columns=NAME:.metadata.name,OS:.status.nodeInfo.osImage - anything on Amazon Linux 2 is a problem, not a footnote.

[Heinan Cabouly @heinanca]

2/3 AL2 EKS AMIs are no longer published, and 1.35 won't boot a kubelet on cgroup v1.

2. How nodes get replaced. If Karpenter or an autoscaler provisions them, a bad AMI doesn't fail once - it fails in a loop, launching more broken nodes because none ever go Ready.

[Heinan Cabouly @heinanca]

@ZuckermanRoy ויהיה גם גל עלייה גדול בעקבות המצב באירופה ובארה״ב.

[Heinan Cabouly @heinanca]

@EliGaiger @ZuckermanRoy בשום סיטואציה חוקי היסוד של מדינת ישראל לא יאפשרו לקחת את כלי המאבק. אנחנו לא בברית המועצות או בגרמניה הנאצית. אנחנו בסה״כ חיים במדינה דמוקרטית.

[Heinan Cabouly @heinanca]

@ZuckermanRoy בגלל שאני לא תומך בדעה שלך החלטת שאני לא בכיוון? יפה. או שאולי אני מבין לא פחות ממך וקשה לך להתמודד עם דעה אחרת?

[Heinan Cabouly @heinanca]

@EliGaiger @ZuckermanRoy אוקי ו? מסכים שהממשלה הזו היא דרעק, אז הפתרון הוא לברוח? מספיק חיילים נפלו על הארץ הזו כדי שנרים ידיים ונברח לחו״ל. נשארים, פועלים ויוצרים את השינוי שאנחנו רוצים לראות. אין מדינה טובה יותר היום ליהודים מאשר ישראל.

[Heinan Cabouly @heinanca]

@ZuckermanRoy אז הם לא בוגרים ולא דמוקרטים. בוא נגיד שגם בארה״ב המצב על הפנים, במיוחד במדינות פרוגרסיביות. בינתיים בארבע שנים האחרונות, עם כל הביקורת שיש לי על הממשלה, הבורסה פה עשתה נתונים חלומיים וההייטק בשיאו. מי שלא טוב לו - מוזמן לעזוב. בטוח שיישארו במדינה הזו מספיק אנשים טובים.