Cool guys don’t look at the explosion. They diffuse pressure instead of amplifying it downwards. They create the time and space for the team to think & act carefully so that they can actually resolve the situation, instead of asking “gimana mas udah bisa belom?” every 5 minutes.
Salah satu kejadian yang bikin 🫡 sama pak boss dulu adalah pas sistem lagi kena issue + DDOS + hack dan gmn cara doi handle itu
Waktu itu hari Sabtu. Jam 7 pagi tiba2 sistem kita down. NodeJS kita kena crash-loop (crash, respawn, crash lagi). Kayanya kena DDOS. Tapi sepertinya juga ada code change yang bikin sistem down. Ditambah ElasticSearch kita somehow ke expose dan index-nya di delete semua sama hacker (ada ransom notesnya juga suruh kirim #Bitcoin ke some address). Sistem kita down setiap 3 menit
4 jam issue-nya ga beres2. Customer ga bisa transaksi sama sekali selama incident. Saya sendiri harus undur kencan sama istri saya. 15 orang dikumpulin, semua DevOps, semua tech lead disuruh bantu, diskusi, debug, repro. Team pada bikin kesalahan pas testing dan debugging karena pada tegang soalnya user bener2 ga bisa transaksi sama sekali
Terus pak boss tiba2 dateng. Dengerin issue 5 menit, terus bilang "ya udah DevOps spawn service baru aja, terus traffic-nya di redirect ke sana dulu, baru ntar kita debug root cause lagi kenapa"
Terus beliau ngilang, ga balik2 (Cool Guys Don't Look at Explosion)
Dan setelah masukan dari beliau, incident berhasil kita mitigasi dalam 30 mins. Sistemnya ga kena DDOS, ga kena hack, dan pake versi kode yang stabil sebelumnya, ga crash-loop
Teamnya lalu berhasil ketemu root cause-nya 3 jam kemudian, di patch, terus kita redirect traffic-nya ke service yang asli
Key takeaway:
1. Ngebersin incident ga selalu harus tau kenapa. Mitigasi dulu issue-nya baru cari root cause. Kalo teamnya panik pas lagi debugging toh juga jadi lama nanti nyari root cause-nya
2. Jangan sampe akses DB ke expose public 🤣
Hayo, berapa banyak dari kalian bekerja sukarela lebih dari 8 jam per hari? Ekosistem kerja fleksibel di era digital memperburuk kesadaran hak buruh kerah putih dibanding buruh lain. https://t.co/ZFweVMka5n