AWS console'da yaptığım değişiklikleri terraform'a aktarmayı unutunca yaşanan kriz
beyler geçen ay başıma öyle bir olay geldi ki, hala düşününce terliyorum. bizim e-ticaret platformunun load balancer'ında değişiklik yapmam gerekiyordu. hani malum black friday yaklaşıyor, sistemin sağlam durması lazım. neyse ben de aws console'a girip health check ayarlarını güncelledim, bi kaç security group rule'u ekledim. sonra da "oh mis gibi oldu" deyip çıktım.
2 hafta sonra tatildeydim, bizim junior devops engineer terraform apply yapmış. tabii benim console'dan yaptığım değişiklikler terraform state'de olmadığı için revert olmuş. cuma akşamı 8'de telefon geldi, "abi sistem çöktü, kimse bağlanamıyor" diye. meğerse ben console'da yaptığım değişiklikleri terraform'a yazmayı unutmuşum, çocuk da apply yapınca bütün ayarlar uçmuş.
3 saat boyunca arabada laptop açık, telefonda bizim team ile konuşarak production'ı ayağa kaldırmaya çalıştım. karım yanımda "hani tatildeydik?" bakışları atıyor, ben de ona "5 dakikaya hallolacak aşkım" diye 6. kez açıklama yapıyorum. neyse ki cloudwatch loglarından eski ayarları bulup düzeltebildik de kurtardık durumu.
şimdi ofiste "infrastructure as code" diye bir yazı var, altında da benim fotoğrafım. tam bir ibret-i alem oldum valla. console'a girerken bile iki kere düşünüyorum artık 😅