https://nuteo.info/tags/postmortem/Recent content in Postmortem on nuteo.infoHugoth© 2026 NuteoMon, 03 Aug 2026 00:00:00 +0000https://nuteo.info/blog/postmortem-postgres-outage/Mon, 03 Aug 2026 00:00:00 +0000https://nuteo.info/blog/postmortem-postgres-outage/<h1 id="postmortem-วนท-postgres-ทำเวบลม">Postmortem: วันที่ Postgres ทำเว็บล่ม</h1> <blockquote> <p><strong>สรุปสั้น</strong>: Index ที่หายไปใน foreign key column รวมกับ cron job ที่รัน ตอน peak hours ทำให้ billing API ล่ม 47 นาที</p> </blockquote> <h2 id="timeline-เวลา-utc-ทงหมด">Timeline (เวลา UTC ทั้งหมด)</h2> <ul> <li><strong>14:00</strong> — Cron job เริ่ม: <code>cleanup_old_invoices.sh</code></li> <li><strong>14:02</strong> — ลูกค้าแจ้ง checkout ช้า</li> <li><strong>14:05</strong> — PagerDuty alert: API latency p99 &gt; 5s</li> <li><strong>14:08</strong> — On-call engineer (ผม) เปิด laptop</li> <li><strong>14:14</strong> — ระบุได้: Postgres CPU 100% มี <code>DELETE</code> queries รอหลายร้อยตัว</li> <li><strong>14:22</strong> — Kill cron job แบบ manual → queries drain ใน ~30s</li> <li><strong>14:25</strong> — Service เริ่มฟื้น</li> <li><strong>14:47</strong> — ฟื้นเต็มที่ replication catch up แล้ว</li> </ul> <p><strong>ผลกระทบ</strong>: 47 นาทีที่ service ช้า ~120 transactions fail</p>