Frontend Uyarıları ve Yapay Zekâ Destekli Önceliklendirme Botu
Telemetrideki göreli değişime dayalı uyarılar ve bir uyarıyı olası kök nedene çeviren, LLM destekli bir sohbet botu; ekibin zaten çalıştığı ileti dizisinde.
- Teknolojiler
- SQL · Alerting service · LLM API · Kubernetes · Internal chat bot
Sorun
Üçüncü taraflara devir sırasında yaşanan sessiz kayıplar günler sonra müşteri desteği üzerinden fark ediliyordu. Uyarılar eşik tabanlıydı ve gürültülüydü; insanlar onları görmezden gelmeyi öğrenmişti.
Yaklaşım
- Sabit eşikler yerine göreli referanslar. Uyarı servisi telemetri deposunda SQL çalıştırır ve her metriği geçen haftanın aynı saatiyle karşılaştırır. %20’lik bir düşüş bir bölgede gece 3’te de, başka bir bölgede öğle vakti de bir şey ifade eder; küresel trafik dalgalanmaları artık yanlış alarm üretmez.
- Bağlamla gelen uyarı. Bir uyarı tetiklendiğinde ekip sohbetine bir olay kartı gönderilir. Ardından bir arka plan işçisi son frontend hatalarını, etkin yapılandırma sürümünü ve dağıtım günlüklerini toplar ve yapılandırılmış bir istem olarak bir LLM API’sine gönderir.
- İleti dizisinde bir özet. Bot olası bir kök nedenle yanıt verir; örneğin: bir adımın dönüşümü bir bölgede düştü, yerel bir sarmalayıcıda null-pointer hatası var, 15 dakika önce bir yapılandırma değişikliği yayına çıktı ve aşağı akıştaki bir servis zaman aşımına uğruyor.
Sonuç
Tespit süresi saatlerden veya günlerden dakikalara indi, hafifletme süresi kısaldı ve uyarılar insanların güvendiği uyarılara dönüştü. Ayrıca uyarıların sinyal-gürültü oranını (gerçek olaylara karşılık gelen pay) ve frontend modülleri için arızalar arası ortalama süreyi izledim.
Neden bu yol
Sıradan bir uyarı bir şeyin bozulduğunu söyler. Veriyi otomatik toplayıp özetlemek, bir metrik ile onu anlayan kişi arasındaki boşluğu kapatır; müdahale süresinin büyük kısmı da tam orada kayboluyordu.