Oncall Bot और फ्रंटएंड मॉनिटरिंग
ClickHouse टेलीमेट्री पर सापेक्ष बदलाव पर आधारित अलर्ट, साथ में LLM की मदद वाला चैट बॉट, जो टीम के मौजूदा थ्रेड में ही अलर्ट को संभावित मूल कारण में बदल देता है।
- भूमिका
- Senior Frontend Engineer
- अवधि
- 2025–वर्तमान
- टेक स्टैक
- ClickHouse · Alerting service · LLM API · Kubernetes · Internal chat bot
समस्या
NFC जाँच जैसे तीसरे पक्ष को सौंपने वाले चरणों में चुपचाप होने वाला ड्रॉप-ऑफ़ कई दिनों बाद ग्राहक सहायता के ज़रिए पता चलता था। हमारे अलर्ट तय सीमा पर आधारित थे और बहुत शोर करते थे, इसलिए लोग उन्हें अनदेखा करने के आदी हो चुके थे।
तरीका
- तय सीमा नहीं, सापेक्ष बेसलाइन. अलर्ट सर्विस ClickHouse पर SQL चलाती है और हर मीट्रिक की तुलना पिछले हफ़्ते के उसी घंटे से करती है। कन्वर्ज़न में 20% की गिरावट का मतलब टोक्यो में रात 3 बजे और बर्लिन में दोपहर में अलग होता है, और दुनिया भर के ट्रैफ़िक के उतार-चढ़ाव से अब झूठे अलार्म नहीं बजते।
- संदर्भ के साथ आने वाला अलर्ट. अलर्ट चालू होते ही यह आंतरिक चैट प्लेटफ़ॉर्म पर एक इंसिडेंट कार्ड पोस्ट करता है। फिर एक बैकग्राउंड वर्कर ClickHouse से हाल की फ्रंटएंड एरर स्टैक ट्रेस, कॉन्फ़िगरेशन सर्विस से सक्रिय कॉन्फ़िग वर्ज़न और Kubernetes के डिप्लॉयमेंट लॉग इकट्ठा करता है, और उन्हें एक संरचित प्रॉम्प्ट के रूप में एंटरप्राइज़ LLM API को भेजता है।
- थ्रेड में सारांश. बॉट संभावित मूल कारण के साथ जवाब देता है, जैसे: जापान में स्टेप 3 का कन्वर्ज़न 32% गिरा, NFC ब्रिज रैपर में null-pointer एरर, 15 मिनट पहले डिप्लॉय हुआ एक कॉन्फ़िग बदलाव और बैकएंड पर वेंडर गेटवे का टाइमआउट।
नतीजा
पता लगाने का समय घंटों या दिनों से घटकर 5 मिनट से कम हो गया, समस्या कम करने का समय 65% और ग़लत अलर्ट 80% घटे। अलर्ट का सिग्नल-टू-नॉइज़ अनुपात (असली इंसिडेंट से जुड़े अलर्ट का हिस्सा) और फ्रंटएंड मॉड्यूल के लिए विफलताओं के बीच का औसत समय भी ट्रैक किया गया।
ऐसा क्यों
सामान्य अलर्ट सिर्फ़ इतना बताता है कि कुछ टूटा है। डेटा अपने-आप इकट्ठा करके उसका सारांश बनाने से किसी मीट्रिक और उसे किसी व्यक्ति के समझने के बीच की दूरी कम हो जाती है, और प्रतिक्रिया का ज़्यादातर समय यहीं जाता था।