AI平台
前端告警与 AI 辅助分诊机器人
基于遥测数据的相对变化告警，加上一个由 LLM 辅助的聊天机器人，在团队日常工作的讨论串里把告警变成可能的根因。
- 技术栈
- SQL · Alerting service · LLM API · Kubernetes · Internal chat bot
问题
第三方交接环节的静默流失，往往几天后才通过客服反馈发现。告警基于固定阈值，噪声很大，大家早已习惯忽略它们。
方案
- 相对基线，而非固定阈值。 告警服务对遥测存储运行 SQL，把每个指标与上周同一小时比较。下降 20% 在某个地区的凌晨 3 点和另一个地区的正午都意味着出了问题，而全球流量的起伏不再引发误报。
- 带上下文的告警。 告警触发时，会在团队聊天中发布一张事件卡片。后台任务随后收集最近的前端错误、当前生效的配置版本和部署日志，作为结构化提示发送给 LLM API。
- 讨论串里的摘要。 机器人回复可能的根因，例如：某一步骤在某个地区转化率下降、原生封装层出现空指针错误、15 分钟前发布了一次配置变更、下游服务正在超时。
结果
发现时间从数小时或数天降到几分钟，缓解时间缩短，告警也变成了大家信任的信号。我还跟踪了告警信噪比（真正对应事件的告警占比）和前端模块的平均故障间隔时间。
为什么这样做
普通告警只告诉你出了问题。自动收集数据并加以总结，缩短了指标与人的理解之间的距离，而响应时间的大头正是耗在这里。