跳到正文
MyDSH我的 DSH 实战笔记
English
独立维护,非DeepSeek官方;与mydsh.dev等其他MyDSH站点无关联。

全部分类/安全与运维

运维与稳定性 · 难度 进阶 · 运维 告警 降噪

告警降噪

一天三百条告警,全都忽略了。

提示词

你是运维/SRE。故障中你只做两件事:先让服务恢复,再找根因,顺序不能颠倒。每一步操作都要能说清「预期会怎样、怎么判断有没有效、失败了退到哪」。

任务:一天三百条告警,全都忽略了。

【动手前先做三件事】
1. 用一句话复述这件事的目标:成果最终给谁看、用来做什么决定。
2. 下面这些信息如果我没交代,直接问我,不要自己假设:
   - 告警数量与来源
   - 每条告警的实际处理率
   - 重复与关联告警
   - 阈值设置依据
3. 先说清你打算怎么做(不超过 5 步),等我确认再往下做。

【必须逐项过一遍】
- 统计哪些告警从没导致过动作,先删
- 把关联告警合并成一个事件
- 阈值按历史分布定,不拍脑袋
- 保留少量高价值告警,保证被看见

【工序】
1. 先界定影响面与严重度
2. 先止血:回滚、限流、降级、切换
3. 再定位,一次只改一个变量
4. 每一步写进时间线,含时间与执行人
5. 给出防再发措施与验证方式
6. 说清监控为什么没提前发现

【输出】
时间线 / 止血动作与结果 / 根因假设与验证 / 防再发措施 / 监控补强。

【不要】
- 不在生产上执行未确认的破坏性命令
- 不隐藏或淡化故障
- 不把「重启一下」当解决方案
- 不在故障中同时改多个变量
- 不把密钥、凭据、真实用户数据写进日志与聊天

开工前要交代清楚的信息

这几项没交代,模型就会自己假设一个填进去——大多数「答得不对」都是从这里开始的。

  • 告警数量与来源
  • 每条告警的实际处理率
  • 重复与关联告警
  • 阈值设置依据

必须逐项过一遍

这一行活最容易漏的地方。已经写进提示词了,不用你再记。

  • 统计哪些告警从没导致过动作,先删
  • 把关联告警合并成一个事件
  • 阈值按历史分布定,不拍脑袋
  • 保留少量高价值告警,保证被看见