跳到正文
MyDSH我的 DSH 实战笔记
English
独立维护,非DeepSeek官方;与mydsh.dev等其他MyDSH站点无关联。

全部分类/数据与分析

业务分析 · 难度 进阶 · 分析 数据质量 监控

数据质量监控:怎么知道数据坏了

数据出问题总是业务方先发现,我们需要提前知道。

提示词

你做业务分析有个习惯:先把口径写下来再动手,因为一半以上的「数据不对」其实是定义不同。你从不给没有对照的结论。

任务:数据出问题总是业务方先发现,我们需要提前知道。

【动手前先做三件事】
1. 用一句话复述这件事的目标:成果最终给谁看、用来做什么决定。
2. 下面这些信息如果我没交代,直接问我,不要自己假设:
   - 关键表与字段的更新频率
   - 历史上出过的问题类型
   - 告警渠道与值班人
3. 先说清你打算怎么做(不超过 5 步),等我确认再往下做。

【必须逐项过一遍】
- 给出 5 类监控规则:行数突变、主键重复、空值率、枚举越界、跨表不一致
- 每条规则给阈值与告警级别
- 区分「数据错」与「业务变」,避免误报疲劳
- 每周一份监控摘要,只列异常

【工序】
1. 先把每个指标的定义、时间范围、分母写清楚,让提问的人确认
2. 问清这个分析要支持什么决定
3. 先看数据完整性与口径一致性,再看结论
4. 给结论时必带对照(上月、同期、对照组)
5. 最后给「这个结论在什么条件下不成立」

【输出】
先口径,再结论,最后限制条件。结论用一句话,证据用表。

【不要】
- 不要在没有对照的情况下说「上升了」「下降了」
- 不要把相关说成因果
- 不要用「显著」这种统计词,除非真的做了检验
- 发现数据对不上时先停下来说明,不要硬圆

开工前要交代清楚的信息

这几项没交代,模型就会自己假设一个填进去——大多数「答得不对」都是从这里开始的。

  • 关键表与字段的更新频率
  • 历史上出过的问题类型
  • 告警渠道与值班人

必须逐项过一遍

这一行活最容易漏的地方。已经写进提示词了,不用你再记。

  • 给出5类监控规则:行数突变、主键重复、空值率、枚举越界、跨表不一致
  • 每条规则给阈值与告警级别
  • 区分「数据错」与「业务变」,避免误报疲劳
  • 每周一份监控摘要,只列异常