当前位置: 首页 > Linux

记一次mysql数据完整性排查的经历

时间:2023-04-06 20:17:10 Linux

背景使用python脚本监控特定进程的资源使用情况,并存入数据库;在每个进程关闭后将日志写入特定目录(日志/日期/小时)。现在需要记录比较数据中存储的数据的一致性问题。总数统计对比:1.可以递归遍历查询日期下目录下的数据,查询日志总数。脚本如下:ls-lR|grep"_20210903.log.gz$"|wc-l2。您可以使用重复数据删除查询对数据库中的总数进行distinct执行mysql重复数据删除查询操作。selectdistinct(process_id)fromserver_process_perf_by_secondwhereprocess_namein("name1","name2")anddate="20210903"结果可以查看日志监控503进程PID。日志监控到的数据是179条数据,两个数据不一致,所以mysql记录的数据中有缺失数据。需要进一步分析哪些过程的PID数据有问题。比较数据明细导出数据保存在Excel表格中使用公式输入以下公式:=COUNTIF($A$2:$A$500,B2)然后比较数据。比较的结果如图所示。调查。