当前位置: 首页 > 后端技术 > Python

大数据监控与数据保障

时间:2023-03-26 17:53:44 Python

野子电竞数据官网改版https://www.xxe.io/全新登场我们目前的数据流程是:数据源数据经过挖掘、加工、转换为生成中间数据并入表,然后将宽表数据提取到PDC中,数据所在的地方有数据源->中间数据->宽表->PDC。目前我们的监控措施是:(1)数据源->中间数据->监控宽表的每条数据流,监控的是每条数据的总量(2)运行监控,监控宽表每条数据每天的变化(3)宽表->PDC有监控每条数据最终总量和数据的简单校验(如校验数据过大,数据过小,数据解密异常,等),虽然大体上可以保证数据的准确性,但是每一项数据的准确性都需要加强。目前想到的加强措施有:(1)对得到的PDC数据,再反向匹配一组代码,对宽表和数据源数据进行校验。(2)加强CodeReview,确保代码逻辑没有问题;加强沟通,确保对数据处理的理解没有歧义。(3)开发一个简单的注重隐私和安全的验证系统,让每个人都可以检查自己的PDC数据,找出数据挖掘的不足并进行优化。