高端数据技术:预测未知未知的危险——事故预防的多维分析多维分析实现了监控系统的事故预测,提高了监控系统的性能,形成了安全预警机制。▼事故预测需要获取有意义且可靠的信息,大量的原始信息流需要在危机发生时进行分析和处理。基于以上背景,tecdat研究人员专注于事故情报数据的收集和相关信息的分析,通过时间、地点、语义等不同维度的分析获取有价值的信息,并尝试通过机器学习的方法对事故进行预测。▍时间维度事故分析通过事故在时间维度(日期和时间)的分析,可以洞察不同类型事故的高发高峰时间和高发月份,从而进行有效的预防。通过结果的可视化,我们可以发现不同时间、不同月份的事故发生率存在一定的差异,因此可以在后续的预测模型中构建相应的时间虚拟变量来提高准确率。▍不同的事故类型通过分析所有事故数据类型的占比,可以发现出行事故发生率最高,也远高于其他类型,其次是触电事故等(注:部分事故属于多种类型)▍事故报告语义分析通过对事故报告的语义分析,我们可以找到报告中频繁出现的关键词,从中我们可以洞悉哪些关键词通常与某类事故相关联,并分析其背后的原因,从而进行有效的预防。▍安全事故预测模型在获取事故不同维度的基本特征后,我们通过SVM算法利用这些特征来预测不同类型事故发生的可能性,采取有针对性的措施,避免未知事故造成的损失,达到的效果整治。▍技术SVM(支持向量机)用于构建、验证和测试数据集模型。在Spark/MLLib/Scikit-Learn/HDFS中重构以处理更大的数据集。▍结果模型预测准确率达到82.5%。
