由于各种设备产生的数据呈爆炸式增长，新型攻击和复杂威胁快速增加，基于人工智能的自动化异常检测系统越来越多，更流行。异常检测系统可以应用于各种业务场景，管理百万级指标的海量数据，通过数据筛选发现问题。例如，它可以监控金融科技公司的金融交易，以检测其网络中可能存在的欺诈活动、数百万产品的电子商务价格故障等。在应用异常检测系统时，企业应注意以下重要问题，以确保能够实现高效的检测目标：警报的频率是多少（5分钟还是10分钟，1小时还是1天？）可扩展性的需求解决方案（大数据与传统RDBMS数据）本地或基于云的解决方案（Docker与AWSEC实例）异常）报警vs.系统集成下面对以上六个问题进行详细介绍：什么是报警频率：报警频率很大程度上取决于被检测过程的灵敏度，包括反应时间等指标。一些应用的检测要求低延迟，比如在几分钟内检测到用户可疑的欺诈支付交易并提示给用户，以防止银行卡被盗用；某些应用程序的检测不需要特别敏感，例如来自基站的呼入和呼出电话可以聚合到每小时级别，而不是按5分钟的间隔进行测量。因此，可以采取适用性措施来应对敏感告警过多的情况。可扩展的解决方案需求：由于对速度或可扩展性的需求，电子商务或金融科技等行业的企业可能会将数据存储在大数据环境中。在一些大数据场景下，硬件和软件的扩展性需要分别由Hadoop和Spark等系统来处理，而在常规场景下需要考虑RDBMS和Python编程。本地或基于云的解决方案：对于某些业务，例如金融科技和银行业，由于合规性和保密性相关问题，数据不能转储到云端。对于其他一些业务，例如电子商务，可以将数据上传到私有云。异常检测解决方案应考虑这些方面的差异，以了解部署是否可以是用于本地服务的Docker格式或用于基于云的需求的基于云的电子商务解决方案。无监督与半监督解决方案：虽然部署无监督学习算法来检测基于时间序列的数据中的异常是一种常见的解决方案，但这些系统通常会产生大量误报。在这种情况下，如果组织看到大量警报，他们可以根据分数对警报进行优先级排序，并且可以设置更高的阈值分数以增加对关键异常的关注。然而，半监督算法也确实存在，这使得算法能够根据用户对生成的异常的反馈进行再训练，而不会在后期重复此类错误，但重要的是要记住，集成半监督算法确实有自己的挑战。如何阅读各种异常并确定其优先级以采取行动：异常类型根据其性质（例如基于点的、上下文的和集体的）具有不同的处理需求。基于点的异常是从可能是一对一的单个系列生成的异常；上下文异常是在不同时间段内表现异常的异常，否则将被视为正常数据点。上下文异常的一个示例可能是，如果下午的通话量激增不会被视为异常，但如果在午夜出现相同数量的激增，则被视为异常。上下文异常也出现在个别序列上，类似于基于点的异常；最后，集体异常出现在各种数据系列中，这些数据系列聚集起来试图创造一个完整的故事。公司应该定义他们正在寻找的异常类型，以便充分利用异常检测系统。此外，通过基于评分系统对异常进行优先级排序，可以为更高优先级的异常赋予更高的优先级。将警报与系统集成：一旦生成警报，它们就需要与可用的内部系统集成。如果不注意这一点，验证过程将消耗资源，尤其是在误报的情况下。理想情况下，来自异常检测系统的警报应该与电子邮件通知系统、SMS通知系统或任何其他可以向用户发送有关检测到的故障的通知的仪表板系统集成。【本文为专栏作者“安安牛”原创文章，转载请通过安安牛（微信公众号id：gooann-sectv）获得授权】点此查看作者更多好文
