2016年，图灵奖获得者YannLeCun表示，未来机器学习技术的核心挑战是从未标记和未处理的原始数据中学习知识，即无监督学习。他认为无监督学习一定是人工智能发展的未来。经过多年的发展，无监督学习技术的实际应用能力受到了业界的关注，并在自然语言处理、视觉图像学习等领域取得了重大突破。随着新型网络威胁和攻击的不断增多，安全研究机构也开始尝试使用无监督学习技术来应对挑战，尤其是层出不穷的未知威胁挑战。无监督学习的价值无监督学习技术属于机器学习的一种，但与传统的机器学习模型不同，无监督学习几乎不需要人为干预算法模型的“训练”。乍一看，这种方法似乎不合理，因为企业普遍的思维方式是：只有通过反复训练，机器学习模型才能有效识别和发现潜在的网络攻击；但现实情况是：因为企业安全团队在构建机器学习模型时，无法充分考虑所有可能的攻击方式。因此，通过传统模式训练建立的机器学习模型在应对未知威胁方面效果有限，难以真正体现智能的价值。无监督机器学习不能直接适用于基于规则的安全回归模型，因为它不需要知道输出值可能是什么，所以不像传统机器学习模型那样训练。可以这样理解：我们在学校考试的时候，会有题目和标准答案；考试的成绩取决于实际答案与标准答案的接近程度。但如果没有标准答案，我们如何评价考生呢？无监督学习方法利用聚类学习、特征映射、密度估计等评估过程和智能分析技术，特别是一些在人工模型学习下可能被忽略的评估方法，识别和分析那些存在隐患的威胁行为，并提醒安全团队关注这些可能存在但未被识别的网络威胁。这个过程不需要通过真实的攻防演练或者虚拟的攻击场景来实现，可以最大程度实现自动化，减少人为干扰。企业安全人员每天都面临着大量的告警信息，一些异常行为很难被发现或容易被忽视。无监督学习方法可以更合理地利用资源，提高效率。并且无监督学习方法可以作为避免网络攻击的预防措施，这可以帮助安全团队更加主动地预防威胁和实时响应。无监督学习的应用与实现作为一项尚未被广泛应用和成熟的新兴技术，无监督学习在应用于企业实际网络威胁检测场景时将面临诸多挑战和困难。经过研究机构的试验和验证，考虑采取以下步骤帮助企业更好地实施无监督机器学习模型：1.明确无监督学习的应用场景并非所有的网络安全工作流程都适用于无监督学习模型。例如，无监督学习机器学习模型在防止数据泄漏方面可能不是很有用，但它们在帮助安全人员发现未知网络攻击企图的早期迹象方面非常有用。组织应仔细审查当前的网络安全政策和流程，以确定在不中断网络安全团队工作的情况下可以在何处使用和实施无监督学习模型。2.为无监督学习方法的成功实施建立基准在让无监督学习模型运行之前，需要建立一些基准。这将有助于企业和安全团队了解无监督学习模型的功能和价值，从而明确认知无监督机器学习模型是为了提高安全防护，而不是给企业增加额外的工作。此外，企业需要创建一个流程来验证无监督模型，以确保模型能够正确分析数据。当安全团队能够准确掌握无监督学习方式实施后的结果和问题时，就可以根据需要进行适当的调整。3.及时做好应用效果监测和报告工作。无监督学习方法的机器模型经过网络威胁和网络攻击检测训练后，安全风险监控报告的处理是下一步确保企业网络安全的关键步骤。尽管无监督学习方法对于未知威胁的风险监控具有价值，但仍难以避免数据误分析和误报的可能性。使用无监督学习方法训练的人工智能模型需要对海量未经处理的原始数据进行准确分类和聚类。因此，有必要建立检测流程，纠正流程中可能出现的错误。人工智能模型对接企业内部安全防护模块后，人工监控也不能放松，因为通过人的智慧判断和排查网络安全风险，仍然是网络安全防护的重中之重。是人工智能无法替代的。参考链接https://dzone.com/articles/using-unsupervised-learning-to-combat-cyber-threat
