本文主要内容：边缘计算为实时数据分析和建模提供了新的机会。然而，物联网边缘数据模型需要一种不太全面的数据湖和建模方法。数据分析师需要新技能才能在边缘和云端正确分类/提取和管理这些数据。企业渴望使用物联网数据来了解成本、运营及其未来前景。移动设备和物联网设备(IoT)生成的数据使组织能够降低成本、提高运营效率并进行创新。但是，只有组织才能在适当的时候从数据中获取意义。反过来，为数据提供意义和上下文将使数据分析师负责构建传达意义的数据模型。此外，数据量巨大，来自许多不同的位置，而且速度非常快。除了数据湖等整体数据存储外，数据分析师还应设计边缘数据存储以实现速度和实时洞察力，以解决每个业务部门和目的的众多问题。ZhamakDehghani在一篇关于从集中式数据湖获取实时数据的文章中写道：“与其将数据从域流式传输到中央拥有的数据湖或平台，不如以易于使用的方式托管和提供数据它的域数据集。”在边缘尤其如此，即使设备数量激增，计算处理资源也可能非常宝贵。通过边缘计算，数据算法可以在本地服务器或网关甚至设备本身上运行，从而实现更高效的实时计算。对企业至关重要的时间应用程序。机器学习平台Splunk的创新和数字生态系统高级总监LerryWilson说：“边缘将计算能力放在行动发生的地方。”国际数据公司(IDC)的一项新预测估计，到2025年，416亿每个物联网设备或“事物”会产生79.4ZB的数据。这些数据还需要从无数的设备和业务部门获取，通常以不同的格式存储在孤岛中，这增加了额外的复杂性。“复杂性在这些组织中，已经不仅仅是保持这些设备的正常运行，”Wilson说。“你必须能够看到设备如何与设备交互。这也是事实从运营和业务的角度来看。数据量和速度从业者强调，有效地使用边缘计算进行快速数据处理需要不同的数据建模和摄取方法。数据分析师需要考虑数据的使用方式、可以容忍的延迟时间以及其他安全和存储要求。这将需要一种混合数据方法和新的边缘数据模型来支持速度，而不是一个包罗万象的单一数据模型。PeakTechnologies的首席工程师DanSullivan表示：“从数十万个传感器中获取原始数据，在那里进行最少的处理，然后将其余部分发送到一个集中位置——这种方法将变得越来越流行。”因此，例如，如果物联网数据可用于检测关键业务异常，则可能需要立即处理该数据。但是，随着时间的推移，环境数据可能并不重要，可以将其发送到云端或本地数据中心进行进一步处理。与此同时，快速数据准备和清理会阻碍快速数据处理，尽管决策者希望这些数据随时可用。事实上，根据TMMData和数字分析协会(DigitalAnalyticsAssociation），近40%的数据专业人员每周花费20多个小时访问、混合和准备数据，而不是执行实际分析。物联网数据仍然需要这种准备，但分析师表示，现在最好尝试创建更少的数据首先是单体模型，它需要大量的逻辑数据连接。目标是快速摄取数据，然后有针对性地查询数据。“而不是弄清楚一个复杂的so解决方案，我们有两个简单的解决方案——而不是一个单一的解决方案。当问题完全不同时，您不会尝试使用一种数据模型来回答所有问题。“因为数据太多了，所以你想快速定位数据的一个子集。”Sullivan指出，一些数据也可能会被发送到云端用于机器学习和算法训练。这些数据可能不需要这么低的延迟或这么快的周转时间“从机器学习的角度来看，原始数据很重要，”Sullivan说，“它没有异常检测数据的延迟要求。”您可以对该数据进行机器学习分类，然后慢慢将其加载到云对象存储中。”这种新的数据建模方法呼应了有关物联网数据管理的论文，声称物联网数据模型需要更加灵活以适应实时数据管理和大量数据。“虽然并行关系[数据库管理系统(DBMS)]已被证明优于非结构化DBMS范例，但从关系模型转向支持更灵活的数据库结构的数据库模型正变得越来越流行。”物联网数据管理技能仍然是一个barrier专家一致认为，这些关于数据去向以及如何充分利用数据的决策需要独特的技能。RashiDeshai在一篇关于数据科学家的顶级技能的文章中写道：“数据科学家是……所有行业的大师。”“他们必须了解数学、统计学、编程、数据管理（和）可视化……80%的工作都花在准备数据以在行业环境中处理。”随着数据量的不断爆炸式增长，数据管理已成为数据科学家的一项技能。但是，组织内部可能缺乏这些技能。他们要么需要通过额外的教育和培训来发展这些技能，要么应该争取第三方合作伙伴关系沙利文说：“这一举措将与人同行。”“很少有人了解如何大规模处理数据。”在本地做这件事很昂贵，但需要大量的工程经验。需要可以编写数据工程管道的人从中提取价值。”正如另一位数据管理人员指出的那样，这需要具备万事通的技能组合。这些数据反映了IT数据管理方面的长期技能短缺。根据IoTWorldToday的2020年8月物联网采用调查，缺乏内部技能阻碍了物联网项目：27%的受访者表示，他们缺乏专业知识阻碍了物联网部署。Splunk的Wilson表示，运营和IT之间的孤岛也是一个障碍，但OT开始看到边缘自动化和机器学习的好处。“人们开始部署用于实时机器学习的工具和流程，”Wilson说。“他们正在接受这个概念，并正在为实现它所做的工作。”
