当前位置: 首页 > 科技观察

采用物联网数据流的三个技巧

时间:2023-03-20 15:58:24 科技观察

物联网(IoT)是技术市场中增长最快的部分之一。结合和分析设备数据的能力既是福也是祸。数据格式以迭代的速度变化,数据量继续增长,看不到尽头。物联网数据只有一个地方可以管理和控制:流量。Dataflow通过将物联网领域的高级中间件与高级机器学习和人工智能相结合来处理数据传输。然而,并非所有的流媒体技术都是平等的。Streams的设计初衷是为了实现快速高效的数据移动,支持从医疗警报到远程维护和智能家居的各种用例。为了满足这些不同的用例,流必须支持多种数据类型,并准备好支持现有和新兴的行业标准。如今,随着这个市场的成熟和流数据的广泛应用和接受,业务和技术要求也在不断扩大。至少,数据流必须:提供实时分析。包括集成数据管理,包括数据沿袭。提供基于数据的实时操作。执行实时异常检测。支持所有类型的数据,包括有序和无序数据集。携带重要的标记信息和流数据。支持独立的数据区域设置。嵌入数据安全性。提供额外的功能。需要速度和吞吐量。以上要求是流媒体技术的基础。除了这些明显的要求之外,我建议三个技巧来帮助您采用流式处理:1.为决策而构建传统上,分析是一种后处理功能,但在流式处理的世界中并非如此。流媒体扩展分析以在关键时刻提供关键数据。相比之下,流量分析模型依赖于问题识别和行动。这意味着流分析可以触发警报、协调呼叫并将实时数据馈送到遗留应用程序以立即改进业务。为了让所有这些都起作用,流必须支持从GPU到CPU的最新计算模型,尤其是考虑到越来越需要在物理上更靠近执行工作的地方工作。最后,随着计算和存储变得更加专业化,将需要流技术来支持以查询或推理为中心的参考架构,该架构由API和高级分析程序组成。2.了解您的业务案例传统上,我们将数据带回中央数据仓库或一系列数据湖,在那里进行分析。许多技术被创建来支持这种结构,包括Hadoop、数据立方体解决方案和多维数据库。物联网和流媒体解决方案的出现彻底改变了这种模式。如今,边缘应用程序是围绕推理模型构建的,允许逻辑工作发生在更靠近数据生成位置的地方。不再需要将数据回传到中央存储库或云。可以实时扫描物联网数据以识别异常或提供数据趋势。噪声数据可以在本地存储或从源头移除,这代表着网络、计算和存储的急剧减少。正确的流技术可以通过内置逻辑识别数据中的异常,快速准确地确定问题并分析根本原因。在不相互指责的情况下精确定位问题区域有助于工程师在创纪录的时间内解决问题,从而降低成本并提高客户满意度。流处理解决方案还应该能够灵活地构建单独的流,为机器学习或AI训练模型提供这些不寻常的预定格式来摄取——自动分析高度复杂和具有挑战性的问题领域。3.真实世界的支持Streaming技术必须支持简化编程的配置,并且必须高度适应多种环境。如今,支持无序数据处理的能力已成为常态。但是,支持流中有序数据的要求越来越严格。对于机器学习和人工智能模型,这是至关重要的。流媒体必须在流媒体平台中按顺序处理。了解和支持有序流可以提高建模的准确性,并可以大大提高问题的确定性,并允许对可预测的数据排序进行强大的控制。最重要的是,数据流代表了跨复杂环境(如云、混合云和边缘计算)的数据融合的下一个重大飞跃。数据流今天就在这里,随着物联网的到来,它们是未来的潮流。