我认为数据爆炸的好处有以下几点:处理能力的提升、处理器的小型化、成本的降低。这些变化的综合结果为从我们的手表到冰箱的几乎所有事物带来了处理能力。这是快速数据的示例。为什么这样的数据被称为快数据呢?原因有二:1、百万终端节点推送流式数据。2、数据更新频率希望在分钟级,秒级更好。这些是机器生成的数据。数据可用于丰富用户体验、优化用户交互和提高企业洞察力。下一代应用可以打破快数据的束缚,进而推动快数据的发展。这适用于传感器应用、日志管理或网站交互。我将在本系列文章中以一个具体的客户案例来说明这一点。我们一直在与一家管理固定资产的公司合作,例如贵金属开采。该公司使用传感器在特定时间段内监控矿山近100,000台设备。如果他们正在寻找丢失的铲子,报告晚几分钟或几小时都没关系。但如果人体上的传感器检测到心脏已经停止跳动,即使不需要立即提示,也应该尽快通知。如果我要构建一个系统来管理这些数据,我会让该系统快速、非常快地接收数据。但是数据事件并不是孤立存在的。继续上面的例子。如果仪器上的传感器从其“授权区域”之外的位置获取数据,我不关心该数据。如果某个传感器即将进入修复状态,我不关心此时采集到的数据。在这种情况下,我会过滤此类传感器事件并使用其他数据来帮助我做出决策,因为系统中的数据是相互关联和相互依存的。(这是业内的一个小秘密:我们常称其为“交易”。)经过统计、聚合、排序等,或者实时分析操作,数据也具有很大的价值。在我看来,数据的实时分析通常有两个目的。船员们想从仪表盘上了解矿井的实时状态,比如有多少个传感器在工作,有多少个传感器不在工作范围内,整体利用率是多少等等。另一类是应用于自动化决策过程的实时分析。例如,如果工人身上的传感器在某个时刻发出环境含氧量变低的信息,这可能是传感器的异常反应。但是,如果系统在过去5分钟内检测到同一区域的所有6名工人的环境氧气水平突然下降,那么这是需要立即引起注意的紧急情况。矿山固定资产管理就是快数据在现实场景中应用的一个例子。它告诉我们需要什么样的系统来管理快速数据。但这只是一个例子。DDoS检测、日志文件管理、广告优化等也有各自对应的模式。1.快速访问数据,提供访问权限。2.尽快处理数据,根据每个事件做出决策,使事件价值最大化。3.数据实时分析,支持自动决策和易于阅读的仪表盘。如果做到了这三点,就可以说是真正用上了快数据,也让数据的应用更加智能化。企业数据架构的构建需要直面快速数据,并在新架构下的深度分析中获得所需的结果。
