物联网是一个非常宽泛的概念，是指各种设备、机器通过互联网连接起来。根据Gartner的一份报告，2019年连接设备的数量已经超过142亿，预计到2021年将达到250亿，这是一个巨大的数字。毫无疑问，我们需要一个物联网大数据平台来处理这些连接设备产生的海量数据。物联网大数据平台需要具备哪些功能？与通用大数据平台相比，它需要具备哪些特点？我们仔细分析一下。1、高效的分布式一定是高效的分布式系统。物联网产生的数据量是巨大的。仅在中国，就有超过5亿个智能电表，每台电表每15分钟采集一次数据。每天，全国各地的智能电表都会产生超过500亿条记录。如此庞大的数据量是任何一台服务器都无法处理的，所以处理系统必须是分布式的，并且可以水平扩展。为了降低成本，节点的处理性能必须是高效的，需要支持快速数据写入和快速查询。2、实时处理必须是实时处理系统。对于互联网大数据处理，大家比较熟悉的场景是用户画像、推荐系统、舆情分析等，这些场景对实时性要求不高，批处理就足够了。但对于物联网场景，需要根据采集到的数据进行实时预警和决策，时延控制在秒级以内。如果计算不实时，物联网的商业价值就会大打折扣。3、高可靠性需要电信级的高可靠服务。物联网系统往往与生产和管理系统相连。如果数据处理系统出现故障，将直接导致停产，造成经济损失，无法为终端消费者提供正常服务。比如智能电表，如果系统出现问题，将直接导致千家万户无法正常用电。因此，物联网大数据系统必须具备高可靠性，必须支持数据实时备份，必须支持异地容灾，必须支持软硬件在线升级，必须支持在线IDC机房迁移，否则可能会导致业务中断。4、高效的缓存需要高效的缓存。在大多数场景下，需要快速获取设备的当前状态或其他信息，用于告警、大屏显示等。系统需要提供一种高效的机制，让用户获取所有或部分满足过滤条件的设备的最新状态。5、实时流计算需要实时流计算。各种实时预警或预测不再是简单地基于某个阈值，而是需要通过一台或多台设备产生的数据流进行实时聚合计算，而不仅仅是基于一个时间点，而是基于一个时间窗口。.不仅如此，计算要求也相当复杂，因场景而异，应允许自定义函数进行计算。6、数据订阅需要支持数据订阅。与一般的大数据平台一致，同一套数据往往被多个应用程序所需要，因此系统应该提供订阅功能，只要有新的数据更新，就应该实时提醒应用程序。而且这个订阅也应该是个性化的，允许应用设置过滤条件，比如只订阅某个物理量的五分钟平均值。7.结合历史数据处理实时数据和历史数据的处理应该合二为一。实时数据在缓存中，历史数据在持久性存储介质中，可以根据时间长短保存在不同的存储介质中。系统应该把存储藏在背后，呈现给用户和应用的是同一个接口和界面。无论是访问新采集的数据还是十年前的旧数据，除了输入的时间参数，其他的应该是一样的。8、数据的持续稳定写入需要保证数据能够持续稳定写入。对于物联网系统，数据流往往是稳定的，因此数据写入所需的资源往往是可以预估的。但改变的是，查询和分析，尤其是即席查询，可能会消耗大量的系统资源，而且不可控。因此，系统必须保证分配足够的资源，以保证数据可以不丢失地写入系统。准确地说，系统必须是先写系统。9、数据多维分析需要支持灵活的数据多维分析。对于联网设备产生的数据，需要进行多维度的统计分析，比如从设备所在区域分析，从设备型号和供应商分析，从设备使用人员分析等等。.而且，这些维度的分析也不是事先想出来的，而是在实际操作过程中根据业务发展的需要来确定的。因此，物联网大数据系统需要一种灵活的机制来增加一定的分析维度。10、支持数据计算，需要支持数据降频、插值、特殊函数计算等操作。原始数据采集频率可能很高，但在具体分析时，往往不需要进行原始收据，而是在数据频率降低后进行。系统需要提供高效的数据降频操作。设备同步困难，不同设备采集数据的时间点难以对齐。因此，要分析特定时间点的值，往往需要进行插值。系统需要提供线性插值、设置固定值等插值策略。好的。在工业互联网中，除了一般的统计运算外，往往还需要支持一些特殊的功能，比如时间加权平均等。11、即席分析查询需要支持即席分析查询。为了提高大数据分析师的工作效率，系统应该提供命令行工具或者允许用户通过其他工具而不是编程接口来执行SQL查询。查询分析的结果可以方便的导出，然后做成各种图标。12、灵活的数据管理策略需要提供灵活的数据管理策略。一个大的系统收集的数据种类繁多，除了收集到的原始数据外，还有大量的派生数据。这些数据具有不同的特点，有的收集频繁，有的需要较长的保留时间，有的需要多份备份以保证更高的安全性，有的需要快速访问。因此，物联网大数据平台必须提供多种策略，让用户根据特点进行选择和配置，多种策略并存。13、开放的系统必须是开放的。系统需要支持业界流行的标准SQL，提供多种语言开发接口，包括C/C++、Java、Go、Python、RESTful等，还需要支持Spark、R、Matlab等，方便集成各种机器学习、人工智能算法或其他应用使大数据处理平台不断扩展，而不是成为孤岛。14.支持异构环境系统必须支持异构环境。大数据平台建设是一项长期工作。每个批次采购的服务器和存储设备都会有所不同。系统必须支持不同等级和配置的服务器和存储设备共存。15.支持边云协同需要支持边云协同。必须有一种灵活的机制将边缘计算节点的数据上传到云端。根据具体需要，可以将原始数据，或处理计算后的数据，或仅满足过滤条件的数据同步到云端，并可随时取消和改变策略。.16、单一的后台管理需要单一的后台管理系统。方便查看系统运行状态、管理集群、管理用户、管理各种系统资源等，系统可与第三方IT运维监控平台无缝集成，方便管理。17.私有化部署有利于私有化部署。因为很多公司出于安全和各种因素的考虑，都想采用私有化部署。而传统企业往往没有强大的IT运维团队，安装部署需要简单、快速、可维护。以上总结了物联网大数据平台的主要功能和特点。虽然物联网大数据平台本身也在不断演进，但总体目标不会改变，即高效、可扩展、实时、可靠、灵活、开放、简单、易维护。
