当前位置: 首页 > 后端技术 > Python

HStreamDB快报2022-06|全新集群机制、可视化监控、Python客户端发布...

时间:2023-03-25 23:06:43 Python

本月HStreamDB团队重点开发v0.9,已完成HServer去中心化集群、HStreamIOEmbedded的切换Runtime和CDCSourceConnector开发,并带来了新的Grafana监控集成和第一个可用的Python客户端的正式发布。此外,与EMQX团队合作完成了HStreamDB与EMQX的集成。HServer采用新的集群机制目前,我们已经初步完成了HServer集群机制从基于ZooKeeper的中心化方案向基于SWIM的去中心化方案的切换[1]。主要目的是支持更大的集群和更好的扩展性能,同时减少对外部系统的依赖。未来,我们将继续对新的集群机制进行更多的测试和改进,该功能将在v0.9正式发布。HStreamIO支持CDC。SourceHStreamIO是HStreamDBv0.9即将发布的内部数据集成框架,包括sourceconnector、sinkconnector、IORuntime等组件。企业数据栈高效流通、实时价值释放。本月,我们完成了针对各种数据库的EmbeddedIORuntime和CDCSourceConnector的开发,包括:MySQL、PostgreSQL、SQLServer等,可以高效实现这些数据库数据到HStreamDB的增量实时同步。新增Grafana监控集成为了方便HStreamDB集群的运维和管理,我们新增了基于Prometheus和Grafana的监控支持,Grafana是目前业界主流的监控方案。HStreamDB内部的监控数据会通过Exporter存储到Prometheus中,然后通过Grafana面板进行可视化。目前的效果如下图所示。更多监控内容请参考文档https://hstream.io/docs/en/la...Python客户端正式发布这个月,我们正式发布了HStreamDB的Python客户端hstreamdb-pyhttps://github.com/hstreamdb/hstreamdb-pyyv0.1.0支持HStreamDBv0.8,目前具备数据批量写入、订阅消费、资源管理等核心功能。欢迎使用和反馈。相关安装说明请参考https://pypi.org/project/hstr...,更多使用文档请参考https://hstreamdb.github.io/h...支持与EMQX集成EMQX是由EMQ开发的全球领先的开源MQTT消息服务器,广泛应用于物联网领域。本月通过与EMQX研发团队的合作,我们完成了EMQX与HStreamDB的高效集成,将帮助用户实现一站式的物联网设备连接、数据访问、持久化存储和实时分析。详情请参考https://www.emqx.com/zh/blog/...[1]:Das,A.,Gupta,I.andMotivala,A.,2002,June.Swim:可扩展的弱一致性感染式进程组成员协议。在关于可靠系统和网络的国际会议记录中(第303-312页)。IEEE。版权声明:本文为EMQ原创,转载请注明出处。