关于作者：阿里巴巴云EMR-Olap团队；主要负责开源大数据OLAP发动机的研究和开发，例如Clickhouse，Starrocks，Trino等。为阿里巴巴云用户提供一个停机大数据OLAP解决方案的阿里巴巴云用户。
内容
Flink和Clickhouse分别是Real -Time流计算和OLAP的领导者。互联网，广告，游戏和其他客户的许多客户都使用它们来构建用户肖像，实时BI报告，应用程序监视指标，监视和其他服务，形成真实的 - 时间真实 - 泰米西仓库解决方案（如图所示，1）这些企业非常严格，具有数据的准确性，因此实时仓库的整个链接都需要确保端到端的恰到好处。
一般而言，Flink的上游是可以反复读取或消耗的基于拉力的持久存储（例如Kafka）。为了实现源侧的狭义，您只需要追溯源侧的读取进度。源端的准确端口更为复杂，因为水槽是基于推动的，并且需要依靠交易保证目标输出系统，但社区Clickhouse不支持交易。
因此，为了应对这种情况，阿里巴巴云EMR Clickhouse和Flink团队在深入的研究和开发中，支持Flink完全通过Flink撰写Clickhouse，以确保整个实时位置数据的准确性。这篇文章将介绍现有的机制和实施计划。
图1实时仓库架构
点击室写作机制
Clickhouse是MPP体系结构的列OLAP系统（请参见图2）。每个节点相等。通过Zookeeper的协同数据，您可以使用复杂的数据在各种节点中编写大量数据。
Clickhouse的数据部分是数据存储的最小单元。当Clickhouse收到的数据块将根据分区粒径分开以形成一个或多个数据部分。编写磁盘后，数据部分将通过背景合并线程连续合并，以将小片段数据合并到一个大数据部分，可减少存储和阅读的开销。
将数据写入本地表时，Clickhouse将首先编写临时数据部分。客户不可见此临时数据部分数据。之后，将直接执行重命名操作以使此临时数据部分正式数据部分。客户可以看到ThisData。几乎所有临时数据零件将很快成功成为正式的数据部分，而重命名不成功的临时数据部分最终将从磁盘中删除Clickhouse清洁策略。
通过上述分析，可以看出，Clickhouse的数据具有已转换为从临时数据部分转换为正式数据部分的机制。修改可以符合两个阶段提交协议，这是实现分布式系统中交易一致性的重要协议。
图-2 Flink作业写入Clickhouse
注意：多个Flink任务可以编写相同的碎片或副本
弗林克写作机制
Flink作为分布式处理引擎，提供了基于交易的水槽机制。这种机制可以确保书面恰好是一条。相应的数据接收器需要提供遵循XA规范的JDBC。由于完整的XA规格非常复杂，因此我们首先对Flink的处理机制进行排序，并结合Clichouse的实际情况，以确定需要实现的接口范围。
为了在分布式写作过程中实现统一的交易，Flink利用了检查点机制。该机制可以定期在每个操作员中生成快照，并持久存储。操作员，一次检查点有三个阶段，初始化 - >生成快照 - >完整/废弃的检查点。从协调器的角度来看，需要定期触发检查点，并且所有操作员都完成了快照后，请触发完整的通知。
接下来介绍Flink操作员如何使用交易和检查点机制来确保一项。操作员的完整执行需要通过初始，写入，快照，提交和关闭阶段。
初期：
写入舞台：
快照阶段：
完成阶段：
在所有操作员的快照阶段正常完成之后，协调员将通知所有操作员以执行成功检查点的完整操作。在与ClickHouse的交互中，操作员提供的交易拨打了操作员提供的Commit（）接口。
关闭阶段：
从上面的过程中，可以总结一下Flink根据检查点和交易机制将上游数据划分上游数据，以确保检查点周期以确保所有数据完成后完成每批数据，然后所有操作员将由协调通知所有操作员为了完成提交操作。当操作员因失败而编写时，它将返回到最后一个成功的检查点的状态，并根据快照记录的XID对此组检查点的所有XID进行回滚操作。未能操作，将重复进行提交操作，并且失败仍将移交给人工干预。
总体计划
根据Flink和Clickhouse的写作机制，您可以描绘夹克交易的Flink的正时图（如图3所示）。由于Clickhouse的本地表面是编写的，并且交易的统一提交由协调员，ClickHouse不需要在XA规范中实现标准分布式交易。它只需要在两个阶段提交协议中实现一些关键接口。其他接口位于JDBC侧。缺陷。
图-3 Flink到ClickHouse交易是及时编写的。
ClickHouse-Server
状态机
为了实现Clickhouse的事务，我们首先定义了实施交易允许的几项操作：
完整的状态机在下面的图4中显示：
图-4 Clickhouse服务器支持交易状态机器
该人物中的所有行动都是权力的。在他们的社区中，交往和中止的社区不需要执行任何操作。启动提交或回滚时，交易状态会转换为犯罪或流产。
事务处理
客户端通过HTTP Restful API访问ClickHouse服务器，以及在客户端和Clickhouse服务器之间完成的完整交易之间的完全交易过程，如图5：
图-5 Clickhouse交易处理计时图
正常过程：
例外：
Clickhouse-jdbc
根据XA规范，完全需要实现大量标准接口（参考附录2）。在此设计中，需要实现少量的关键接口。因此，使用组合的适配器模式来为FLINK提供基于标准XA接口的Xaresource实现，同时，它阻止了不需要支持ClickHouse服务器的接口。
为了实现Xadatasource，采用了基于继承的适配器模式，并为恰好的特征进行了修改，例如，失败的恢复数量。
此外，在生产环境中，分布式表通常不是分布式的，但是当数据通过SLB编写时，负载平衡。在恰好的情况下，Flink侧的任务需要保持连接到某些ClickHouse的连接服务器节点，因此无法在SLB的方法中使用负载平衡。在对此问题的响应中，我们借用了Balanceclickhousedatasource的想法。通过在URL中配置多个IP，并将Write_mode设置为“利润配置”中的随机，Xadatasource在保护精确的同时具有负载余额。
Flink-Connector-Clickhouse
Flink作为流数据处理引擎，支持写入各种数据接收终端的能力。每个接收器都需要实现一个特定的连接器。确切地说，ClickHouse Connector为Xadatasource添加了选项配置，并根据客户端的配置提供了精确的函数。
ClickHouse交易绩效测试
图-6 ClickHouse写作绩效压缩测试（1）
图-7 ClickHouse写作绩效压缩测试（2）
Flink写下ClickHouse性能比较
对于相同数量的数据和不同的检查点周期，Flink的总耗时时间显示在图8中。在5s到60s的范围内，完全开放的开放时间需要时间来显示降低然后增长的趋势。原因是，当检查点周期短时，精确交易之间的相关交易之间的交互点击室太常见了；当检查点周期相对较长时，精确的操作员需要等待检查点周期提交最后一次事务。将数据可见。在此测试中，检查点周期数据仅用作为参考。在生产环境中，需要根据机器规格和数据编写速度进行调整。
图-8 Flink写入Clickhouse测试
EMR Clickhouse实施的交易不是很完整。它仅支持支架 - 积极交易，并且不支持分布式交易。分布式系统通常支持通过Meta服务器进行分布式交易机制来进行统一的元数据管理。在目前，我们还计划设计点击室内服务器以支持分布式交易。同时，它可以消除Clickhouse对动物园管理器的依赖性。