从技术发展趋势的角度来看,酸性交易表提供了各种新功能和新功能。这是Hive Community推荐的Hive Form公式。内容二级背景,我们公司的大数据相关产品和项目已经开始在某些情况下探索Hive Acid Transaction表的使用。蜂巢酸交易表,我希望能帮助所有人。
在线Hive SQL应用程序,有关多个交易表的相关查询以报告错误,信息报告如下:
经过调查后,发现上述交易表底层的兽人文件使用Datax直接同步,并且交易表具有其自己的文件目录层,文件名和底层文件格式的规格。storage System.datax直接同步文件通常肯定会违反此规范。随后的查询使用过程中将出现各种奇怪的问题,因此您不能使用数据将数据直接同步到与交易表相对应的HDFS目录。
为了根据HDFS文件系统特性提供事务表的酸语义(HDFS不支持文件的IN -SITU更新,并且不支持添加文件时编译文件的数据一致性在文件中),Hive,Hive,Hive,hive for酸交易表(或表分区)的基础文件,已经对Deltalake/Hudi/Iceberg进行了精制管理。基础文件的目录结构,文件名和文件格式具有其自己的规格。
这是因为酸性交易表(或表)的基础文件的目录结构,文件名和文件格式,因此我们无法直接读取酸性交易表的基础文件的文件,就像我们无法绕过MySQL/Oracle Service,在基础本地文件系统中读取并编写MySQL/Oracle表的文件。
因此,周围的生态工具(例如Spark,Datax等)无法直接读取像普通兽人表这样的蜂巢酸交易表。
目前,Spark访问了酸性交易表。社区推荐的方案是通过Hive Warehouse Connector在Hive Acid桌子上实现阅读和写作操作,而Datax没有成熟的解决方案。
原始:https://juejin.cn/post/7106403708199501831