当前位置: 首页 > 网络应用技术

Hive3深度分析(第1部分)

时间:2023-03-06 20:52:28 网络应用技术

  大家好,我是明智的兄弟!

  与Hive2相比,Hive3仍然非常不同。为了促进每个人了解这些差异以更有效地使用Hive,我将遵循几篇文章,以专注于分析这些差异。

  整个系列分为两篇文章,涵盖以下各章:

  本文是上一篇文章,包括前三章。我希望每个人都喜欢它。

  在早期的蜂巢中,根据Metastore服务/DB的位置,经常提到三种模式:嵌入式模式,本地模式,远程模式:

  我们专注于使用Hive1.x的生产环境的远程模式:

  从上述Hive架构的发展中,您可以看到Hive的发展趋势:

  克卢德拉(Cloudera)正式建议,为了最有效地使用Hive3,您需要注意一些要点:

  hive3.x不再支持以下功能:

  在DDL执行效果方面,Hive3.x和Hive2.x具有以下差异:

  如上所述,Hive最重要的开发趋势之一是,它已从早期存储引擎上方的SQL解析层(无需服务的纯罐子)逐渐迭代和优化。它更像是传统的关系数据库,它已成为一个完整的数据仓库解决方案!最明显的点是Hive启动的ORC酸交易表。通过此功能,Hive可以提供其他流行的数据湖框架Deltalake/Hudi/Iceberg,从而提供通过酸性交易特征的同时阅读和写作的支持。提供记录 - 级别的添加,删除,删除,删除和检查。

  Hive官方文件对ORC酸交易的实施机制有详细的描述。建议您阅读。其中一些要点总结如下:

  交易表的主要参数如下:

  Hive3已在交易表中添加了一些订单,其中主要包括以下内容:

  交叉点对丢失的关注?各种好处和资源将定期共享!欢迎朋友扫描代码以添加Mingge Wechat,以及背景和小组交流和学习。

  原始:https://juejin.cn/post/7096352965060984869