当前位置: 首页 > 科技观察

Spark临时表tempView的注册-使用-注销-注意事项(推荐)

时间:2023-03-12 18:23:55 科技观察

createTempView运行原理先说一个众所周知的知识:Spark中的operators包括transformationoperators和actionoperators,transformation是在原来的基础上RDD创建一个新的RDD,action将RDD操作的结果返回给driver。Spark对transformation的抽象可以极大的提升性能??,因为在Spark中,所有的transformation操作都是lazy模式,即Spark不会立即计算出结果,而是简单的记住数据集上所有的transformation操作逻辑。只有在遇到动作操作时才会计算这些转换。这种设计让Spark更加高效。实践效率低下?