简介：今天，首席执行官指出，与您分享Python相关内容比Spark的内容。如果您可以解决您现在面临的问题，请不要忘记注意此网站。让我们现在开始！
本文目录清单：
1. SPARK或PYTHON的哪个速度是快速2. Python和Java的哪个快速3，Spark执行非常慢，数据量不大，请询问主代码是否是代码4的问题。Scala和Python 5之间的差异5. Microsoft释放.NET。这是完全可比的。
Spark可以处理弹性分布式数据，这与Hadoop相当。
Python是一个数据分析，对于大量数据，它无能为力。
以下是关于Python和Java的一些比较
I. Python虚拟机不是Java强，Java虚拟机是Java的核心。Python的核心是轻松使用C语言函数或C ++库。
其次，Python是完全动态的。您可以在运行时修改自己的代码，而Java只能通过更改方法来实现。Python变量是动态的，Java变量是
静态需要提前声明，因此Java IDE的代码提示功能比Python IDE更好。
第三，Python诞生了数十年，这一过程是几十年前的主流。所以
好吧，稍后在Python中添加了类，Java将实现C ++没有指针（COM组件的引用，Java中使用的虚拟机），主要用于面对正面面对面的面孔
对象的设计方法，许多概念是OOP的概念，相对简单且直观但易于设计的面孔 - 面 - 面带，面向对象，面向对象，相对抽象和优雅，但很容易
大象。
第四，Python在实际使用中的进入很简单，但是您需要学习使用Python来工作。您需要学习Python的各种库。Pyhton的强度在于图书馆。
很大的原因是Python库可以使用Python，C语言，C ++和其他设计设计，然后提供给Python进行使用，因此无论GPU操作，神经网络，智能算法，数据分数如何
分析，图像处理，科学计算，各种库正在等待您。Java的开源库不如Python。
这是一个无法看到原始代码的JAR软件包。Python虚拟机不支持Java（或故意设计），因为不支持该编译（或故意设计），并且通常直接使用源代码
（Linux）或源代码简单地包装（例如Pyexe）。
第五，Python有许多虚拟机，例如Cython，Pyston，Pyston，Pyston，Jython，Ironpython等，适合商务语言或插入语言，或域语言或域语言。
由于具有巨大的虚拟机，Java很少用于插头语言，并且发布不方便。
6. Java主要用于具有强大业务逻辑的领域，例如购物中心，ERP，OA，金融，保险和其他传统数据库交易，通过SSH框架交易代码
根据图书馆的说法，诸如Oralce，DB2，SQL Server和其他支持，软件工程概念很强，它适用于软件工程多人游戏开发模型。Python主要用于网络数据分析，科学，科学
计算，财务分析，信号分析，图像算法，数学计算，统计分析，算法建模，服务器操作和维护，自动化操作，快速开发概念，适用于快速开发组
团队或个人敏捷模式。
七，Java的商业公司得到了许多支持，例如SAP，Oracle，IBM等。
QT，Linux，Google，许多开源程序支持Python，例如Pyqt，Redis，Spark等。
有关更多学习内容，请单击Python教程！
您可以首先查看是否设置了碎片的数量，碎片/分区的数量是Spark的平行粒径。
默认情况下，从集合中获得的碎片数为2？（我不太确定）；根据块上的文件（例如128m，在这里不是特别确定），默认情况下，Spark的并行性非常低。
然后，查看Spark的Web UI图以查看任务的执行。任务几乎同时结束了吗？如果没有，则可能会有数据倾斜，或者某些节点相对较慢。
无论您的代码是否涉及洗牌操作，洗牌操作都可能成为Spark操作的性能瓶颈。
您还可以检查执行情况，以发现垃圾回收没有太多时间（GC）。如果您做更多的事情，您还需要进行内存 - 调整记忆，例如减少持久性和随机的内存使用。
Scala是一种多风格的编程语言，一种类似于Java的编程语言。设计的最初意图是实现缩放语言并整合面向对象的编程和功能编程的各种特征。
Python是可解释性，汇编，交互和面向对象的脚本语言的高级组合。Python的设计非常可读。与其他语言相比，其他语言中的英语关键字和一些标点符号比其他语言具有更独特的语法结构。
Scala和Python之间的区别：
1.性能对比
由于Scala基于基于JVM的数据分析和处理，因此Scala的速度比Python快10倍。编写Python代码并调用Spark库时，性能是中等的，但是如果该程序涉及的处理要比Python编码更多，则它将比Scala等效的代码要慢得多。Python解释器PYPY在JIT（及时）编译器中具有构建的编译器，它很快，但是它没有提供各种python c扩展名支持。在这种情况下，图书馆的Cpython解释器更好比PYPY解释器。
使用Python在Scara中的表现，但其重要性取决于您的工作。当核的数量较小时，Scala的数量比Python快。随着核数量的增加，Scala的性能优势开始缩小。
在处理大量工作时，性能不是编程语言的主要驱动力。但是，当有重要的处理逻辑时，性能是一个主要因素。Scala肯定比Python提供了Spark程序更好的性能。
相关建议：“ Python基本教程”
2.学习曲线
用Scala语言编写Spark程序时，有一些语法糖，因此在学习Spark时，大数据专业人员需要非常小心。程序员可能会发现Scala语法有时是疯狂的。Scala中的某些库很难定义随机符号操作员，，而且，经验丰富的程序员可以理解这些代码。当使用Scala时，开发人员需要注意Code.com的可读性。Code.com与Scala，Java或Python相比是一种灵活的语法复杂语言。Scala开发人员的需求正在增加，因为Big，因为很大数据公司对可以在Spark中掌握数据分析和处理的高效开发人员的重要性。
由于其语法和标准库，Python对于Java程序员来说相对容易学习。但是，Python是理想的选择，例如高度平行，可扩展的SoundCloud或Twitter系统。
Learning Scala丰富了程序员对类型系统中各种新摘要的认识，新功能编程功能和不可用的数据。
3.并行性
大数据系统的复杂而多样化的基础架构需要一种编程语言，该语言具有集成多个数据库和服务的能力。在大数据的生态系统中，Scala正在使用许多异步的库和各种复杂性赢得游戏框架，这些复杂性易于集成，集成，集成，，，集成，，，，整合，，，，，地框架例如Akka.scala使开发人员能够编写高效，可读性和维护服务。iNSTEAD，Python不支持与UWSGI并行的重量级过程，但它不支持实际的多线程。
当使用python编写SPARK程序时，无论存在多少个线程，在Python过程中只有一个CPU处于活动状态。这有助于每个CPU核心仅处理一个进程，但是每当新代码时，都很难被部署，需要恢复更多的过程，需要更多的内存开销。Scala在这些领域更有效，更易于合作。
4.键入安全性
使用编程时，开发人员需要根据更改的需求连续重新编码代码。Scala是一种静态类型的语言，尽管它看起来像动态类型的语言，因为它具有优雅的推理机制。语言，Scala仍然提供编译器来捕获编译错误。
像Scala这样的静态类型语言之类的程序的比例要容易得多，更容易变得更可能和简单。开发人员在修改Python程序代码后通常会遇到困难，因为它会导致比修复程序的原始错误更大的错误。最好缓慢，安全地使用Scala，而不是快速使用Python。
对于小型特殊实验，Python是一个有效的选择，但并不能有效地扩展到大型软件工程作为静态语言。
5.易于使用
Scala和Python语言在SparkContext中具有相同的表达方式，因此它可以通过使用Scala或Python来实现所需的功能。以任何方式，程序员将创建SparkContext并调用function.python是一种比Scala更易于使用的语言。Python并不是那么冗长，开发人员可以轻松地使用Python来写Spark.Easy使用是一个主观因素，因为这取决于程序员的个人喜好。
6.高级特征
Scala编程语言的宏和隐藏类型有几种类型。Scala的晦涩语法可能难以尝试开发人员可能不理解的高级功能。但是，Scala的优势是在重要的框架和库中使用这些强大的功能。
话虽如此，Scala没有足够的数据科学工具和库，例如用于机器学习和自然语言处理的Python。SparkMlib-只有更少的机器学习库的ML ML算法，但它们是理想的大数据处理。Scala缺乏良好的可视化。Scala无疑是Spark流特征的最佳选择，因为Python称Spark。通过Pyspark进行spark.Scarp.不像Scala那样先进和成熟。
总结
“ Scala更快，易于使用，但很难开始，而Python很慢，但易于使用。”
Spark Framework是用Scala编写的，因此了解Scala编程语言可以帮助大数据开发人员轻松挖掘源代码。如果某些功能无法正常工作。使用Python增加了更多问题和错误的可能性，因为两种不同语言之间的转换很难。使用Scala使用Scala提供Spark Framework的最新功能，因为它们是第一个在Scala中可用，然后移植到Python。
根据Spark的说法，Scala和Python取决于最合适的项目的特征，因为每种语言都有其自己的优势和缺点。在使用Apache Spark编程语言之前，开发人员必须学习Scala和Python才能熟悉其特征。和Scala，很容易使用Scala来使用Scala来激发火花以及何时使用Python来调用Spark。Apache Spark的编程语言的选择完全取决于要解决的问题。
上图显示了Apache Spark和Python和Scala .Net..net的每个查询性能，用于Apache Spark在Python和Scala.in上都很好地运行。字符串数据是在JVM和Clr .NET之间传输的，Apache Spark的速度是Python的两倍。
同样重要的是要说这是我们为Apache Spark启动的第一个.NET。我们的目标是进一步投资改进和基准性能（例如箭头优化）。您可以根据我们的指示在我们的GitHub仓库上测试基准测试。
.NET for Apache Spark是将.NET制成重要的技术堆栈的第一步，以构建大数据应用程序。
开源地址：
结论：以上是首席CTO的全部内容，关于Python比Spark慢。感谢您阅读本网站的内容。我希望它对您有所帮助。