其实大数据不是一个概念，而是一种方法论。简单来说，就是通过分析挖掘全量非抽样数据来辅助决策。大数据可以实现的应用可以概括为两个方向，一是精准定制，二是预测。比如你通过搜索引擎搜索同样的内容，每个人得到的结果是大相径庭的。再比如精准营销，百度的推广，淘宝的收藏推荐，或者你到了一个地方，它会自动向你推荐周边的消费设施等等。目前市场对大数据相关人才的需求与日俱增，职位的增加也导致了大数据相关人才供不应求的局面，从而引发了大数据学习的热潮。你可以先了解大数据相关工作的分类，以及每个工作需要掌握的相应技能，思考自己未来的发展方向，然后开始学习和研究工作所需的技术。所谓知己知彼，才能更好地达到目的。如何学习大数据处理技术？在做大数据开发之前，因为Hadoop是高级语言开发，需要会Java或者Python，可以快速上手。所有的大数据生态架构都是基于Linux系统的，所以你必须具备Linux系统的基础知识。如果你不懂Java或Python和Linux系统，那么这是你必须学习的知识（Java或Python可以选择）。第一阶段Linux系统：因为大数据相关的软件运行在Linux系统上，所以需要多了解Linux。学好Linux对你快速掌握大数据相关技术有很大的帮助，让你更加了解hadoop、hive、hbase、spark等大数据软件的运行环境和网络环境配置能够省去很多坑，学习shell就可以看懂脚本，更容易理解和配置大数据集群。它还可以让您在未来更快地了解新的大数据技术。鸟哥的Linux私房菜是公认的Linux入门书籍。Python第二阶段：Python的排名从去年开始通过人工智能持续上升，现在已经成为语言排名第一。从学习难度来看，作为一门为“雅”而生的语言，Python的语法简洁明了，对底层的封装也很好。它是一种易于使用的高级语言。在一些习惯于底层程序开发的“硬核”程序员看来，Python简直就是一种“伪代码”。在大数据和数据科学领域，Python几乎是最好的。任何集群架构软件都支持Python。Python也有丰富的数据科学库，所以Python还是要学的。第三阶段Hadoop：几乎成了大数据的代名词，所以这是必须的。Hadoop包括几个重要的组件HDFS、MapReduce和YARN。Hadoop的核心是HDFS和MapReduce，两者只是理论基础，并不是具体可以使用的高级应用。通俗地讲，MapReduce是一种从海量源数据中提取分析元素并最终返回结果集，并进行文件分发的编程模型。存储到硬盘是第一步，从海量数据中提取和分析我们需要的是MapReduce做的事情。当然，如何划分分析，如何做reduce操作是很复杂的。Hadoop已经提供了数据分析的实现。我们只需要写简单的需求命令就可以实现我们想要的数据。记住在这里学习可以作为你学习大数据的一个节点。Zookeeper：是一个分布式的、开源的分布式应用协调服务，也是万能的。安装Hadoop的HA时会用到，以后在Hbase中也会用到。一般用来存放一些信息，以便相互协作。资料比较少，一般不超过1M。使用它的软件取决于它。对于我们来说，只要正确安装，让它正常运行即可。好的。Mysql：学习了大数据的处理之后，接下来就是学习小数据处理工具Mysql数据库，因为安装hive的时候会用到。Mysql需要掌握到什么水平？你可以在Linux上安装它，运行时会配置简单的权限，修改root密码，创建数据库。这里主要是学习SQL的语法，因为hive的语法跟这个很像。Sqoop：这个用于将数据从Mysql导入到Hadoop中。当然也可以直接将Mysql数据表导出成文件放到HDFS上，但是在生产环境中使用需要注意Mysql的压力。Hive：这个东西是懂SQL语法的同学的神器。可以让你处理大数据变得简单明了，不用写MapReduce程序。有人说猪八戒？它类似于Pig，你只需要掌握一个。Oozie：既然你已经学习了Hive，我相信你一定需要这个。它可以帮助您管理您的Hive、MapReduce和Spark脚本，并检查您的程序是否正确执行。如果出现问题，它会向你发出警报并帮助你重试最重要的是它可以帮助你配置任务的依赖关系。相信你会喜欢的，不然看着那一大堆的脚本，密密麻麻的crond，你是不是有一种“快要崩溃”的感觉。Hbase：这是Hadoop生态系统中的NOSQL数据库。它的数据以key和value的形式存储，key是唯一的，所以可以用来做重复数据删除。与MYSQL相比，它可以存储的数据量更大。因此，它经常被用作大数据处理完成后的存储目的地。Kafka：这是一个比较好用的队列工具。排队是为了什么？你知道排队买票吗？如果数据太多，也需要排队处理。我们可以使用这个工具来存储在线实时数据或者进入HDFS。这时候你可以配合一个叫做Flume的工具使用，这个工具旨在提供简单的数据处理和写入各种数据接收方。Spark：用来弥补基于MapReduce在数据处理速度上的不足。其特点是将数据加载到内存中进行计算，而不是读取硬盘。特别适合迭代操作，所以算法主播特别喜欢。它是用scala写的。无论是Java语言还是Scala都可以运行它，因为它们都使用了JVM。知道这些，你就会成为专业的大数据开发工程师，3W的月薪简直是毛毛雨。后续完善大数据结合人工智能成为真正的数据科学家，打通了数据科学的两条脉络，是公司的技术专家。这时，月薪再次翻倍，成为公司的核心骨干。机器学习：是一门多领域的交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度论等学科。它是人工智能的核心，是计算机实现智能化的根本途径。其应用遍及人工智能的各个领域。它主要使用归纳和综合而不是演绎。机器学习的算法基本固定，比较容易学。深度学习：深度学习的概念起源于人工神经网络的研究，近年来发展迅速。深度学习应用的例子有AlphaGo、人脸识别、图像检测等，是国内外不可多得的人才，但深度学习难度相对较大，算法更新也比较快，需要向有经验的老师学习.最快的学习方法就是向行业专家学习，借鉴老师多年积累的经验，少走弯路，事半功倍。自古名师出优秀徒弟。
