简介：许多朋友询问了多年来的大数据应用程序。本文的首席CTO笔记开始为您的参考做出详细的答案。我希望这对每个人都会有所帮助！让我们一起看看！
大数据技术的历史：大数据的前世
我们今天经常说的大数据技术起源于2004年左右的Google发表的三篇论文，这是我们经常听到的“三驾驶运输”，分别是分发文件系统GFS和大数据分布式计算框架。数据库系统bigtable。
您知道搜索引擎主要做两件事，一项是网页捕获，另一个是索引构造。在此过程中，需要存储和计算大量数据。该“ TROIDEE”实际上用于解决此问题。您还可以从简介中看到文件系统，计算框架和数据库系统。
现在您会听到分布式，大数据之类的单词，并且您必须完全熟悉它。但是您需要知道，在2004年，整个互联网仍处于无知的时代。Google发表的论文确实使该行业振兴了。每个人都突然意识到它仍然可以这样玩。
由于这段时间，大多数公司的注意点实际上都集中在立场上。他们正在考虑如何提高单个机器的性能并找到更昂贵和更好的服务器。Google的想法是部署大型服务器群集，通过分布式将大量数据存储在该群集上，然后在集群上使用所有机器要计算数据。这样，Google不需要购买很多非常昂贵的服务器。它只需要将这些普通机器组织在一起，这是非常强大的。
当时的天才程序员也是Lucene开源项目Doug Cutton的创始人，他正在开发开源搜索引擎蔬菜。阅读了Google的论文后，他感到非常兴奋，然后根据论文原理意识到与GFS和MapReduce相似的功能。
两年后的2006年，道格（Doug）切割了这些大数据相关的功能与nutch分开，然后启动了一个独立的项目来开发和维护大数据技术。文件系统HDFS和大数据计算引擎MAPREDUCE。
当我们回顾软件开发的历史（包括我们开发的软件）时，您会发现某些软件不会要求它或在开发后在少数人中使用它。这样的软件实际上是开发的大多数软件。一些软件可能会创建一个行业，每年创造数十亿美元，并创造数百万个就业机会。这些软件曾经是Windows，Linux，Java，现在必须将此列表添加到Hadoop中。
如果有时间，可以简要浏览Hadoop的代码。这本用Java编写的软件没有深厚的技术困难。它也是最基本的编程技术。但是，它对社会产生了巨大的影响，甚至推动了深刻的科学和技术革命，从而促进了人工智能的发展和进步。
我认为，当我们进行软件开发时，我们也可以考虑一下。我们开发的软件的价值点在哪里？需要使用软件实现价值的地方在哪里？您应该关注业务，了解业务，具有宝贵的方向，使用自己的技术来为公司，然后实现您的生命价值。要求整日埋在需求说明文件中，做一个不思考的代码机器人。
Hadooop发布后，Yahoo迅速使用了它。一年后至2007年，百度和阿里巴巴也开始使用Hadoop进行大数据存储和计算。
2008年，Hadoop正式成为Apache的首要项目，后来Doug Cutch自己成为Apache Foundation的董事长。此来，Hadoop升成了软件开发领域的明星。
同年，建立了专门从事Hadoop的商业公司Cloudra，Hadoop获得了进一步的业务支持。
目前，有些来自雅虎的人认为使用MapReduce编程大数据编程太麻烦了，因此他们开发了Pig.pig是一种脚本语言。使用SQL的语法。开发人员可以使用猪脚本来描述大型数据集上的操作。编译编译后，生成MapReduce程序，然后在Hadoop上运行。
尽管编写猪脚本比Direct MapReduce编程更容易，但它仍然需要学习新的脚本语法。因此，Facebook再次发布了Hive。Hive支持使用SQL语法用于大数据计算。例如，您可以为数据查询编写选择语句，然后Hive将SQL语句转换为MapReduce计算程序。
通过这种方式，熟悉数据库的数据分析师和工程师可以使用大数据进行数据分析和处理而无需阈值。在蜂巢的外观外观之后，Hadoop的难度大大减少了，开发人员和企业很快就追求了它。2011年，在Facebook大数据平台上运行的90％的操作来自Hive。
随后，许多Hadoop外围产品开始出现，大数据生态系统逐渐形成，包括：SQOOP专门研究与Hadoop平台的关系数据库中的数据； Workflow Dispatch Engine Oozie等。
在早期的Hadoop中，MapReduce既是执行引擎，也是资源调度框架。MapReduce本身完成了服务器群集的资源调度管理。但是，这不利于资源重用，也使MapReduce非常肿。这是纱线。在2012年，Yarn成为一个独立的项目，后来得到了各种大数据产品的支持，成为大数据平台上最主流的资源调度系统。
同样在2012年，由UC Berkeley AMP实验室（算法，机器和人员）开发的Spark开始出现。在那个时候，AMP实验室中的MA Tie博士发现，在使用MapReduce进行机器学习，因为机器学习算法通常需要执行许多迭代计算，并且MAPREDUCE需要每次映射和减少计算进行重新操作。ComeCome Come很多不必要的消费。另一个重点是MapReduce主要将磁盘用作存储介质。在2012年，记忆因能力和成本限制而破坏了数据运行过程中的主要存储介质。一开始启动了Spark，该行业立即被追捕，并逐渐取代了MapReduce在公司应用程序中的状态。
一般而言，诸如MAPREDUCE和SPARK之类的计算框架处理之类的业务场景称为批处理处理计算，因为它们通常是针对由“天空”生成的数据计算的，然后获得了所需的结果。该中间计算需要大约数十分钟甚至更长的时间。由于从在线获得的实际时间数据中获得了计算的数据，但是历史数据，这种类型的计算也称为大数据的离线计算。
在大数据领域，还有另一种类型的应用程序方案。他们需要立即计算实时生成的大量数据，例如面部识别和对整个城市监视摄像机的可疑跟踪。这种类型的计算称为大数据流计算。相应地，有一些流计算框架，例如Storm，Flink，Spark流，以满足此类大数据应用程序的场景。通过流计算进行处理的数据是在Ore -Time Online中生成的数据，因此此类计算也是如此称为大数据实时计算。
在典型大数据的业务情况下，最常见的数据业务方法是使用批处理处理技术来处理历史的完整数据，并使用流计算来处理真实的time新数据。和批处理处理。
除了大型数据批处理处理和流处理外，NOSQL系统处理主要是大型大规模数据的存储和访问，因此它也被归类为大数据技术。NOSQL在2011年左右非常受欢迎，许多优秀的产品也很受欢迎。例如HBase和Cassandra出现。其中，HBase与与Hadoop分离的基于HDFS的NOSQL系统分离。
当我们回顾软件开发的历史记录时，我们会发现几乎相似的软件功能非常接近它们。例如，Linux和Windows出现在1990年代初期。Java开发中的各种MVC框架基本上出现在同一时间。Android和iOS也从前脚和背部出现。当时，我还参加了阿里巴巴自己的NOSQL系统的开发。
事物的发展有其自身的趋势和法律。当您处于趋势状态时，您必须抓住趋势的机会，并找到一种脱颖而出的方法。即使您没有成功，您也会更多地了解时代的脉搏，并获得宝贵的知识和经验。如果趋势撤退，然后在这个方向上努力工作，它只会获得混乱和沮丧，这将无济于事时代和你自己。
但是时代的浪潮就像海滩上的波浪，总是波浪和一波浪。只要您站在大海并进入这个行业，下一波浪潮将很快再次出现。成功或失败，不会后悔。
这是历史前进逻辑和时代趋势发展的良好的进步。受欢迎的是，它是在空中渠道中飞行。
我提到的上述基本上可以分类为大数据引擎或大数据框架。数据挖掘和机器学习包括特殊的机器学习框架Tensorflow，Mahout和MLLIB，它们已经在主要的机器学习和数据挖掘算法中构建。
此外，大数据必须存储在分布式文件系统（HDFS）中，并且必须以有序的方式安排MapReduce和Spark操作，并且可以将执行结果写入每个应用程序系统的数据库中。还有一个大数据平台来集成所有这些。BIG数据组件和企业应用程序系统。
该图中的所有这些框架，平台和相关算法构成了大数据的技术系统。我将一对一地分析列后面，以帮助您为大数据技术原理和应用程序算法建立完整的知识系统。自己的项目。
希望帮助您！?
“ 2000年的大数据时代”是错误的。2014年的大数据时代来了。
在2012年，越来越多地提到了大数据一词。人们用它来描述和定义信息爆炸产生的大量数据，并命名了相关的技术发展和创新。白宫出现在中国一些互联网主题的演讲沙龙中。
提出
提出“大数据”时代的最早时间是世界著名的咨询公司麦肯锡。麦肯锡说：“数据已经渗透到当今的每个行业和业务职能领域，成为一个重要的生产因素。随着新生产力和消费者盈余浪潮的到来。”
“大数据”一直存在于物理，生物学，环境生态学和其他领域以及军事，金融和通讯等行业，但由于最近的互联网和信息行业的发展，它引起了人们的关注。年。
大数据的第一年是2013年。
大数据，“行业”一词是指在一定时间内无法捕获，管理和处理常规软件工具的数据集。程序优化容量，高增长率和多元化信息资产。在“大数据时代”中由Victor Mel-Sherg和Kennes Cookye撰写。中国和大数据是指无需随机分析（采样调查）的快捷方式，并且所有数据均用于分析和处理。BIGDATA 5V功能（IBM提议）：量数字），速度（高速），多样性（多样），值（低值密度），准确性。
结论：以上是首席CTO的全年含量注明了有关大数据应用程序多少年的内容。我希望这对每个人都会有所帮助。如果您想了解有关此信息的更多信息，请记住收集并关注此网站。