简介：本文的首席执行官注释将介绍学术界的相关内容，涉及多年的学术社区。我希望这对每个人都会有所帮助。让我们来看看。
提出“大数据”时代的最早提议是世界著名的咨询公司麦肯锡。麦肯锡说：“数据已经渗透到当今的每个行业和业务职能中，这已成为重要的生产因素。”大数据“物理和生物学，生物学，环境生态学和其他领域以及军事，金融，沟通和其他行业的存在，有时是时候了，但是由于互联网的发展而引起了人们的关注和信息行业近年来。
1.生成背景
在2012年，越来越多地提到了大数据一词。人们用它来描述和定义信息爆炸产生的大量数据，并命名了相关的技术发展和创新。白宫出现在中国一些互联网主题的演讲沙龙中。
随着云的出现，大数据也吸引了越来越多的关注。BIG数据通常用于描述公司创建的大量非结构化和半结构数据。这些数据在下载到关系数据库时花费了太多时间和金钱。BIG数据分析通常与云计算相关联，因为实际 - 时间大尺度数据集分析需要分配给数百台，甚至数百台计算机，例如MapReduce。
“这是一场革命，庞大的数据资源已经在各个领域开始了量化过程。无论学术，商业或政府如何，所有领域都将开始这一过程，无论学术，商业或政府如何。”
二。特征
1.卷（音量）
大数据的起始计单位至少为P（1,000 T），E（100万T）或Z（10亿T）。
2.有很多类型（品种）
包括网络日志，音频，视频，图片，地理位置信息等，多种类型的数据提出了更高的数据处理功能要求。
3.低值密度（值）
例如，随着物联网的广泛应用，信息感知无处不在，并且信息庞大，但是价值密度很低。如何通过强大的机器算法“纯”数据的价值是一个需要解决大数据时代的问题。
4.快速速度和高时限（速度）
这是与传统数据挖掘区别的大数据的最重要特征。现有的技术体系结构和路线无法再处理如此大量的数据。对于关联组织，如果无法及时处理大量收集的信息来处理反馈有效的信息，则可以说，在大数据时代，它对人类数据控制能力提出了新的挑战，还为人们提供了前所未有的空间和潜力，以获得更深刻而全面的见解。
Wen·Blogchong
我之所以要谈论这个话题的原因是因为在技术小组的下午无意间，与更严重的脑暴力讨论相似。
讨论的范围包括相关的方向，例如互联网公共数据的发掘，价值的实现，数据获取的合法性以及数据行业的实施。
那时，我一直在考虑这个问题。完成后，我想了几次。我发现确实有东西，我想表达它。
大数据于2009年开始在中国正式引入国内，基本上与Hadoop的“入侵”同步。
但是那时，没有什么可着陆的。除了一些大型公司暂定使用外，直到2012年至2013年，外国才完成了一轮“冒险”，而在中国的国内开始考虑大数据的降落方式。
确实是这样。在中国的新技术领域，我一直落后在国外的一半后方，当时我也被“进入坑”。
当时，许多公司（当时BAT使用的案件除外）也试图参与大数据领域，同时追求技术改进，同时探索大数据和实际业务的组合。
直到2014年，这是中国大数据的爆炸点，这是一个正式的转折点。
首先，由Hadoop Matures代表的生态学，甚至结合了内存处理和真实时间处理的领域，它已经形成了一组完整的大数据平台技术解决方案。
其次，该公司终止了勘探实验，并且具有实际结果的大数据处理模型的好处已经形成了越来越多的实际参考良性案例。
当然，最重要的是，确实存在实际规模数据处理的需求。实际上，这种需求一直存在，但是很多时候正确的机会爆发了。
也就是说，从2014年开始，对大数据人才市场的需求已经急剧扩展，许多其他IT开发人员已将其转变为数据行业。其中，它是传统IT行业逐渐下降的代表。
一些人才市场的需求进一步促进了大数据培训市场的发展，各种大数据培训机构已经迅速发展。
实际上，没有办法，因为当时没有大学有与大数据相关的大型课程。
当然，这一波浪也参与了学术界。一些大学还意识到这一技术趋势，许多大学开始为大数据提供专业课程。
在2015年，随着互联网的发展，市场上各种互联网应用程序的饱和导致流量股息的消失，使许多公司和公司都可以考虑通过数据，例如推荐系统，例如，个性化服务等
从2014 - 2015年开始，资本市场逐渐介入，进一步促进了主要的互联网公司向数据转换为数据，因此大数据领域进一步达到了高潮。
我们知道，资本市场欢迎半寒冷的冬天，交通股息的消失，O2O在15年结束时去世，在16年内使资本市场更加谨慎。
但是，即便如此，中国的许多公司仍然收到了许多融资公司，包括第三方数据分析公司，例如Shencea，Zhuge IO，Grownio和其他第三方数据分析公司。DATA公司，甚至是数据分析公司，甚至是中的数据分析公司像DataEye这样的垂直字段过得很好。
同时，就国家政策而言，2016年可以描述为国家政策的第一年，各种国家政策已经开始竞标大数据。
这意味着，大数据已从一半的通风口过渡到理性和稳定的状态，这是一种良性状态。
如上所述，目前的大数据已逐渐从“趋势”迹象的迹象转变为稳定和良性发展的状态。
事先“进入坑”的儿童鞋子，我相信“趋势”带来的一些好处，包括比其他普通IT同行的薪水略高，并且越来越多的自由选择性。
好吧，它也包括我~~哈哈
那么将来会有什么样的情况？
首先，数据化仍然是不可逆转的趋势。在资本和政策的推动下，越来越多的公司将逐渐开发数据，包括许多传统的IT行业，这些行业无法阻止这一普遍趋势。
人才市场的需求如何？就个人而言，需求仍然存在，因为市场尚未达到饱和，但福利将下降。
为什么是这样？
从2016年到2017年，大型大学将逐渐开始投入专业的“正规军”。是的，这些大数据专业将正式投入市场。
此外，从2014年到2016年，无论在线还是离线培训市场都在增加。
这意味着，每年，每年都应该每隔几个月进入人才市场就有大量的大数据速度。
最重要的一点是，经过四到五年的大浪，市场上已经有大量的“自我学习”“旧驾驶员”可以支持现场。
就人才需求和人才的治疗而言，而不是很难找到的现象，它将逐渐变得良性和理性（以前写了一篇文章，上面写着大数据招聘混乱。
因此，如果您刚从大学毕业，您会发现大数据不像传奇那样“香”，也不要感到惊讶。大数据训练线的儿童鞋也需要准备，您可能不会遵循薪水。
但是，“旧驾驶员”不必太担心。尽管大数据的人才市场变得越来越饱和，但“驾驶年龄”就足够了，“汽车”足以驾驶，而且仍然只有很小的刺穿。
您仍然是稀缺的资源，所以不要害怕。
如果您认为我不怕，哈哈~~
尽管这一切似乎都不错，但有些事情仍然值得我们进一步的思考。
与以前一样，在技术小组中，脑暴力讨论，尽管近年来大数据有很多市场需求，但仍然很难达到工业化状态。
这是一个工业化的概念：工业化是指在市场经济条件下由某个行业形成和品牌的一系列业务方法，实现收益的目标以及依靠专业服务和质量管理和组织形式。
目前，大数据的大多数实际着陆形式主要是辅助和加速其他业务，该业务发挥了催化剂来提高效率并加快速度。它很少认为大数据存在是一个独立的行业。
当然，还有一些，例如上面提到的第三次参与数据分析师，垂直字段中的DataEye，以及为企业提供大数据解决方案的明确数据，这些数据也存在于大数据上。
但是总的来说，并不多，其中大多数存在于2B中。我们知道，从模式的角度来看，2B产品总是很难实现2C产品的真正宏伟量表并改变工业结构。
因此，从这个角度来看，尽管您的市场需求就在这里，但是如果您想真正使用大数据作为起点并为基本基础做某事，那就不像预期的那样容易。
纠结~~
但是，作为大数据领域中“旧驱动程序”的一半，它仍然希望大数据的技术领域和行业可以一天独立地形成某些东西并促进人类流程。
它也像互联网，例如社交网络，电子商务和移动互联网！
最近，有许多新手向我问了一些大数据方向。我一直在考虑实现Internet开放数据和大数据行业的实现。
因此，我认为更多的是，仍然有一些意见，藏在我心中而不是呕吐。
我也希望上面的八卦中的某些事情会引起您的一些共鸣。当然，也欢迎您。欢迎所有与格式相关的人格和技术有关的讨论。
下次我希望会有时间讨论与Internet开放数据实现有关的一些主题。这就是我一直想探索的东西。下次，如果您获得什么，请写点东西。
（文字之后）
可以根据时间点分配大数据的开发过程。
大数据时代发展的具体旅程如下：
Hadoop项目诞生于2005年。Hadoop最初只是雅虎用来解决网络搜索问题的一个项目。后来，由于其技术的效率，它是由Apache Software Foundation引入的，并成为开源应用程序。
Hadoop本身不是产品，而是由多个软件产品组成的生态系统。这些软件产品共同实现了全面的功能和灵活的大数据分析。从技术角度来看，Hadoop由两个关键服务组成：Hadoop分布式文件系统（HDFS）的可靠数据存储服务以及高性能的使用并行数据处理服务称为MapReduce技术。这两项服务的共同目标是提供一个基础，该基础将结构化和复杂数据的快速可靠分析成现实。
在2008年底，“大数据”被美国的一些知名计算机科学研究人员认可。创造革命性的突破。”它不仅使人们的思想不仅限于机器处理机，而且还提出了大数据是对于新用途和新见解，而不是数据本身，这是非常重要的。可以说这是提出大数据概念的最早的机构。
2009年，印度政府建立了一个生物识别数据库，用于身份识别和管理。联合国全球脉冲项目已经研究了诸如如何在手机和社交网站上使用数据源来分析和预测诸如疾病爆炸的问题等问题。同年，美国政府进一步通过启动网站的方式。该网站为公众提供了各种政府数据。本网站上有44,500多个数据集用于确保某些网站和智能手机应用程序用于跟踪从航班到产品召回和失业率的信息。这项行动激发了从肯尼亚到英国的政府。我们采取了类似的措施。
2009年，欧洲的一些领先的研究图书馆以及欧洲的科学和技术信息研究机构建立了合作伙伴关系，并致力于改善互联网上科学数据的简单性。
2010年2月，肯尼斯·库克（Kennes Cook）在“经济学家”中发布了14页的大数据特别报告“数据，无所不能的数据”。在报告中，库克提到：“世界上有大量数字信息无法想象，而且它已经以非常快的速度发展。从经济到科学界，从政府部门到艺术领域，许多方面都感受到了大量信息的影响。科学家和计算机工程师为此创造了一个新的词现象：“大数据”。库克也成为大数据时代最早的数据科学家之一。
2011年2月，IBM的沃森超级计算机可以扫描和分析4TB的数据量（约2亿页），并在著名的美国知识分子电视节目“危险边缘”“危险”中击败两个人。Championship.Later，《纽约时报》认为这一刻是“大数据计算的胜利”。同年5月，全球知名咨询公司McKineyCompany（MGI）发布了一份报告 - “大数据：创新：创新：“下一个新的竞争和生产力领域”，大数据开始引起很多关注。这也是专业机构首次引入和展望大数据。该报告指出，大数据已渗透到当今的每个行业和业务职能中，并已成为重要的生产因素。People的采矿和使用大量数据表明了一个新的。该报告还提到，生产率增长的波浪增长和消费者盈余波的到来。“大数据”起源于数据生产和收集速度的大大提高 - 因为越来越多的人通过数字连接设备和传感器通过数字网络生成，传输，共享和访问数据的网络也已完全更改。
2011年12月，提议由行业和信息技术部发布的第十二五年计划作为四个关键技术创新项目之一，包括大量数据存储，数据挖掘以及智能图像和视频情报分析。大数据的重要组成部分。
2012年1月，在瑞士达沃斯举行的世界经济论坛上，大数据是其中之一。该报告在会议上发表的“大数据，大影响）宣布，数据已成为一种新型经济资产类别，就像货币或黄金一样。
2012年3月，奥巴马政府在白宫网站上发布了“大数据研发计划”，该网站标志着大数据已成为时代的重要特征。2012年3月22日，奥巴马政府宣布这项投资在2亿美元的大数据领域中，是从商业行为到国家科学技术战略的流域。在第二天，政府对数据“未来新未来的新未来”的定义。“石油”，大数据技术领域的竞争与国家安全和未来有关。反映了一个国家数据的规模，活动和解释和使用；该国的数字主权反映了对数据的拥有和控制。数字主权将成为边境防御，沿海防御和防空防御和防空之后另一个大国的空间。
2012年4月，美国软件公司Splunk于19日成功地在纳斯达克列出了，并成为第一家被列出的大数据处理公司。在美国经济的庞大背景以及股票市场的持续摇动，这是Splunk的杰出交易Splunk第一天的表现特别令人印象深刻，第一天的表现增加了一倍。Splunk是一家领先的软件提供商，提供大数据监视和分析服务。它成立于2003年。Splunk的成功上市促进了资本市场对大数据的关注，还促进了IT制造商加速大数据布局。2012年7月，联合国发布了有关纽约大数据政府事务的白皮书，总结各国政府如何使用大数据更好地服务和保护人民。此白皮书示例表明，在数据生态系统中，个人，公共部门和私营部门的角色，动机和需求：例如，注意价格和更好的服务，个人数据和众包信息以及对退出权力的特权需求；公共部门提供了改善服务和改善福利，提供统计数据，设备信息，健康指标，税收和消费信息等的目的，并需要对隐私和退出权力的需求；私营部门来自私营部门的客户认知和预测趋势，提供摘要数据，消费和使用信息，并更多地关注敏感数据的所有权和业务模型。白皮书还指出，人们现在可以使用丰富的数据资源， 包括旧数据和新数据，以对社会人口进行前所未有的实际时间分析。联合国还将爱尔兰和美国的社交网络活动增长为失业率上升的早期迹象。它表明，如果政府可以合理地分析政府持有的数据资源，它将能够“跟上数字的步伐”并迅速做出回应。小组在管理中建立了一个“首席数据官”，负责全面促进“数据共享平台”策略，并启动一个大型数据共享平台 - “ JUGGA Tower为E -Commerce和E -Commerce Service提供数据云服务TMALL和TAOBAO平台的提供商。随后，阿里巴巴董事会主席Ma Yun在2012年互联网商人会议上发表演讲，称从2013年1月1日起，它将改变和重塑平台，金融和数据。强调：“如果我们有一个数据预测表，就像企业的GPS和雷达一样，您将更有信心进入海上。”因此，阿里巴巴集团希望通过共享和挖掘大量数据来共享和挖掘大量数据对国家和中小型企业提供价值。这是一个将大数据提升到企业管理高峰的主要里程碑。Alibaba也是通过数据运营企业数据的最早的企业。
2014年4月，世界经济论坛发布了《全球信息技术报告》（第13版），其主题是“大数据回报和风险”。该报告认为，在未来几年中，对各种信息和通信技术的政策甚至会出现更重要的是，在接下来的情况下，将积极讨论数据机密性和网络控制等问题。日益活跃的全球大数据行业，技术进化和应用创新的加速发展，逐渐意识到各国政府在各个国家的重要性促进经济发展，改善公共服务，增强人们的福祉，甚至确保国家安全。5月，美国白宫发布了2014年全球“大数据”白皮书“白皮书”大数据的研究报告：Grasp机会。现有的机构不以其他方式支持这一领域。同时，相应的框架，结构和研究也是个人的隐私，确保了预防歧视的公平性或坚定的信念。在2014年，“大数据”首次出现在“政府工作报告”中。“报告”。指出，应建立新兴行业的企业家创新平台，以赶上大数据，并带领未来工业的发展。“大数据”立即成为中国的热门词。
2015年，该州正式发布了“促进大数据开发的概述”，“大纲”明确促进了大数据的开发和应用。在接下来的5到10年中，它将创建一个新的社会治理模型，以确切的治理与合作在多方合作中。一种创新的新模式，以公共企业家和创新的创新和创新为驱动，并培养了高端情报和新兴行业的新生态。这标志着大数据的官方兴起。
在2016年，将介绍“第十三五年计划”计划，“计划”寻求专家意见并进行了集中的讨论和修改。“计划”中涉及的内容包括在各个方面的大数据应用程序的应用工业研发，制造和工业链的整个过程；支持服务行业使用大数据来建立品牌，精确的营销和定制服务。
大数据技术：
1. Hadoop
Hadoop出生于2005年。这是雅虎用来解决网络搜索问题的项目。后来，由于其技术的效率，它是由Apache Software Foundation引入的，并成为开源应用程序。Hadoop本身不是产品，而是由多个软件产品组成的生态系统。这些软件产品共同实现了全面的功能和灵活的大数据分析。从技术角度来看，Hadoop由两个关键服务组成：Hadoop分布式文件系统（HDFS）的可靠数据存储服务以及高性能的使用并行数据处理服务称为MapReduce技术。
2.蜂巢
Hive是建立在Hadoop文件系统上的数据仓库架构，可以分析和管理HDFS中存储的数据。它最初是由Facebook每天生成的大量新兴社交网络数据生成和开发的。其他公司也开始开始使用和开发Apache Hive，例如Netflix，Amazon等。
3.风暴：
Storm是一个分布式计算框架，主要由Clojure编程语言编写。这家营销情报公司于2011年被Twitter收购。在此之后，Twitter将项目转向开源并将其推向GitHub平台。最终，Storm加入了Apache孵化器计划，并在2014年9月正式成为Apache的顶级项目之一。
McKinsey.big Data（行业术语术语）是指在一定时期内无法捕获，管理和处理常规软件工具的数据集。程序优化容量，高增长率和多元化信息资产。2011年，McKiney发布了“大数据：大数据的下一个新领域：创新，竞争和生产力”，大数据开始引起很多关注。麦肯锡是一家世界领先的全球管理咨询公司。
大数据通常用于描述公司创建的大量非结构化和半结构数据。这些数据在下载到关系数据库时花费了太多时间和金钱。BIG数据分析通常与云计算相关联，因为实际 - 时间大尺度数据集分析需要分配给数百台，甚至数百台计算机，例如MapReduce。
大数据生成背景：
在2012年，越来越多地提到了大数据一词。人们用它来描述和定义信息爆炸产生的大量数据，并命名相关的技术发展和创新。
它一直在《纽约时报》和《华尔街日报》的封面上，进入白宫官方网站的消息出现在中国一些互联网主题的演讲沙龙中。输入了投资推荐报告。
数据正在迅速扩展并变得更大。它决定了企业的未来发展。尽管许多公司可能没有意识到数据爆炸性增长引起的问题的隐藏危险，但随着时间的流逝，人们将越来越意识到对企业的重要性。
作为2012年2月的《纽约时报》，“大数据”时代已经到来，在商业，经济和其他领域，制定将越来越基于数据和分析，而不是基于经验，直觉和直觉
“这是一场革命，庞大的数据资源已经在各个领域开始了量化过程。无论学术，商业或政府如何，所有领域都将开始这一过程。
扩展信息
大数据时代的功能
1.大数据量（卷）
第一个功能是大量数据。大数据的起始表单元至少为p（1,000 t），e（100万t）或z（10亿吨）。
2.有很多类型（品种）
第二个功能是有许多数据类型。包括网络日志，音频，视频，图片，地理位置信息等，多种类型的数据提出了更高的数据处理功能要求。
3.低值密度（值）
第三个功能是数据值密度相对较低。例如，随着物联网的广泛应用，信息感知无处不在，信息量很大，但是值密度很低。如何通过强大的机器算法“纯”数据的价值是一个需要解决大数据时代的问题。
参考数据来源：百度百科全书数据年龄
大数据起源于美国。自2009年以来，大数据已成为互联网信息技术行业的流行词汇。实际上，大数据生成是指诸如互联网，物联网和云计算之类的广泛渠道的基础。允许所有用户几乎从任何数据转换为业务excution.data的洞察力。
结论：以上是为您编写的首席CTO注释，内容涉及多年来的学术界已经开始关注大数据的相关内容。希望它对您有所帮助！如果您解决了问题，请与更多关心此问题的朋友分享?