当前位置: 首页 > 科技观察

说说大数据行业的两大误区

时间:2023-03-22 12:03:37 科技观察

误区三:大数据只有数据量特别大的时候才叫大数据。Zeta以上才叫大数据,真正的大数据时代还没有到来!”每次听到这样的话,我就知道这些人是被某IOE巨头的4V理论中的“容量”影响太大了。对此,我想说的第一句话是“信书不如无书,信巨人不如去IOE”。IT界的很多经典理论都是传统巨头提出来的,但是随着挑战者的出现,新思想新技术的出现,传统巨头会慢慢被颠覆,这也是我们前进的重要因素。如果我们还停留在迷信巨人的时代,死板教条地追求一个概念,那么就没有Hadoop,没有Spark,没有Tesla,更没有机器学习人工智能。智能化,更不用说未来的第N次工业革命了。首先我要强调的是,大数据技术真的不是什么新鲜词。我在之前的文章中已经说过,大数据的本质是数据。数据行业已经发展了几年,数据的规模永远会超过这个规模。按照时代的想象,比如十多年前,一张软盘的数据量只有1.44M。如果当时的数据达到1T,其他人会目瞪口呆。那么按照数据量的标准,如果当时有人收集了1T的数据,就已经进入大数据时代了吗?很明显不是!所以我想说数据量的大小并不是衡量大数据的标准。如果我们根据数据量来判断是否是大数据的话,“大数据”这个词真的是一个伪命题,就像“虎老,人必小,巨人必有脑袋大,飞翔的人必须有翅膀”。字面上去定义相同的主题。那么我们回过头来说说大数据是什么概念?首先,大数据是一个完整的生态系统,从数据的生成、采集、处理、聚合、展示、挖掘、推送等方面形成价值链闭环。并在各个环节经过各种技术处理后,为所在的业务场景提供有价值的应用和服务。其次,大数据的核心是什么?一方面是开源,另一方面是节流。目前大数据技术的核心目标是通过低成本的技术(尤其是近年来处理较多的非结构化数据)更好地满足对数据的需求,在为企业节约投资的基础上,尽可能多地为企业节省投资。满足需求。说白了,大数据的核心理念还是满足应用需求。目标明确的技术称为生产力,没有业务目标的技术称为“浪费活力”。误区四:我认为为了大数据而对大数据的误解是目前最严重的。有的企业追求的技术一定是最新的、最好的、最炫的,一定要国际先进、世界一流。所有企业,不分行业,不分性质,不分地域,不分年龄,都在喊着“赶超BAT,大数据帮助**企业实现**目标”,下一步就是先去IOE,再投资集群,把以前所有的高性能小型机和大型机都用不着了,之前购买的O许可证也全部停掉了。之前几十年的投入一夜之间化为乌有,投入更多资源追赶“大数据”。同学们,相信大家每天都会听到或看到这种浪费钱的事情。很多企业不计成本,就是为了让领导笑一笑。真是天大的误会。对此,我想说:第一,从技术上讲,比如BAT或者很多互联网公司,因为业务发展的需要,搞大数据。任何互联网公司天生就是为了流量和点击而生,这意味着需要快速处理大量的非结构化数据。这时候就决定了互联网公司只能通过一些并发的手段将底层数据进行分解,然后进行快速处理,满足其服务用户和市场的需求。互联网企业的业务流程和商业模式决定了必须采用大数据技术。相反,很多公司根本不需要这些技术。有的公司只要在一两个Excel文件做几个公式就可以满足自己的开发,而且数据周期还是按月处理,根本不需要用到这些技术。第二,在投资上,互联网企业生来就是平民,根本买不起大型设备。即使一夜暴富,也没有传统的小型机和大型机更能满足他们的发展,所以他们只能另辟蹊径,打造价值链和标准。在以往低投入、轻量化架构的基础上,不断进行少量的线性硬件投入,以满足业务发展。相反,一些传统企业,甚至是巨头,一年前就明确了投资计划,在原有基础上的投资会有更多的ROI(投资回报率),现在却为了追逐的口号而牺牲了。大数据。除了之前的大投入“得不偿失”,剩下的只能是一大堆道德了。大数据技术甚至任何一种技术都是为了满足特定的业务目标而诞生的。有了明确的业务目的后,设计符合自身业务架构的技术架构才是科学健康的发展理念。如果你是老板、CEO、投资人,你一定明白,大数据技术对于企业来说,有时候就像水,企业的经营目标就是那艘船。“水能载舟,亦能覆舟”。随着生产关系的不断调整,生产力会出现几轮持续提升,大数据之后的技术也会日新月异。技术方面,还有“小数据”、“微数据”等更细化的技术细分。技术架构不会被各种流派和概念所淹没。