近年来,出现了产生前所未有的数据量的新信息来源。社交网络,移动设备,传感器,GPS设备,照片和视频存储在可以到达pet骨或exabytes的数据库中。
根据IBM的数据,过去两年中已经创建了当前生成的90%的信息。由于这种增长的结果,大数据一词已经普及,这注定是即将到来的最有希望的技术趋势之一年。
什么是大数据?
可以说,分析大数据的主要目的是将大量不相关的数据转换为对决策有用的东西。大数据的潜力实际上是不可估量的,几乎可以在所有领域中找到实际应用。其中一些可能更直观,例如检测复杂的趋势,可以在金融资产市场中做出决定或预期任何类型的自然或与天气有关的灾难。其他人则更社会学:通过分析Twitter中的文本模式,您可以理解并预测社会群体的行为和感觉,甚至可以检测儿童之间的知识差距以建立课程。它还可以通过将大量数字医学测试相关联,通过改善医学诊断来提高我们的生活质量。
大数据挑战
越来越多的公司意识到,他们积累的大量信息可以在管理团队和创建新业务的决策中发挥关键作用。但是,这不是一件容易的事,要实现这一目标存在一些挑战。
如今,几乎所有希望实施大数据遇到技术差距的组织。常规工具的设计并非旨在从大量信息中获得最大收益,因此需要对技术进行新的投资。大数据向公司的IT部门提出的新挑战包括质量数据存储,多种格式的集成(文本,文档,照片,视频等),结合了来自多个来源的信息(甚至来自实际组织之外)和处理并实时获得结果。
开发技术以测量适合每个公司目标的大数据分析的技术至关重要。现有技术的变化极为多样,从分析模式与遗传算法进行分析模式到检测非线性趋势。例如,通过在消费数据集上使用特定的分析技术,可以确定商业行为以帮助我们从事业务,而同一数据集上的其他不同技术可以检测到政府可能的欺诈行为。因此,IT团队与不同业务部门之间的密切合作是确定分析大数据的技术对每个活动的决策更有用的关键挑战。
尽管通过磨练的分析技术设法拥有适当的技术方案,但可能是不完整的数据测试的事实。这也可能导致从对大数据的分析中得出的结论是尚无定论的,并导致了错误的决定。每天都会产生大约350 TB的推文,这可能表明Twitter是当前社会趋势的绝佳繁殖场。但是,这一说法并不完全正确,因为观察到的趋势与使用Twitter的社会部分相对应。大数据的大部分成功在于,考虑到信息源及其偏见的管理团队对分析的正确介绍和解释。
最后,值得一提的关于立法的新挑战。在高度全球化的环境中,在不同国家使用来源处理数据必须与国际数据保护法相一致。大数据的最大潜力之一是来自不同来源的数据的组合,无论是企业还是公共管理,因为数据的示例测试越大,分析将越准确,并且应用程序就会越多。
结论
大数据分析是信息使用的新趋势,鉴于可以给出的实用应用,可以为整个公司和社会带来利益。但是,提出的技术挑战并不容易,需要大量投资,这可能会导致好处
在短期内保持意义。立法对数据保护的影响很难确定,但也可能阻碍大数据的全部潜力。
伊戈尔·德尔加多(Igor Delgado)
马德里BBVA(西班牙)的公司数据仓库的经理