当前位置: 首页 > 科技观察

云分析的主要挑战以及如何克服这些挑战

时间:2023-03-17 19:49:19 科技观察

【.comExpress翻译】与本地批量分析相比,将分析迁移到云端需要新的方法、技能和架构。与许多其他IT职能一样,数据分析工作正在迁移到云端,这既带来了机遇,也带来了挑战。在研究公司Gartner列出的2021年十大数据和分析技术趋势中,使分析功能更易于组合的开放式容器化分析架构是趋势之一。该公司表示,这使组织能够快速创建灵活和智能的应用程序,帮助数据分析师将洞察力与决策联系起来。据Gartner称,“随着组织将数据重点转移到云端,可组合数据和分析将成为构建由云计算市场和低代码和无代码解决方案提供支持的分析应用程序的更灵活方式。”云计算服务可以将数据分析提升到一个新的水平。创意服务提供商LoveuropeandPartners(LEAP)的系统和技术总监AidanTaub表示:“云计算可以为我们提供更高计算负载所需的可扩展性。随着各行各业的组织不断数字化,以指数方式增加构建文件数据在“规模。当组织拥有大量由LEAP处理的视频、图像和音频等非结构化数据时,他们永远不知道自己的工作量有多大,传统的分析方法无法像云平台那样扩展。”然而,云中的分析需要不同的方法、技能组合、架构和经济学。随着这些变化,必然会有一些障碍需要克服。以下是组织可能面临的一些挑战以及在执行数据时如何解决这些挑战云端分析:害怕因未知而失去控制对于技术领导者来说,将分析迁移到云端的想法可能令人望而生畏。德勤咨询高级分析支持总监AnthonyAbbattista表示,“我们面临的主要挑战之一“看到客户面临的是组织惰性或对失去控制的恐惧。”分析。“IT主管和CIO的传统角色是保护数据资产并成为数据资产的守护者,”Abbattista说。在某些情况下,他说,云计算技术对数据分析的现状提出了挑战,因为它可以更快地进入市场。例如产品选择和评估,点击配置的数量限制化,资本支出没有显着增加等。“首席数据官和首席信息官需要共同努力,审查和熟悉云平台,这样他们才能帮助获得商业价值和竞争优势,至少不会落后于竞争对手,”阿巴蒂斯塔说。经过验证的新兴模型,而不是从头开始设计或重建分析环境。”提供保险服务的非营利组织全球公共机构雇员保险公司(WAEPA)的首席信息官布兰登·琼斯表示,由于现有分析流程缺乏灵活性,许多组织在探索新的分析能力方面进展缓慢。“组织需要激励措施和计划来尝试新功能并推动创新,”他说。为了克服这个问题,WAEPA的IT部门使用支持云的沙箱环境来建立试错思维过程,使用关键利益相关者KPI创建原型优先分析环境。做出转变除了克服IT领导者认为的失控之外,他们还需要努力应对向云的迁移并确保不间断的服务。Taub说,“对于许多IT领导者来说,他们最困难的决定是迁移到云平台。但如果他们选择了正确的解决方案,他们就不必这么做了。”Taub说,在将数据分析迁移到云端时,IT领导者在很多情况下都是从“提升和转移”方法开始的,将现有操作迁移到云端。“这通常意味着重新设计应用程序和系统,并重新设计架构以进入云端,”他补充道。作为2019年对其遗留数据基础架构进行全面改革的一部分,LEAP使用Qumulo的分析平台将大量非结构化文件数据迁移到云端。LEAP的文件和数据以前分布在各种传统的存储系统中,数据在工作流中不同位置的管理和定位非常耗费人力。“幸运的是,Qumulo帮助我们移动了所有数据,而无需重构应用程序以进入云端,”Taub说。“我建议组织找到一种工具,可以更轻松地跨多个环境复制和提取数据。””这一转变使该公司能够优化其数据分析并将其绩效提高240多倍。借助GoogleAnalytics,您可以查看连接的客户端数量、使用带宽最多的客户端以及数据快速增长的位置。“创意工作流程的成功在很大程度上取决于我们访问云端数据分析的能力,”Taub说。我们的团队由遍布全球的数百名艺术家、设计师和动态图形编辑人员组成,我们需要云计算服务来高效、安全地协作开展创意项目。如果没有基于云的数据分析,我们的生产流程就会陷入困境。“拥有正确的技能”成功的IT工作似乎总是归结为拥有必要的技能,将数据分析转移到云平台也不例外。阿巴蒂斯塔说,德勤咨询公司的调查表明,组织技能需求开始发生变化。“云分析环境不需要专家来支持传统分析/商业智能中技术堆栈的每一部分,而是需要更多的‘全栈’思维,”他说。为了迎接这一挑战,支持这些新时代环境的技术团队需要了解云平台上的产品,采用标准模式,然后随着新技术、工具和产品的出现而发展。美国零售商DollarTree的前CIOJoshJewett表示,选择在云计算环境中构建自己的分析平台或依赖云计算供应商提供服务的组织将需要特定的专业知识和技能。Jewett指出,这些技能包括创建、维护和从数据湖中提取分析的技能,以及如何最好地利用云原生或第三方人工智能和机器学习功能并从分析中获得更多见解的技能。在DollarTree任职期间,Jewett帮助该公司实现了许多系统的现代化,包括数据分析。“与许多其他零售商一样,DollarTree采用了混合战略,部署软件即服务平台,为关键业务功能提供特定分析,”Jewett说。功能。示例包括用于库存生产力、价格优化、损失缓解预防、人才招聘和绩效管理的工具。“公司还开发了一些在云计算环境下的分析应用,利用云计算的灵活性、可扩展性和更快的上市时间优势。保护数据安全无论云计算服务提供商如何强调其云计算基础的安全性的设施,其客户需要不断关注其数据在云中的实际安全性。对于数据分析尤其如此,从数据分析中获得的见解可以成为竞争优势,除了担心不被泄漏高度敏感的数据,例如客户信息。Taub说:“在将组织的数据迁移到场外时,安全成为重中之重。”LEAP公司利用包括自由职业者在内的全球员工网络,这意味着我们必须确保数据受到保护在内部和外部用户访问的云平台中。”软件提供商Precisely的数据首席信息官AmyO'Connor表示,最大的安全问题之一是控制对云计算应用程序和数据的访问。他说:“人们在使用云计算应用程序的同时获得便利。还有一些挑战,其中许多挑战源于人们可能无意中造成的安全、隐私和经济问题。在云计算帐户之间安全切换以及安全地存储和交换密钥是一个关键问题。需要围绕数据的适当使用进行强有力的治理。与本地数据中心相比,云中的安全问题更为紧迫,因为数据很容易被复制和以未经授权的方式使用。O'Connor说:“恰恰是采用了混合多云模式,可以利用多个云计算提供商提供的服务来满足其计算和存储需求。我们基于云的数据湖是存储大量数据的地方。如果数据来源于云平台,我们会在云平台开始处理。如果你有突发性的分析需求,可以利用云计算服务进行处理。如果你需要快速开始分析处理,你可以开始与云平台。当我们需要处理非结构化数据并使用包括机器学习在内的高级分析处理时,我们可以利用基于云的数据湖。“避免云计算成本陷阱使用云计算服务可以帮助组织避免成本,例如作为本地存储系统,他们的开支很快就会失控或超出预期,”Taub说。“预算总是一个问题。千篇一律的数据架构可能成为IT支出的陷阱。因此,在决定将分析迁移到云端时,组织通常会感到更大的压力,需要支付高额的前期成本,并受到无法满足其当前需求的长期合同的限制。根据Taub的说法,关键是找到一个不强制锁定的云提供商。“组织在评估云计算平台时需要对云计算平台进行评估和比较,选择一个灵活的解决方案来满足组织当前的分析需求,并能根据需要进行调整,”他说。灵活扩展以满足您组织的未来需求。“虽然采用云服务很容易,但也很容易将错误类型的工作转移到云端,并在不再需要云应用程序和资源后继续运行它们,”O'Connor说。实现此目的的两种最有效方法是控制云帐户的创建方式以及对谁在使用云资源完全透明。“为了解决第一个问题,我们将所有云帐户从每个提供商迁移到一个主帐户,我们还集中了新创建的云帐户。需要新的云计算资源的个人和团队通过正式的请求流程,其中必须包括业务理由、部门预算信息和业务所有者。“至于透明度,一旦请求获得批准,中央团队就会在主账户下创建任何新的云账户,”奥康纳说。该治理政策使我们能够透明地了解云计算提供商开具的费用。每个帐户都是使用请求中提供的信息创建的,然后可以使用云提供商的门户或控制台来监控与每个初始请求相匹配的支出。O'Connor说,将云计算成本应用到请求者的预算中,从而准确地将支出信息用于内部计费模型。IT部门使用这些方法来推动云计算成本的问责制,并确保您出于合法的业务原因提供适当的预算。原标题:Analyticsinthecloud:Keychallengesandhowtoovercomethem,作者:BobViolinocom】