当前位置: 首页 > 科技观察

谷歌将云数据分析引入JavaSDK

时间:2023-03-20 10:46:08 科技观察

谷歌正试图将其谷歌云数据流平台扩展到其他语言和环境。谷歌目前正在推出一个JavaSDK,将其与谷歌云数据流托管服务集成在一起,这样流数据的实时分析将成为平台扩展支持的一部分。谷歌软件工程师SamMcVeety在最近的一份公告中表示,作为开源共享的SDK可以作为Dataflow适应其他语言和执行环境能力的基础。“我们积累了丰富的经验,学会了如何将数据转化为智能,同时让原有的FlumeJava编程模型(基于CloudDataflow)在谷歌内部继续发展。”在扩展之外,将流式数据与批处理模式相结合,实现进一步的创新。“随着数据规模的不断增长,编程语言和执行模型的数量也在不断增长,”McVeety说。“我们目前正在开发PythonSDK的第三个版本,旨在为开发者提供更多可行的选择,让Dataflow能够被更多类型的应用程序访问。可重用的编程模式可以被称为帮助开发者提高工作效率的核心工具“CloudDataflowSDK的出现,只是为批流数据处理任务带来了一套统一的执行模式。”对于其他环境,McVeety指出,现代开发,尤其是云环境的开发工作主要涉及异构服务和各种机制的结合。“随着Storm、Spark,以及不断壮大的Hadoop家族的不断成熟,开发者不得不面对编程模型差距的严峻挑战。我们希望帮助开发者摆脱疲于奔命的消极局面,通过支持可以使用在多个环境下的执行和服务解决方案,为您带来更多的部署平台选择。”GoogleCloudDataflow平台于今年6月首次公布,其定位是为数据处理任务提供托管服务模型。虽然目前还处于alpha测试阶段,只对特定的“白名单”用户开放(新用户必须申请才能访问该服务),但CloudDataflow实际上可以简化执行流程,帮助用户创建数据,而不会分散底层数据管道的注意力.专注于真正的分析工作,同时还要处理基础架构维护。我们此前曾发表过一篇CloudDataflow分析文章,文中指出该项目虽然目前还不是Hadoop家族中的杀手级项目,但可以帮助GoogleCloud用户迎来更丰富的应用选择。英文:http://www.infoworld.com/article/2861450/application-development/google-hitches-cloud-data-analysis-service-to-java-sdk.html