当前位置: 首页 > 科技观察

浅析GoogleBrain的深度学习和TensorFlow的前世今生

时间:2023-03-17 18:57:16 科技观察

在深度学习的历史上,神经网络的方法在1980-1990年之后开始发挥重大作用。在数据量和计算能力的驱动下,使用深度学习和神经网络的方法可以让我们在研发(图像、语音等领域)中获得比其他方法更高的准确率。2011年之前,深度学习方法实现的图像误识别率为26%,但今天这个数字超过了人类的误识别率(5%),达到了3%。深度学习方法广泛应用于谷歌如今的产品线,包括Android平台、各种应用、药物研究、Gmail等等。GoogleBrain团队目前有哪些成果:在研究方面,在各类国际会议上发表论文27篇;推动谷歌搜索、广告、相册、翻译、Gmail等产品线的整合与优化;在社区发布TensorFlow和其他非常受欢迎的开源工具。谈到TensorFlow的开发,我们最初的出发点是需要打造一个合适的深度学习工具。本工具需要满足以下条件:1.适合机器学习思维和算法的表达;2、运行效率高,可以快速测试想法;3、兼容性好,可以跨平台运行实验;4.研究问题可以在不同环境下共享和复现;5、适合产品化:可快速从研究阶段过渡到产品应用阶段;综上所述,TF的目标是建立一个通用的机器学习思考和快速实验系统,并确保这个系统是研究和产品化的最佳系统。***,这个系统不仅是谷歌所有,而且是开源的,属于平台上的每一个人。2015年11月9日,我们发布了TensorFlow初始版本,我们取得了以下成果:1.TF目前有500+代码贡献者;2.自发布以来,累计提交代码12000+次;3.代码库下载量超过100万次;4.大量学校和商业机构已经在TF上建立了他们的研发工作(Berkeley、Stanford、OpenAI、Snapchat)。我们也在不断更新软硬件平台的支持。数据显示,我们已经是GitHub上最受欢迎的深度学习工具。深度学习对谷歌产生了哪些重要影响?在语音识别方面,我们降低了至少30%的词识别错误率;深度卷积神经网络可以直接搜索未标记的照片;我们使用深度学习方法来捕捉和识别街景照片中的文字;还使用深度学习方法在卫星鸟瞰图中检索太阳能屋顶;在医学成像中,使用视网膜图像进行糖尿病诊断;机器人现在可以通过机器学习方法理解环境和语义;RankBrian甚至在谷歌搜索中使用排名优化;在收件箱中,我们通过语义分析自动推荐可能的回复结果。目前,收件箱中有10%的回复是通过推荐生成发送的;在机器学习的其他方面:过去,很多模型都是从头开始训练的,效率很低。我们专为深度学习设计的硬件TPU将在未来20个月内进入量产阶段。在我们的设想中,未来的搜索查询可能是这样的:请帮我找到所有关于深度学习和机器人技术的文献,并用德语进行总结。我认为未来3-5年,通过语音识别和语义理解的发展,机器人/自动驾驶汽车将成为行业中非常重要的领域。PS:附PPT+文字版。在深度学习的历史上,神经网络的方法在1980-1990年之后开始发挥重要作用。在数据量和计算能力的驱动下,采用深度学习神经网络的方法,使我们在研发上取得了比较优势。其他方法具有更高的准确性(在图像、语音等领域)。2011年之前,深度学习方法实现的图像误识别率为26%,但今天这个数字超过了人类的误识别率(5%),达到了3%。GoogleBrain团队目前有哪些成果:在研究方面,在各类国际会议上发表论文27篇;推动谷歌搜索、广告、相册、翻译、Gmail等产品线的整合与优化;在社区发布TensorFlow和其他非常受欢迎的开源工具。谈到TensorFlow的开发,我们最初的出发点是需要打造一个合适的深度学习工具。该工具需要满足以下条件:适用于机器学习思维和算法的表达;运行效率高,可以快速测试想法;兼容性好,实验可以跨平台运行;可以在不同环境下共享和复现当前的研究问题;适合产品化:可快速从研究阶段过渡到产品应用阶段;总结一下,TF的目标是在机器学习中建立一个通用的思考和快速实验的系统,并确保这个系统既是用于研究的,又是用于特定产品的系统。***,这个系统不仅是谷歌所有,而且是开源的,属于平台上的每一个人。2015年11月9日,我们发布了TensorFlow初始版本,目前我们取得了这样的成绩:TF目前有500+代码贡献者;自发布以来,共有12,000+次代码提交;100超过10,000个代码库下载;大量的学校和商业机构已经在TF上建立了他们的研发工作(Berkeley、Stanford、OpenAI、Snapchat)。我们也在不断更新软硬件平台的支持。数据显示,我们已经是GitHub上最受欢迎的深度学习工具。深度学习对谷歌产生了哪些重要影响?在语音识别方面,我们降低了至少30%的词识别错误率;深度卷积神经网络可以直接搜索未标记的照片;我们使用深度学习方法来捕捉和识别街景照片中的文字;还使用深度学习方法在卫星鸟瞰图中检索太阳能屋顶;在医学成像中,使用视网膜图像进行糖尿病诊断;机器人现在可以使用机器学习方法来理解环境和语义;RankBrian甚至被用于谷歌搜索排名优化;在Inbox中,我们通过语义分析自动推荐可能的回复结果,目前Inbox中10%的回复是通过推荐生成发送的;在机器学习的其他方面:过去,很多模型都是从头开始训练的,效率很低。我们希望通过xxx的方法解决这个问题;我们的TPU将在20个月内进入量产阶段。在我们的设想中,未来的搜索查询可能是这样的:请帮我找到所有关于深度学习和机器人技术的文献,并用德语进行总结。我认为未来3-5年,通过语音识别和语义理解的发展,机器人/自动驾驶汽车将成为行业中非常重要的领域。