当前位置: 首页 > 科技观察

被骂三年,谷歌Dropout专利依旧有效,卡脖子警告

时间:2023-03-22 00:22:02 科技观察

本文经AI新媒体量子位授权转载(公众号ID:QbitAI),转载请联系出处.Google的Dropout专利,于6月25日生效。有效期为15年。所谓Dropout是深度学习和训练神经网络中常用的一种方法。由Hinton于2012年提出,可以有效防止过拟合。三年前,因为谷歌为Dropout申请了专利,曾在业界引起轩然大波。当时reddit上有个热帖,言辞激烈,“问候”谷歌,还有当时还没有获得图灵奖的Hinton等人。历史证明,咒骂是没有用的。时至今日,Dropout依然是AI领域必不可少的利器,而且——谷歌绝对拿到了专利授权。不要惊慌。你看,网友@peng321说:别着急,等2034年就过期了。当然,在Dropout专利到期之前,任何人,所有想使用Dropout的人、公司、机构都可能面临被掐死的尴尬局面。Reddit网友@rantana总结道:如果你是一家试图筹集资金的初创公司,在你的算法中使用谷歌的专利会影响你的估值。如果你和谷歌有专利纠纷,起诉别人之前要三思而后行,分分钟反诉你。如果你是谷歌的专利代理人,那么恭喜你,你是人生赢家。什么是辍学?专利名称为:解决神经网络过拟合的系统和方法(以下英文)。看摘要就知道Dropout的基本原理:它是一个训练神经网络的系统。在FeatureDetectors上方,连接了一个开关,至少连接了网络的某些层。在每个训练案例中,开关根据预先配置的概率随机关闭一些特征检测器。然后,每个训练案例的权重将被归一化(Normalized)以将神经网络应用于测试集。至于为什么可以防止过拟合,Hinton爷爷和他的小伙伴们在CNN的名作ImageNetClassificationwithDeepConvolutional中大致讲了一个意思:每次关闭一半的特征检测器,每次训练都是不同的。同一个网络。然后取各种网络的平均值进行预测。这样可以提高模型的稳定性,或者泛化能力,防止过拟合。专利文件中填写的发明人也是这篇论文的作者,但申请者是谷歌:关于专利中包括哪些内容,谷歌列出了20项,算上各种能想到的和意想不到的训练步骤:它被认为是Dropout的优秀指南。如果你在对抗过拟合的过程中感到迷茫,可以进去看看。当然,这不是重点。关键是,以后使用Dropout会有什么样的限制?开源的一大障碍一位名叫mtanti的网友提问:那是否意味着我们不能再使用Dropout了?楼下(NicolasGuacamole)的回答很精彩:谁用了,就用无人机干掉他。开玩笑是其中一种态度,可以用普通话来表达:谷歌不会真的使用这个专利。当然,并不是每个人都这么看。事实上,早在三年前,该专利就已经获批,并引起了强烈的反弹。△丢掉专利申请授权信息至于可预见的未来,这种情绪将会诞生。有网友(AnonMLResearcher)认真分析过:有人曾说过“不要怪玩家,要怪制定游戏规则的人”。也就是说,我们不应该责怪谷歌,我们应该责怪专利制度。既然它允许为这些著名的抽象概念申请专利,谷歌就拥有了它们的合法权利。我只是担心这会对机器学习的学术研究造成重大损害。在视觉领域,SIFT和SURF已经注册了专利。这样一来,像OpenCV这样的开源库就很麻烦了。该repo不包含“非自由(Nonfree)”模块,因此用户从源代码自行构建非常麻烦。以后开源的机器学习库还是会遇到同样的事情。卡脖子警告和Dropout等基础算法已经成为谷歌的专利。它们之所以备受关注,影响的不仅仅是开源社区。一位网友(AnonMLResearcher)表示:这样的专利将对任何年轻的机器学习公司产生影响,使它们更难吸引投资——既然谷歌已经拥有许多算法的知识产权,(如果使用专利代码)可能被盗随时告。曾经引起广泛讨论的“徐匡迪问题”再次被提起讨论。今年5月,在上海院士沙龙上,中国工程院院士徐匡迪等多位院士尖锐发问:中国有多少数学家致力于人工智能基础算法的研究?尴尬的是,目前我国人工智能应用虽然如火如荼,但自主知识产权的底层框架和核心算法非常缺乏,更多依赖开源代码和算法。接受科技日报采访的浙江大学应用数学研究所所长孔德兴教授呼吁:如果缺乏核心算法,人们在遇到关键问题时仍然会“卡壳”。孔教授表示,可以使用开源代码,但不够专业和针对性,效果往往达不到具体任务的实际要求。孔教授认为,能否掌握核心代码,将决定未来人工智能“智力竞赛”是否有胜算。而今年反复的例子已经证明,核心算法要靠灯塔,即使口碑如谷歌,也可能有断供的一天。因此,Dropout成为谷歌专利,不仅关乎开源,不仅关乎科研,更关乎更致命的独立核心算法及其背后的“卡脖子”困境。