昨天，吴恩达在圣诞节之际回顾了2020年AI的一些重大进展，包括AI应对新冠疫情、数据集种族偏见、反造谣算法、AlphaFold的蛋白质三维结构预测、1750亿参数GPT-3的出现等等。AndrewNg寄语：亲爱的朋友们，在过去的十年里，每年12月22日，我都会飞到新加坡或香港，与妈妈一起庆祝她的生日。今年，我们通过Zoom在线庆祝生日。尽管相距遥远，我仍然很高兴我来自美国、新加坡、香港和新西兰的家人可以在网上相聚，并在不同步的情况下唱“祝你生日快乐”。我希望我也能和大家一起参加Zoom电话会议，祝大家节日快乐，新年快乐！假期里，我常常想起重要的人，反思他们为我或他人所做的一切，默默地表达对他们的感激之情。这让我觉得与他们的联系更加紧密。我发现在我们与社会保持距离的假期中思考这个问题非常有价值：谁是你生命中最重要的人，你可能出于什么原因要感谢他们？无论是面对面还是在线，我希望您能找到自己的方式与这个假期最重要的人建立关系。保持学习！2020回顾过去即序幕在过去的一年里，突如其来的传染性冠状病毒扰乱了人们的正常生活，造成了社会裂痕，威胁着我们的共同利益。在过去的一年中，大量机器学习工程师参与其中，为Covid-19诊断和治疗设计工具，构建识别仇恨言论和虚假信息的模型，并指出和强调整个AI社区偏见的存在.但也有轻松的一面：一年的家庭办公工具，只需按一下按钮即可将睡衣变成西装，GPT-3语言模型，以及AI辅助艺术和表演方面的迷人实验。下面，请让我们一起畅谈这一年的艰辛与辉煌。应对新冠疫情人工智能加速了科学家对冠状病毒疫苗的寻找，全球机器学习研究人员争先恐后地利用人工智能技术对抗冠状病毒。例如：1.巴黎和戛纳等城市使用计算机视觉来评估公交车站、公共汽车和市场的法规遵守情况。2.多哥政府训练人工智能模型识别卫星图像中的贫困地区，将救助资金准确分配给最需要帮助的人。3.Chatbots为被疫情封锁的人提供合成的虚拟朋友聊天和调情。4.视频会议公司为在线办公提供AI模型，过滤背景噪音，将睡衣变成虚拟商务套装。5.中国研究机构合作开发了一种人工智能模型，可以在CT扫描中以超过90%的准确率检测Covid-19。该模型已在七个国家部署，代码下载量超过300万次。6.美国生物技术公司Moderna的疫苗于12月获得美国食品和药物管理局的批准，该公司使用机器学习来优化mRNA序列以翻译成可测试的分子。此外，人工智能在Covid-19的治疗中也发挥了重要作用。例如，一家非营利组织使用半监督深度学习平台筛选了14,000种候选抗病毒药物，该平台验证了四种有望用于动物试验的化合物。我的立场：人工智能不是万能药，但这种新型高传染性冠状病毒的出现，已经成为对人类利用人工智能抗击传染病能力的有力考验。Deepfakes伪造“一切”随着生成对抗网络渗透到文化、社会和科学中，它们正悄悄地用无底洞的合成图像充斥网络。正如我们所见，deepfakes出现在主流娱乐、商业广告、政治事件甚至纪录片中，它们被用来替换相关人员的真实面孔以提供隐私保护。起初，在线前端大量使用图像生成器并没有引起人们的注意。直到2019年，一张逼真的合成人像“此人不存在”在网上广为流传，启发了有幽默感的程序员用生成的GAN模仿现实世界的细节，如下：1.经过训练的谷歌地球可以让“这个城市不存在”产生大大小小的聚居地的鸟瞰图。2、《这匹马不存在》可以生成各种姿势、品种、形态的马。3.“ThisPizzaDoesNotExist”，与真正的披萨相比，可能缺少一些芝士和酱汁的光泽。4.生成的不存在的中国山水画欺骗了很多美术爱好者。论文链接：https://arxiv.org/pdf/2011.05552.pdf更多信息：GAN专刊包括Deepfake检测、吴恩达专访GAN发明人兰古德费罗等。https://blog.deeplearning.ai/blog/the-batch-gan-special-issue-ian-goodfellow-for-real-detecting-fakes-including-minorities-synthesizing-training-data-applying-virtual-make-Up数据集存在种族偏见深度学习的基础数据集正在启动得到很多关注。数据集编译、标记和使用方式的差异导致模型训练期间对社会边缘化群体的偏见。研究人员的审查刺激了人工智能的改革，同时也提高了人们对其中隐含的社会偏见的认识。今年涉及的典型案例包括：1、知名计算机视觉数据集ImageNet被迫下架。ImageNet的创建者李飞飞及其同事对数据集进行了重组，并从WordNet词汇数据库中删除了种族主义、性别歧视和其他贬义标签。2.一项研究发现，即使使用未标记的ImageNet数据进行训练，其模型也可能因数据多样性不足而出现偏差。3、麻省理工学院计算机科学与人工智能实验室撤回了TinyImages数据集，因为外部研究人员发现该数据库中充斥着大量性暗示、种族歧视等不良标签。4.用于训练StyleGAN的数据集FlickrFaces-HQ（FFHQ）也缺乏足够的多样性。在StyleGAN模型上训练的PULSE算法将非裔美国总统巴拉克奥巴马的肖像变成了白人肖像。（PULSE将改进低分辨率照片到高分辨率图像的转换）PULSE事件发生后，Facebook首席科学家YannLeCun和时任GoogleAI伦理负责人TimnitGebru之间发生了一场争论。辩论的焦点是：机器学习中的社会偏见是否来自人工智能数据集或人工智能系统？LeCun的立场是在训练一个“有偏数据集”之前，模型没有偏向，即模型本身没有偏向，偏向数据集是可以修改的。Gebru说：正如我们在信中所说，这种偏见是在社会差异的背景下产生的，要消除AI系统中的偏见，必须解决跨领域的差异。Gebru和谷歌随后因偏见问题进一步分歧而分道扬镳。我的立场：确保在任务开始时消除数据集中的偏差的重要工作才刚刚开始。更多信息：关于减少过去一年技术偏差的研究报告。https://blog.deeplearning.ai/blog/the-batch-ais-progress-problem-recognizing-masked-faces-mapping-underwater-ecosystems-augmenting-feature打击虚假信息算法全球COVID-19和有争议的美国选举信息风暴已经掀起，大型人工智能科技公司受到波及。面对越来越大的停止煽动性谎言的公众压力，Facebook、谷歌的YouTube部门和Twitter正在争先恐后地更新他们的推荐引擎。据了解，纪录片Netflix对他们进行了严厉的谴责；美国国会议员已对他们展开调查；民意调查显示，他们已经失去了大多数美国人的信任。这些公司试图通过各种算法和策略来解决虚假信息问题，例如：1.在发现数百个包含AI生成的虚假头像的用户个人资料后，Facebook打击了被认为具有误导性和操纵性的媒体，并彻底禁止了Deepfake视频。该公司继续开发深度学习工具来检测仇恨言论、导致偏见的模因以及有关Covid-19的错误信息。2.YouTube开发了一个分类器来识别违规内容：包括仇恨言论、阴谋论、医疗错误信息和其他恶意视频。3.Facebook和Twitter关闭了他们认为破坏国家宣传活动的账户。4.三个公司都对含有美国大选误导性信息的内容添加了免责声明。Twitter采取了其最严格的政策，直接报告唐纳德特朗普总统的虚假推文。尽管如此，他们显然还没有做出底线改变，而且他们的改革可能不会持续很长时间，因为他们的政策不是松懈就是适得其反。例如：6月份，《华尔街日报》报道称Facebook的一些高管已经停止使用一些监管工具。该公司后来撤销了选举期间使用的修改后的算法，因为它提高了某些新闻来源的知名度。Facebook的不诚实已经导致一些员工辞职。YouTube采用的算法成功减少了虚假信息内容创作者的流量。但它也增加了某些大型实体的流量，例如福布斯新闻，这些实体经常传播同样可疑的信息。我的立场：目前没有明确的方法可以在这场猫鼠游戏中拉拢造谣者或虚假信息提供者，但猫必须在游戏中保持领先，否则可能会失去公众信任，或受到监管机构的调查。AlphaFold预测蛋白质的三维结构AI减少医疗系统中的障碍，为深度学习在医疗设备和治疗中的广泛应用奠定基础。不久前，DeepMind的AlphaFold模型在短短几个小时内确定了蛋白质的三维结构，其开发新药和洞察生物学的前景迅速引起了人们的关注。据了解，医疗机构已采取行动将此类技术纳入主流医疗实践。以下制度转变提高了医疗人工智能的知名度和接受度。1.美国最大的健康保险公司已同意报销一些医生使用机器学习设备的费用。2.美国食品和药物管理局(FDA)已经批准了几种新的基于人工智能的治疗和设备，例如心脏超声系统。3.一个由国际医学专家组成的跨学科小组引入了两个协议：Spirit和Consort，旨在确保基于AI的临床试验遵循最佳实践，同时方便外部审稿人验证和报告试验结果。我的立场：人工智能在医学上的应用需要医生和医院重新组织他们的工作流程，这在一定程度上减缓了人工智能应用的进程。一旦FDA和Medicare变得更加清晰，临床医生将更有动力做出改变以适应它们。更多信息：DeeplearningAIinHealthcare介绍深度学习在诊断、预防和治疗方面的应用，以及对AI医学教父EricTopol的独家专访。https://blog.deeplearning.ai/blog/the-batch-ai-for-medicine-special-eric-topols-planetary-health-system-discovering-drugs-diagnosing-heart-disease-predicting-infections-alexa-for-doctorsGPT-3解锁了一种新的书写方式自然语言处理的神经网络越来越大，功能越来越丰富，越来越有趣。例如，GPT-3可以用来写字、画画、敲代码、玩游戏等，已经有50多种新用法被网友玩转。GPT-3是OpenAI构建的1750亿参数文本生成器，展示了自然语言处理的持续进步。同时，它展示了机器学习的广泛趋势：模型参数呈指数级增长，无监督学习成为主流并日益普遍。1.GPT-3的写作能力比上一代GPT-2更强大，以至于在用来写博文和Reddit评论时，成功骗过了很多人类读者。此外，许多人通过不同的方式展示了GPT-3的创造力，比如写哲学文章、与历史人物对话。图例：AI生成的哲学文章2.语言模型推动商业工具的发展，比如帮助苹果的自动纠错功能区分不同的语言；使亚马逊的语音助手Alexa能够随对话内容切换；更新机器人律师非法致电美国公民的电话推销员被起诉。3.OpenAI的GPT-2训练Pixel数据生成iGPT，iGPT通过填充部分模糊的内容生成怪异的图像。我的立场：语言模型显然是越大越好，但不止于此。iGPT预示着经过图像和文本训练的模型，至少在OpenAI的工作中，可能比2020年的巨型语言模型更聪明、更怪异。更多信息：NLPSpecial包括有关如何消除偏见的信息，以及对NLP先驱Noam的独家采访沙泽尔。https://blog.deeplearning.ai/blog/the-batch-nlp-special-issue-powerful-techniques-from-amazon-apple-facebook-google-microsoft-salesforce
