1.2022年32篇最佳AI论文：DALLE2、StableDiffusion、ChatGPT等入选大模型和Vincent图，transMode无疑是今年的热点，还有GAN等视觉领域的文章也很多。GitHub上还有这些论文的短视频、文字解读、代码链接等。从论文的主要贡献机构来看（有贡献但疑似排名靠后的机构，全部忽略），似乎反映了各个公司在AI领域的地位：第一档：谷歌8篇论文，Meta6排在前两位，OpenAI3不过有两个比较有影响力的（DALL·E2和ChatGPT），如果按照代表作来评价，可能不输给两大巨头。第二档：NVIDIA有2.5篇。第三档：国内腾讯、百度、微软（亚洲研究院）各1篇。在国外，有三星、迪士尼各有一款。Snap和Adob??e都有0.5篇文章。大学一共5.5篇，比不上两大巨头，相比起来差了很多。其中：特拉维夫有1.5篇文章排名第一，但慕尼黑的StableDiffusion影响巨大，应该算是第一梯队；CMU和南洋理工大学各有1篇和2ndtier；USC和Berkeley各有0.5篇文章和第3层。链接：https://github.com/louisfb01/...https://hub.baai.ac.cn/view/2...2.吴恩达2022年终盘点：生成式AI、ViT、大模型在过去的一年里，生成式AI迎来了爆发式增长，人工智能生成的图片在社交平台上疯狂传播，引发了不小的争议，也带动了投资；visualTransformer（ViT）的作品也经历了爆发式增长。一年内，研究人员发表了17,000多篇ViT论文；AlphaCode、Codex等的推出，方便了开发者，大受欢迎；正在努力解决偏见和及时性等问题。链接：https://mp.weixin.qq.com/s/na...3.2022开箱即用的ML研究：爆发式的StableDiffusion，多面手AgentGato，LeCun今日转推，ML&NLP研究员、MetaAI技术产品营销经理、DAIR.AI创始人ElvisS.总结了2022年将非常流行的12篇机器学习论文。该帖子迅速走红，并被图灵奖获得者YannLeCun转发。链接：https://mp.weixin.qq.com/s/zd...4.ChatGPT进化的秘密ChatGPT是如何变得如此强大的？它的各种强大能力从何而来？在这篇文章中，作者试图分析ChatGPT的EmergentAbility，追溯这些能力的源头，并希望给出一个全面的技术路线图来说明GPT-3.5模型系列和相关的大语言模型是如何一步步演化成当前强大的形式。作者希望这篇文章能够促进大型语言模型的透明化，成为开源社区共同努力重现GPT-3.5的路线图。链接：https://mp.weixin.qq.com/s/dP...5.疯狂两千星，快一百倍，高性能Python编译器Codon开源作为一款高性能Python编译器，Codon可以在没有任何运行时开销的情况下将Python代码编译为本机机器代码。Python的典型加速在单个线程上大约为10-100倍或更多。Codon的性能大体上与C/C++相当。与Python不同，Codon支持原生多线程，这可以带来很多倍的速度。Codon可通过插件基础结构进行扩展，允许用户合并新库、编译器优化甚至关键字。Codon框架是完全模块化和可扩展的，允许无缝集成新模块、编译器优化、特定领域语言等，并且正在为生物信息学和量化金融等不同领域积极开发新的Codon扩展。链接：https://mp.weixin.qq.com/s/p2...6.xNN：支付宝的端到端深度学习框架。2017年，支付宝首次推出AR实时幸运扫一扫。扫一扫“福”字，帮助大家收集福卡。当时福字识别模型选择了服务端部署的技术方案。活动期间为了识别福字，需要调用大量服务端部署资源部署识别模型；另一方面，DL在云端意味着必须上传数据。即使不考虑计算压力，从网络延迟、流量、隐私保护等角度来看，也给用户体验带来了种种限制。因此，对于相当多的应用来说，将DL模型前移到移动部署可以说是一种刚需。链接：https://mp.weixin.qq.com/s/ca...7.OneFlow源码分析：自动微分机制深度学习框架一般通过自动微分（autograd）机制计算梯度和反向传播。本文试图通过一个简单的例子来简要观察一下OneFlow的autograd的实现机制。链接：https://mp.weixin.qq.com/s/Em...8.CUDA笔记（一）：解析OneFlowElement-Wise算子实现Elemet-Wise算子指逐个元素执行对输入Tensor的Operations，比如ReLU，就是判断输入Tensor的每一个值是否大于0，大于0则输出为输入，否则为0。链接：https://mp.weixin.qq.com/s/_p...9.Meta千亿参数大模型OPT-IML“升级版”来了，完整模型和代码将于今年5月公布，MetaAI官宣超-基于1750亿参数的大模型OPT-175B发布，同时也免费向所有社区开放。12月22日，更新版模型OPT-IML（OpenPre-trainedTransformer）正式上线。Meta表示，它“微调了2000个语言任务，包括1750亿个参数”，还将用于非商业研究目的。免费开放。链接：https://mp.weixin.qq.com/s/LE...10.一块RTX3090加速训练YOLOv5s，时间缩短11小时，速度提升20%。通过对YOLOv5的性能分析和一些简单的优化，OneFlow团队将单个RTX3090FP32YOLOv5s的训练速度提高了近20%。对于需要迭代300个Epochs的COCO数据集，One-YOLOv5相比Ultralytics/YOLOv5缩短了11.35小时的训练时间。本文将分享所有优化技术。如果你是PyTorch和OneFlow的用户，尤其是日常和检测模型打交道，资源相对有限的情况下，本文的优化方法会对你有所帮助。链接：https://mp.weixin.qq.com/s/Lj...11.YOLOv5综合解析教程①：网络结构逐行代码解读本教程同样适用于Ultralytics/YOLOv5，因为One-YOLOv5只是一个runtimebackend而已，计算逻辑和代码相比Ultralytics/YOLOv5没有变化。欢迎加星。链接：https://mp.weixin.qq.com/s/qf...12.稳定扩散2.0相对于1.5是退步了吗？及时的实验告诉你真相。SD2.0在Reddit上引来不少吐槽。人们抱怨说旧版的SD提示在2.0下不仅不再有效，甚至效果明显反了过来。机体结构扭曲紊乱，质地奇异。和可爱低门槛的Midjourneyv4相比简直就是一场噩梦。笔者对SD2的第一印象和对社区的印象差不多，充满了无奈和失望。以前珍藏的提示不多。但摒弃旧有的想法，经过几组迅速的实验，他重新有了信心，发现了稳定扩散2.0的诸多亮点和优势。链接：https://mp.weixin.qq.com/s/oC...13.OneFormer:ATransformerdomainsgeneralimagesegmentation论文提出了OneFormer，它是第一个基于transformer的多任务通用图像分割框架，该框架只需要使用单一通用架构、单一模型和单一数据集训练一次，并且可以在语义、实例和全景分割任务上优于现有框架，尽管后者需要单独的训练。链接：https://mp.weixin.qq.com/s/X1...14。近两年VisionTransformer在NLP领域取得巨大成功后，Transformer架构在计算机视觉中的作用日益凸显，成为越来越通用的CV工具。自2020年10月VisionTransformer模型推出以来，人们非常关注Transformer模型在计算机视觉中的应用。在VisionTransformer推出两周年之际，我们借此机会简单介绍一下，并讨论过去两年开发的各种VisionTransformer模型变体以及Transformer在计算机视觉应用中面临的各种挑战。链接：https://mp.weixin.qq.com/s/GW...欢迎Star，试用最新版OneFlow：https://github.com/Oneflow-In...
