大数据文摘作者：李磊、张驰、蒋宝尚2019年转眼已经过去了将近一半，对于日新月异的深度学习技术来说，是漫长的岁月。OpenDataScience整理了Medium上2019年至今的深度学习技术发布精华。入选论文均为GitHub平台上有相关代码的论文。DigestBacteria已经为你完成了编译工作，希望你能跟上时代的步伐~使用PyTorchGeometric实现快速图表示学习本文介绍PyTorchGeometric，它是一种非结构化数据（例如图，点云和流形）深度学习库。除了一般的图数据结构和处理方法外，它还包含关系学习和3D数据处理领域的各种最先进的方法。PyTorchGeometric通过利用稀疏GPU加速、提供专用CUDA内核以及为不同大小的输入样本引入高效的小批量处理来实现高数据吞吐量。GitHub链接：https://github.com/rusty1s/pytorch_geometricMaskScoringR-CNN（掩码评分R-CNN）在大多数计算机视觉实例分割任务中，通常使用实例分类的置信度作为实例分割框架。掩盖可能存在偏差的质量得分。本文研究了这个问题并提出了MaskScoringR-CNN（MaskScoringR-CNN），这是一个学习预测实例掩码质量的模块。mask评分策略校准了mask质量和分类分数之间的差异，并优先考虑更准确的mask预测，以改进COCO数据集上平均准确度(AP)评估中的实例分割。GitHub链接：https://github.com/zjhuang22/maskscoring_rcnn如何用更少的标签生成高保真图像深度生成模型是现代机器学习的基础。最近关于条件生成对抗网络(GAN)的研究表明，可以学习自然图像的复杂高维分布。虽然最先进的模型能够生成高分辨率、高保真度和多样化的自然图像，但它们通常依赖于大量标记数据。本文展示了如何利用当前关于自主和半监督学习的研究来实现无监督和有条件的最先进的ImageNet图像合成。GitHub链接：https://github.com/google/compare_ganGCNv2:EfficientResponsePredictionforReal-TimeSLAM本文介绍了GCNv2，一种用于生成关键点和描述符的深度学习网络。GCNv2建立在图卷积神经网络GCN之上，这是一个用于训练3D投影几何的网络。GCNv2使用二进制描述符向量作为ORB（OrientedFASTandRotatedBRIEF）特征，因此可以很容易地在ORB-SLAM（一种基于ORB特征的3D实时定位和地图构建算法）等系统中替代ORB。GitHub链接：https://github.com/jiexiong2016/GCNv2_SLAMALiPy：Python的主动学习监督机器学习方法通??常需要大量的标注样本进行模型训练。然而在很多实际应用中，存在大量未标注数据，而标注数据并不多，数据标注的成本非常高。主动学习(AL)通过迭代选择最有价值的数据样本并从标签器查询它们的标签来降低标签成本。本文介绍了ALiPy，一个用于主动学习的Python工具库。GitHub链接：https://github.com/NUAA-AL/ALiPyDeepFashion2:Multifunctionalbenchmarkdatasetforclothingimagedetection,posejudgment,instancesegmentationandre-identificationThebenchmarkdatasetDeepFashion提高了人们对服装时尚的理解，它有丰富的标签，包括服装类别、标签和卖家秀-买家秀图片。但是，DeepFashion也有不容忽视的问题，比如每张图片只有单一的服装类别，标签稀疏（只有4~8个），没有像素掩码，与真实场景有明显差距。本文介绍的DeepFashion2解决了上述问题。它是一个多功能数据集，包含四个特征，服装检测、姿势判断、实例分割和识别。GitHub链接：https://github.com/switchablenorms/DeepFashion2星际争霸多智能体挑战深度多智能体强化学习（RL）在过去几年一直是一个非常活跃的研究领域。该领域非常具有挑战性的问题是局部观察、局部合作和多智能体学习，其中每个智能体必须根据自己的观察学习与其他智能体进行协调。这个研究领域很有吸引力，因为现实世界中有大量相关场景，而且这些问题比一般的聚合问题更适合算法评估。ALE（街机游戏模式学习环境）和MuJoCo（物理模拟引擎）等标准化环境使单代理强化学习能够突破网格世界等小领域。然而，协作多智能体强化学习缺乏相应的基准环境。因此，这一领域的大多数论文都集中在一次性的小问题上，因此很难衡量实际效用。本文提出的星际争霸多智能体挑战赛（SMAC）可以作为填补这一空白的基准问题。GitHub链接：https://github.com/oxwhirl/smacDropout-随机增量规则的特例：更快、更准确的深度学习多层神经网络在文本、语音和图像处理的各种基准任务上表现出色。在分层模型中，非线性参数估计会出现过度拟合和误差。这些估计和相关问题（局部最小值、共线性、特征发现等）的解决方案之一是dropout。dropout算法在每次更新前根据先验概率p的伯努利随机变量暂时丢弃一些隐藏单元，从而对平均更新网络产生随机“冲击”。本文表明，dropout是一种更通用的模型的特例，称为随机增量规则(SDR)，该模型于1990年首次发布。GitHub链接：https://github.com/noahfl/sdr-densenet-pytorchLingvo：一种模块化和用于序列到序列建模的可扩展框架Lingvo是一个Tensorflow框架，它为协作深度学习研究提供了完整的解决方案，专注于序列到序列模型。Lingvo模型由模块化组件组成，灵活易扩展，实验配置集中，可定制性强。它内置了对分布式训练和定量推理的支持，并自带大量实际应用的实现代码、辅助功能和先进的研究思路。在过去的两年里，Lingvo被数十名研究人员使用，相关论文超过20篇。本文概述了Lingvo的底层设计并介绍了框架的各个部分，同时还提供了高层功能示例来展示框架的能力。GitHub链接：https://github.com/tensorflow/lingvo具有学习率动态边界的自适应梯度算法AdaGrad、RMSProp和Adam等自适应优化算法可用于通过按元素缩放学习率来实现快速训练过程。尽管它们很受欢迎，但与随机梯度下降算法SGD相比，它们的泛化能力较差，甚至可能由于不稳定或极端学习率而无法收敛。本文证明了极端的学习率会导致算法性能不佳，并提出了Adam和AMSGrad算法的新变体，分别称为AdaBound和AMSBound，它们引入了学习率的动态界限，并实现了从自适应方法到SGD的逐渐过渡平滑过渡并给出收敛的理论证明。作者对各种流行的任务和模型进行了进一步的实验。实验结果表明，新变体可以缩小自适应方法和SGD之间的泛化差距，同时在训练早期保持较高的学习率。GitHub链接：https://github.com/Luolc/AdaBound相关报道：https://medium.com/@ODSC/best-deep-learning-research-of-2019-so-far-7bea0ed22e38【本文是一篇专栏机构大数据文摘原创文章微信公众号《大数据文摘（id：BigDataDigest）》】点此查看本作者更多好文
