当前位置: 首页 > 科技观察

NVIDIA64A100训练StyleGAN-T;9种生成AI模型概述

时间:2023-03-12 09:28:50 科技观察

类别:超越内核方法的量子机器学习可穿戴传感器内储层计算,使用具有穿透空间电荷传输特性的光电聚合物进行多任务学习Dash:半监督学习与动态阈值风格GAN-T:释放GAN的力量以实现快速大规模文本到图像合成通过多模态知识转移进行开放式词汇多标签分类ChatGPT并不是您所需要的全部。AStateoftheArtReviewoflargeGenerativeAImodelsClimaX:AfoundationmodelforweatherandclimateArXivWeeklyRadiostation:NLP,CV,ML更多精选论文(含音频)论文1:Quantummachinelearningbeyondkernelmethods作者:SofieneJerbi等论文地址:https://www.nature.com/articles/s41467-023-36159-y摘要:在这篇论文中,奥地利因斯布鲁克大学的一个研究团队确定了一个建设性框架,该框架捕获了基于参数化量子的所有标准模型电路:线性量子模型。研究人员展示了如何使用量子信息论中的工具有效地将数据重新上传电路映射到量子希尔伯特空间中线性模型的更简单图像中。此外,还根据量子比特数和需要学习的数据量分析了这些模型的实验相关资源需求。根据经典机器学习的最新结果,表明线性量子模型必须使用比数据重新上传模型更多的量子比特来解决某些学习任务,而核方法也需要更多的数据点。这些发现提供了对量子机器学习模型的更全面理解,以及对不同模型与NISQ约束的兼容性的见解。在这项工作中研究的量子机器学习模型。推荐:超越内核方法的量子机器学习,量子学习模型的统一框架。论文2:使用具有跨空间电荷传输特性的光电聚合物进行多任务学习的可穿戴传感器内储层计算作者:XiaosongWu等人。论文地址:https://www.nature.com/articles/s41467-023-36205-9摘要:传感器内多任务学习不仅是生物视觉的关键优势,也是人工智能的主要目标。然而,传统的硅视觉芯片具有显着的时间和能量开销。此外,训练传统的深度学习模型在边缘设备上既不可扩展也负担不起。在这篇论文中,来自中国科学院和香港大学的研究团队提出了一种材料-算法协同设计,以低开销模仿人类视网膜的学习范式。基于具有高效激子离解和空间电荷传输特性的瓶刷形半导体p-NDI,开发了基于可穿戴晶体管的动态传感器储层计算系统,该系统在不同任务性能、衰减记忆和回波状态特性方面表现出优异的可分离性.结合忆阻有机二极管上的“读数”,RC识别手写字母和数字并对各种服装进行分类,准确率分别为98.04%、88.18%和91.76%(高于所有报告的有机半导体)。传统半导体和p-NDI的光电流响应比较,以及传感器内RC系统的详细半导体设计原理。推荐:低能耗、低耗时,中科院&港大团队在可穿戴传感器中采用多任务学习油藏计算新方法。论文3:Dash:具有动态阈值的半监督学习作者:YiXu等。论文地址:https://proceedings.mlr.press/v139/xu21e/xu21e.pdf摘要:本文创新性地提出了使用动态阈值(dynamicthreshold)方法筛选未标记样本进行半监督学习(SSL),我们改造了半监督学习的训练框架,改进了训练过程中未标记样本的选择策略。通过动态改变阈值选择更有效的未标记样本进行训练。Dash是一种通用策略,可以很容易地与现有的半监督学习方法集成。在实验方面,我们充分验证了其在CIFAR-10、CIFAR-100、STL-10、SVHN等标准数据集上的有效性。在理论方面,论文从非凸优化的角度证明了Dash算法的收敛性。Fixmatch训练框架推荐:达摩院开源半监督学习框架Dash刷新了多项SOTA。论文4:StyleGAN-T:释放GAN的力量以实现快速大规模文本到图像合成作者:AxelSauer等人。论文地址:https://arxiv.org/pdf/2301.09515.pdf摘要:Diffusionmodelintext在图像生成方面是最好的吗?不一定,英伟达等新推出的StyleGAN-T说明GAN还是有竞争力的。StyleGAN-T在0.1秒内生成512×512分辨率图像:推荐:GANs回来了吗?Nvidia花费64个A100训练StyleGAN-T,表现优于扩散模型。论文5:Open-VocabularyMulti-LabelClassificationviaMulti-ModalKnowledgeTransfer作者:SunanHe等。论文地址:https://arxiv.org/abs/2207.01887摘要:在多标签分类系统中,大量在训练集中没有出现过的标签,如何准确识别这些标签是一个非常重要且具有挑战性的问题问题。为此,腾讯优图实验室联合清华大学、深圳大学提出了基于多模态知识迁移的MKT框架,利用图文预训练模型强大的图文匹配能力,保留关键视觉一致性在图像分类中。特征信息实现多标签场景的OpenVocabulary分类。该作品已入选AAAI2023Oral。ML-ZSL和MKT方法比较。推荐:AAAI2023口试|如何识别未知标签?新SOTA的多模式知识转移框架。论文6:ChatGPT并不是您所需要的全部。大型生成式AI模型的最新技术回顾作者:RobertoGozalo-Brizuela等人。论文地址:https://arxiv.org/abs/2301.04655摘要:近两年,AI领域出现了大量大规模的生成模型,比如ChatGPT或者StableDiffusion。具体来说,这些模型能够执行诸如一般问答系统或自动创建艺术图像等任务,这些任务正在彻底改变许多领域。在西班牙科米利亚斯教皇大学的研究人员最近提交的一篇评论论文中,作者试图以简洁的方式描述生成式AI对许多当前模型的影响,并对最近发布的主要生成式AI模型进行分类。类别图标。推荐:ChatGPT不是你所需要的,6大公司9种生成式AI模型评测。论文7:ClimaX:Afoundationmodelforweatherandclimate作者:TungNguyen等论文地址:https://arxiv.org/abs/2301.10343摘要:MicrosoftResearchGrouponAutonomousSystemsandRoboticsandMicrosoftResearchCenterforScientificIntelligencedevelopedClimaX,一种灵活且可推广的天气和气候科学深度学习模型,可以使用跨越不同变量、时空覆盖和物理基础的异构数据集进行训练。ClimaX使用新颖的编码和聚合块扩展了Transformer架构,这些块允许在保持通用性的同时有效地使用可用计算。ClimaX使用自我监督学习目标对源自CMIP6的气候数据集进行了预训练。然后可以对预训练的ClimaX进行微调,以解决范围广泛的气候和天气任务,包括那些涉及预训练期间未见的大气变量和时空尺度的任务。预训练时使用的ClimaX架构推荐:微软团队发布了ClimaX,这是第一个基于AI的天气和气候基础模型。