当前位置: 首页 > 科技观察

人脸识别,现在连动漫角色都不放过

时间:2023-03-16 23:50:53 科技观察

人脸识别,现在连动漫人物都不能幸免。是不是看动漫看多了认字有点脸盲?或者,你只想为你的二次元老婆做一个颜值相册,却要在各大搜索引擎上搜索她的照片?试试爱奇艺推出的卡通人脸识别基准数据集iCartoonFace,用它训练AI帮你找动漫素材,效率分分钟翻倍。对于脸相似但角色不同的二维人物,也能准确识别(脸盲的福音):如果角色视角发生变化,也能准确识别:不仅如此,遮挡脸时也能准确识别大面积的,也能准确识别出来:至于阴影和光照,不是问题。即使站在树荫下,也能被AI“检测”到:效果不亚于现有的真人识别。那么,这样的技术是如何炼成的呢?结合真人数据,训练卡通人脸识别团队提出了卡通人与真人多人训练框架,主要包括三部分:分类损失函数、未知身份拒绝损失函数和领域迁移损失函数,如图下图。其中,分类损失函数主要用于分类卡通人脸和真实人脸。未知身份拒绝损失函数用于不同域之间的无监督正则化投影。至于域迁移损失函数,目的是减少卡通域与真实域之间的差异,并限制它们的相关性。对于这个框架,研究人员探索了三个问题:哪种算法最好?人脸识别对卡通识别有帮助吗?上下文信息对卡通识别有用吗?从实验结果来看,ArcFace+FL的效果最好,所以团队选择了这个算法。至于最后两个问题的答案,也是肯定的。从下图中的蓝线来看,加入真人识别的信息后,对于卡通检测的识别也有帮助。至于上下文信息,团队也进行了实验。下图展示了该算法基于卡通人脸在不同尺度下的性能识别。实验证明,上下文信息越丰富,人脸识别的效果越好。事实上,动物角色训练出来的特征样本相比于人脸还是有些怪异的。下图是原图和对应的特征样本。与动漫少男少女相比,虹猫的特点有点……变幻莫测。但这也说明了一个标准的、大型的动漫人脸数据集是必要的。标注数据,只需一步为了减少人工标注的工作量,研究人员设计了一个半自动的数据集构建框架,用于构建iCartoonFace数据集。如下图所示,这个框架可以分为三个阶段:首先,分层收集数据。先获取卡通图片信息,包括专辑和人物名称,再获取卡通人物图片,这样数据集的结构就很清晰了。第二,过滤数据。使用卡通人脸检测、特征提取器和特征聚类来过滤图像数据。其中,特征提取器的性能会发生变化:随着标注数据的增加,性能会不断提高。最后,标注者只需要做一步:根据特征聚类的结果,回答两张图片是否是同一个人。目前最大的卡通人物标注数据集其实还有大量的真人人脸识别技术和算法。但是,二维人脸识别的数据集仍然很少,而且大部分数据集都存在噪声比大、数据量小的问题。但这样的需求是确实存在的,而且不仅仅局限于视频的结构分析,还可以应用于图片搜索、广告识别等场景。例如,为创作者提供智能编辑,或审查和识别恶搞漫画和卡通风格的角色。针对这一现象,爱奇艺发布了全球最大的手绘卡通人物检测识别数据集iCartoonFace,包含超过5000个卡通人物和超过40万张高质量的真人图片。下图是iCartoonFace与其他现有动画数据集的对比。基于该数据集设计框架,可以有效提高卡通人物识别性能。或许真的会让观众对动漫角色“不再脸盲”。传送门论文链接:https://arxiv.org/pdf/1907.13394.pdf数据集(在竞赛数据集栏目):https://iqiyi.cn/icartoonface