当前位置: 首页 > 科技观察

快手科技多媒体内容理解部李彦:AI技术贯穿快手产品的骨髓

时间:2023-03-17 13:05:51 科技观察

《AI技术贯穿整个快手产品的骨髓,通过AI多维度赋能科技让更多的人有机会被世界看到,看到更广阔的世界。”5月25日,在2019全球人工智能技术大会(2019GAITC)上,快手科技快讯多媒体内容理解部负责人李彦茹。大会在南京举行,李彦在“人工智能与媒体融合前沿论坛”。作为快手科技代表的李岩讲述了快手是如何用AI技术赋能每一位普通用户,让大家的记录更丰富、更有趣、更优质。闫表示,快手对AI技术的深耕,降低了短视频的创作门槛,让用户尽可能接近专业水准。视频和用户实现,让每个用户获得更大的展示空间,同时看到更大的世界。他认为通过短视频实现的记录对于连接人与人、人与人是非常有意义的与世界。总体来说,提高了网民的信任度。以下为演讲实录(节选):很高兴有机会向大家介绍AI是如何应用在快手这样的快手社区,会产生什么样有趣的AI应用。我的分享分为三个部分。第一部分简要介绍快手;第二部分介绍AI技术如何帮助用户提升视频创作质量,降低创作门槛;第三部分介绍AI技术如何理解视频,理解用户,并做好分发。快手是什么?快手定位为普通人记录和分享生活的社区产品。通过短视频、照片和直播,帮助人们记录自己的生活,让每个人都有机会被世界看到,看到更广阔的世界。快手诞生于2011年,今年是八周年。目前,DAU已达到2亿。2011年,GIF快手是制作动画的工具。随着2013年移动互联网的兴起,我们看到了短视频的重要影响和作用。2013年7月,工具产品转型为短视频社区。短视频社区改造后,快手的数据实现了指数级增长。2015年1月,快手日活跃用户突破1000万。截至目前,快手的日活跃用户已达2亿。在中国的互联网市场,日活2亿的应用屈指可数。随着多年来亿万用户的积累,我们社区现在已经有超过100亿条短视频的记录,并且每天都在以1500万条短视频的速度递增。四年前,这个数字只有几十万。在快手中,用户记录了大千世界的方方面面,在这里我们可以看到许多真实而强大的生活,其中一些是大众媒体看不到的。比如这个视频,鸭绿江边的人在搬运木材,高山上的木材顺着水流往山下搬运。这种古老的水运方式鲜为人知。注意。还有这个视频,就是城建工地上的“水鬼”。这个职业很小,但是一二线城市的每一栋高层建筑都需要。在一个十米深的坑里,电钻头掉了下来,他们需要潜入几十米深的浑浊泥水中,才能将电钻恢复到原来的位置。普通用户记录的生活,涵盖了以往记者或专业人士记录和研究的范围。快手上记录着数亿人的生活。有当代百工地图,有世界各地的田野风情,有用户记录的各种旅行生活。还有来自清华大学、中国人民大学等高校的教授讲解知识,进行知识传播,这些画面汇集在一起??,构成了我们当代生活的一幅清明上河图。AI帮助用户以更低的成本创作出更高层次的视频接下来,我将重点介绍AI技术如何帮助短视频这款产品做得更好。希望能帮助媒体朋友们明白,AI技术其实贯穿于快手的产品精髓,应用在从视频制作、视频理解、用户理解到视频推荐的整个环节。在视频创作过程中,我们希望每个人都能成为自己生活的导演,用手机记录生活,产出相对优质的视频。如何帮助每个人成为自己的导演?AI技术广泛应用于视频创作过程快手,用科技赋能普通用户,让他们尽可能接近专业视频制作水平。我们希望让用户用更低的成本制作更高层次的视频,这就需要AI来帮助内容生产。例如,快手之前推出了一款名为“快手时光机”的神奇表情,可以让用户在几十秒内看到自己的脸是如何衰老的。自己一个人拍视频很乏味。我们希望用户能够体验到他们老了之后会是什么样子。再比如,将AR技术应用到用户拍摄视频的环节,在现实生活的画面中加入一些虚拟元素。更多新奇体验。再比如,我们会使用图像相关的算法帮助用户修正视频在拍摄过程中出现的问题,比如镜头脏了导致的视频画面模糊,光线问题导致的画面暗淡、偏色等。这些玩法和功能的背后,是快手研发的前沿AI技术,涉及人体姿态估计、手势识别、背景分割等多个技术模块。这些都是快手为了让录音形式更有趣而做出的新尝试。这里有一个挑战。以上技术必须在手机本地实时计算渲染。快手拥有数亿用户,用户手机型号千差万别。这需要我们的算法能够在所有模型上顺利运行。这对我们的AI能力要求非常高,需要消耗大量的计算资源。为了解决这个问题,快手自主研发了YCNN深度推理学习引擎,解决了AI技术运行受限于用户设备计算量的问题。在音频方面,我们也做了很多工作。比如之前专业人士制作视频的时候,剪辑字幕是一件很痛苦的事情。现在我们利用语音识别技术帮助视频制作者自动添加和编辑字幕,还可以以多种形式显示字幕。借助AI技术,大大降低了字幕生成成本。在短视频的场景中,音乐起到了非常重要的作用。据统计,60%-80%的快手视频都使用了背景音乐来烘托气氛。如何选择合适的音乐来表达你的心情其实并不容易。尽可能让用户创造出符合音乐节奏的动作,对用户的要求非常高,音乐感很强的人其实很少。为了降低用户在创作视频时选择音乐的门槛,我们开发了智能配乐和AI生成音乐技术。智能配乐可以根据视频画面和用户画像为用户推荐合适的视频画面,并为用户提供喜欢的背景音乐供用户选择。AI生成音乐可以通过AI的分析算法感知视频中人物的动作,进而使生成音乐的节奏与人的动作相匹配。这大大降低了用户在创作视频时选择音乐的门槛,让大家更愿意创作自己的视频。用AI理解视频,理解用户,传播好。以上分享的是AI技术如何降低人工创作的门槛短视频,让普通用户也能创作出优质的短视频。在用户创建并上传到我们的社区后,我们做了什么来更好地分发这些视频?理解视频其实是很复杂的,比如人脸纬度的分析,场景分析,音乐分析等等,都是从单一角度建模的。事实上,视频需要多模态分析。我们需要让机器高效地判断用户上传的视频是否符合规则,判断视频内容是否原创,将视频准确匹配到对他感兴趣的用户。我们让机器帮我们管理海量上传的视频,同时帮我们做视频推荐,推荐给用户的视频能激发用户的兴趣。这里面还涉及到用户理解,是指让机器理解我们的用户,包括理解用户的社会学特征,还有用户的兴趣,包括他的短期爱好和中长期爱好,还有一大堆代表用户的数量。较小的特征向量。在视频分发方面,快手上有一个很有意思的现象。我们不希望头部的视频内容占据过多的曝光量。我们用经济学中的基尼系数来控制平台用户之间的“贫富差距”。”。互联网上的注意力资源是非常宝贵的资源。我们希望这种宝贵的资源也可以分发给普通人,而不是像聚光灯一样聚集在少数头部用户身上。所以我们设计了快手的推荐机制,无论是明星还是普通人,在快手都是一样的。快手非常重视制作者的利益和长尾视频内容的分发,希望关注资源能够分发给所有人像太阳一样制作视频的用户,让普通人有机会被更多人关注,感受被关注和被认可的快乐。觉得建立这样的连接很有意义。我们每个人内心深处都是孤独的,都想通过连接来获得关注、认同、交朋友。因此,快手用户之间的关系会更融洽e粘性和稳定。总的来说,这可以增强网民之间的信任度。今天的分享就到这里,谢谢大家。