当前位置: 首页 > 科技赋能

虎牙率先推出3D影像驾驶功能,采用消费级摄像头实现精准驾驶

时间:2024-05-19 17:01:25 科技赋能

近日,虎牙推出“全方位3D虚拟影像AI驾驶员”解决方案,推出实时驾驶3D虚拟影像虎牙直播端的直播功能。

据了解,该方案是直播行业首个基于消费级摄像头的3D虚拟图像人脸、肢体、手势综合驾驶解决方案。

它可以让消费级相机完成精确的动态识别和捕捉,并提高虚拟图像运动的还原能力。

表现力。

近年来,虎牙在实时内容创作和直播互动技术方向不断发力。

该解决方案的推出,将有助于降低优质内容制作门槛,提高直播互动体验和用户粘性,推动虚拟直播互动模式的创新,让优质的虚拟影像直播将成为现实。

让主播受益更多。

(3D虚拟图像播报效果实时驾驶)打破行业难题,虎牙利用普通摄像头实现3D虚拟图像驾驶效果。

虎牙公司AI技术负责人许佳表示,目前,虚拟形象直播还处于早期探索阶段,主播的直播大多是虚拟形象的动作仅限于面部表情,准确度较高。

是有限的。

极少数主播会选择昂贵的动作捕捉/光捕捉可穿戴设备来捕捉人体姿势进行头像直播。

这种方案虽然有效且美观,但设备、生产、学习成本较高,普通主播难以承受。

因此,虎牙希望利用AI技术降低直播门槛,让主播用普通电脑+摄像头就可以进行虚拟直播,并保证化身司机的准确性和还原性。

为推动虚拟直播“内容升级、制作成本降低”,虎牙近期推出了自主研发的“全方位3D虚拟影像AI驱动”解决方案。

据了解,该方案基于普通单目摄像头或视频输入帧来驱动3D虚拟图像的面部、四肢、手势和手指运动,是一款针对穿戴式3D虚拟图像的综合驱动程序。

(出现在ChinaJoy吸引用户体验)更准确、更真实、低成本、低延迟等是该方案的另一大优势。

例如,通过摄像头采集的视频输入,精确重建主播面部和四肢的三维结构,作为虚拟主播的驱动信号,使其动作更加自然、逼真;通过虎牙自研的AI模型和推理框架,提升模型性能并实现低功耗、低延迟,让虚拟直播真正适合消费级硬件。

此外,该方案与直播平台特点和直播场景高度契合。

通过轻量级实时驾驶,主播可以在虎牙直播PC端“点击即用”;在直播间中,用户的行为也可以触发虚拟形象的实时反应,提高互动性和趣味性。

“AI+直播”的潜力仍待挖掘,应用场景的多元化给行业带来想象空间。

值得一提的是,“全方位3D虚拟图像AI驱动”解决方案采用了虎牙多项关键AI技术,如面部捕捉、肢体驱动、动画重定向、多任务学习等。

据统计,虎牙目前已拥有相关技术申请专利13项。

虎牙上述解决方案和功能推出后,得到了媒体和用户的好评。

在刚刚结束的ChinaJoy上,虎牙的虚拟影像驾驶技术被央视现场报道。

不少主播和用户表示,“使用门槛低,头像栩栩如生,这种头像直播很亲民”。

(虎牙AI技术被央视报道)在许佳看来,“目前‘AI+直播’的场景化落地才刚刚开始。

”未来,虎牙将持续探索AI在直播场景的应用,助力主播更高效地生产更多有趣的内容,持续为用户打造沉浸式直播互动体验。

”展望虚拟直播的未来,高质量内容制作的门槛将大幅降低,将成为行业趋势不断缩小虚拟世界与现实世界内容消费体验的差距,同时随着AI等技术的应用场景日益多元化,比如互动游戏、短视频制作、PGC动画制作等。

等等,或许会给行业带来更多想象空间。