当前位置: 首页 > 科技观察

腾讯云音视频AI技术,超快高清世界杯直播的“幕后功臣”

时间:2023-03-19 10:04:40 科技观察

【.com原创稿件】转眼间,世界杯即将来临结尾。不管是看足球还是懂足球,都少不了世界杯期间人们的话题。回顾每一届世界杯,都有新技术帮助球迷,让球迷更真实地体验世界杯的美好,世界杯的激情与汗水。今年的世界杯依然离不开新技术的支持,比如云计算、人工智能等。例如,不再采用过去的电视直播,而是采用新媒体平台进行网络直播。5月底,中央广播电视总台决定发行世界杯新媒体版权。为了达到清晰流畅的直播效果,央视最终选择腾讯云提供极速高清直播技术支持。相信世界杯的直播,央视和央视视听视频的清晰流畅,应该给很多人留下了深刻的印象。那么,在高清直播的背后,腾讯云使用了哪些新技术?央视为何选择腾讯云?体育赛事直播最大的挑战:清晰度和流畅度。或者歧义的情况非常少。然而,网络直播不如电视直播稳定。由于网络带宽等因素,极有可能出现画面卡顿、音视频时间戳不同步的情况。通常,为了保证视频的流畅观看,用户不得不降低视频码率,选择流畅或标清画质观看视频。但对于世界杯这样的重量级赛事来说,这显然不是观众和直播者想要的结果。事实上,视频是Internet上带宽最密集的内容形式。如何实现高频视频动图的清晰流畅,一直是体育赛事互联网直播面临的最大挑战。那么,如何才能保证用户直播的质量和画面的清晰度呢?腾讯云是怎么做到的?腾讯云高级产品经理李海奇表示,在近日举行的腾讯云媒体沙龙上,腾讯云高级产品经理李海奇表示:“对于视频企业来说,带宽支出占运营成本的很大一部分。如果他们想要给用户提供高清的视频体验,就必须提高视频流的码率,相应的带宽总成本也会进一步增加,腾讯云极高清正在解决这个问题,可以为用户提供以较低的比特率提供更高清的视频。”央视世界杯直播背后的技术——腾讯云极速高清李海奇告诉记者,普通的转码技术存在很多质量问题,比如:转码失真、低分辨率模糊、镜头抖动、噪点大、低码率锯齿块等,这些都是整个转码过程中需要处理的一些基本问题。腾讯云高速高清技术(又称“智能动态编码技术”)主要是利用机器深度学习对视频场景进行智能分类、匹配编码参数、预处理、动态优化编码、智能控制码率、细节还原,和ROI处理等技术和流程,智能处理直播或点播视频流以匹配最新的编码参数,从而以更低的带宽成本为用户提供更高清晰度的直播视频流。该技术会根据场景分类实时识别结果,结合视频源码率、帧率、分辨率、纹理和运动变化范围,综合机器负载和画质效果,选择最佳编码参数。同时,在画质处理方面,可根据不同场景进行分类,结合视频源画面纹理和实时运动检测结果对画面进行锐化、柔化模糊、去隔行、去块、降噪、色彩尺度补偿、帧缩小等处理。据介绍,腾讯云极速高清技术主要通过智能场景识别、视频动态编码、视频增强三大模块实现对直播视频流的智能编码。在场景智能识别方面,在超速高清技术的服务期内,可以对直播流进行实时检测分析,匹配相应的场景模型。根据视频流识别直播视频的场景,是否是体育赛事,如果是,是足球、篮球还是网球。同时,对单个场景也采用了智能识别。如果是足球比赛,需要实时识别是近距离射门,是远距离射门,是不是射门等等。然后根据场景分类的实时识别结果,进行视频动态编码。先匹配当前的基础编码库,再根据实时运动场景匹配下一个更详细的编码库。***,实现视频增强。增强观众关注的重点区域,弱化非重点区域。例如观众区和广告牌区可以被削弱。央视为何选择腾讯云?央视作为整个视频云行业的高价值客户,是所有云厂商的必争之地。在世界杯之前,央视决定引入新技术提高世界杯期间的比赛清晰度后,各家云服务商都提供了自己的解决方案。腾讯云在码率控制、去模糊、去块、去隔行、运动搜索、块决策等模块进行了数十项服务升级和优化。经过一轮又一轮的PK,央视最终选择了腾讯云。在同样分辨率1024*576、帧率25的情况下,腾讯云极速高清技术实现了较低的887kbps码率,而另外两家云服务商的码率分别为963kbps和941kbps。采用VMAF模型评估视频质量,腾讯云的码率比竞争对手低8%-10%左右。“世界杯揭幕战期间,直播问题频发,但腾讯云极速高清技术支持的央视音视频一举实现了口碑逆袭.”腾讯云高级工程师卢林说。腾讯云高级工程师卢林谈到了世界杯直播的支持体验。卢林说:“其实早在今年春节,腾讯云就已经开始深度学习对世界杯直播的支持。世界杯现场。“今年春节过后,腾讯云的极速高清服务开始陆续接入一些头部游戏直播平台,并取得了良好的反馈。此前,腾讯云的网络爬虫已经有超过500个足球比赛视频场景。”、足球跟随模型训练、长镜头优化、高亮回放ROI区域增强、观众表情捕捉等细节做一些视觉效果分析和优化效果评估,达到最好的动态编码模型。在世界杯之前,腾讯云已经一直在中超赛场上推广高速高清服务给龙珠直播和新影体育的英超比赛,开始训练他们搭建的AI模型,他们发现和中超有很多不同而英超联赛,英超联赛速度较慢,这就需要他们针对不同的模式进行更有针对性的调整,世界杯的节奏大致是b介于中超和英超,但更倾向于英超的快节奏。因此,在世界杯期间,他们将之前的一套AI模型与世界杯匹配得更加紧密。此外,在本就紧张的世界杯前夕,腾讯云也拿出了新的私有化方案,上架央视。全套腾讯云高速高清转码集群支持央视世界杯期间CCTV5频道直播,RTMP/FLV推拉源码流,转码处理后支持CCTVRTMP/FLV/HLS拉流。最后,在世界杯开赛前,腾讯云兼容了客户硬件设备和软件代码模块的各种适配需求。目前该方案各项服务指标正常,流出效果超预期。播放效果与其他平台相比具有明显优势。AI支持音视频,极速高弹记者了解到,腾讯云极速高清技术是腾讯云音视频AI解决方案最重要的特色之一。前不久,在2018腾讯云“云+未来”峰会上,为解决游戏直播行业的成本、技术问题,腾讯云发布了音视频AI解决方案——明眸。音视频技术与AI人工智能的结合,会擦出怎样的火花,腾讯云明眸的能力就是最好的证明。腾讯明眸可以实现智能判断视频场景类型,优化不同类型视频的处理,以更低的带宽为用户提供更高清的观看体验。可以说,腾讯视频云对AI有着足够的了解。腾讯亮眼涵盖了极速高清、智能动效、智能剪辑、智能字幕四大核心功能。可以包括泛娱乐直播、网络视频、短视频、广电新媒体等。整个视频产业链,在具体实现上,包括窄带高清、超分辨率、动态编码、正文语言识别、智能挂件、美肤、人像检索、智能封面、智能标签、语音识别、实时翻译、混流输出等,AI技术可以在包括AI在内的多个应用场景中得到充分体现。其中,极速高清服务采用AI技术,智能判断视频场景类型。对于同一视频的不同片段,采用完全不同的IBP帧类型、量化参数QP、分辨率等编码参数,尽可能不降低视频质量。在某些情况下,降低视频比特率并降低CDN带宽。依托腾讯多年来在视频领域的资源和技术积累,腾讯云构建了视频云生态,不仅为企业提供技术支持,还与企业达成资源合作,助力80%头部直播企业发展。在“云+未来”峰会上,腾讯云发布了全新的音视频AI解决方案和Tencent-RTC,进一步完善和进化了生态。【原创稿件,合作网站转载请注明原作者和出处为.com】