腾讯多媒体实验室刘杉博士：5G 时代来临，多媒体技术加速演进

2020年12月19日至20日，腾讯主办的2020 Techo Park 开发者大会在北京时尚设计广场举行。在大会主论坛上，腾讯杰出科学家、腾讯多媒体实验室总经理刘杉博士发表了题为“从视频编解码到互动沉浸式媒体”的演讲，重点介绍了视频编解码技术的演进，以及腾讯在新型互动沉浸式媒体领域的探索。

刘杉在演讲中表示，全球疫情使许多领域的活动从线下转向线上。随着多媒体技术使用量增加，如何在保持高质量服务的同时减轻网络数据带宽压力，成为更高的技术要求。作为一家互联网科技公司，腾讯的许多业务都与多媒体技术紧密结合，因此视频编解码能力是腾讯重要的核心竞争力。

在多媒体技术领域，腾讯不断推动创新突破。自2018年参与 H.266/VVC 标准制定以来，腾讯多媒体实验室已有超过 100 项技术被标准采纳，采纳数量位居全球第一。2019年11月，为积极推动 AV1 标准商用，腾讯云成为国内首家支持 AV1 转码的云服务商。2020年10月，在 H.266 标准制定完成后的三个月内，腾讯率先在国内发布了实时 H.266/VVC 高清及超高清播放器。

在新媒体和互动沉浸式媒体方面，刘杉认为，随着 5G 时代的到来，深度沉浸式媒体广泛的应用场景和商业化潜力将得到充分释放。将沉浸式媒体技术与实时媒体传输技术结合，可以产生更多沉浸式应用。目前，腾讯已推出多种沉浸式媒体解决方案，以满足不同业务的发展需求。

演讲最后，刘杉表示，腾讯将持续积极投入多媒体技术研发，拥抱开源生态建设，为开发者和合作伙伴提供有效的服务与支持。

在展区，腾讯多媒体实验室的沉浸式媒体解决方案亮相，吸引众多观众体验 VR360、点云等涵盖 3DoF 至 6DoF 的沉浸式媒体技术与产品。场外观众还可以登录官方 Techo 小程序，通过 5G+VR360 技术实时了解会场动态，从 360 度任意视角体验展览现场。

以下为刘杉博士演讲实录：

各位领导、同事、嘉宾，大家好。我是来自腾讯多媒体实验室的刘杉。很遗憾今天不能到现场，因此将以视频的形式与大家交流。今天分享的主题是“从视频编解码到互动沉浸式媒体”。

在去年的 Techo 大会上，我分享的主题是“视频编解码技术与应用”。今天首先向大家简要介绍过去一年视频编解码技术的一些演进与迭代，随后介绍腾讯多媒体实验室和腾讯云在新型互动沉浸式媒体方向的探索与尝试。

今年是特殊且充满挑战的一年。全球疫情给我们的生活带来了巨大变化，教育、办公、娱乐、销售等许多领域的活动因疫情从线下转向线上，多媒体技术为这些云端服务提供了不可或缺的支持。自三月以来，全球视频流量激增，网络带宽承受巨大压力，世界各地多次出现因网络负荷过大导致的区域性断网。欧盟委员会不得不约谈 Netflix 等媒体服务提供商，要求其在高峰时段降低画质，将宝贵的数据带宽留给居家办公和学习。调查结果显示，流媒体软件市场加速增长了 19%。在保持高质量服务的同时降低网络带宽压力，也对多媒体技术提出了更高要求。

与此同时，人们对视频观看体验质量的需求不断提高。更高的分辨率、更大的亮度和色彩动态范围、更高的帧率等技术指标，以及 VR360、自由视角等新媒体形式，都对数据带宽提出了更高要求。互联网流量数据显示，2017年，标清和高清视频内容各占视频带宽的一半左右；到2019年，标清内容占比降至约三分之一，高清成为主流，超高清内容占比持续上升。预计到2022年，超高清内容将进一步增长至视频带宽的约四分之一。同时，据中国产业信息网统计，自2016年以来，中国 VR 内容市场每年保持 2 至 3 倍的增长。这些变化使视频编解码，也就是视频压缩这一已有数十年历史的技术领域，至今仍然十分重要。

腾讯作为互联网科技公司，许多业务都与视频媒体服务紧密相关，例如腾讯视频、微视、微信、QQ、教育、泛娱乐，以及腾讯会议和腾讯课堂等产品。这些业务在此次疫情中为在线教育和远程办公作出了很大贡献。因此，拥有领先且高效的视频编解码技术，是腾讯必须具备的一项重要核心能力。

简要回顾过去三十年，全球众多企业和研究机构投入了大量资源，开发出多种视频编解码技术，形成了一代又一代视频编解码标准。主流标准包括 ISO/IEC 和 ITU 制定的 MPEG-2、H.264/AVC、H.265/HEVC，以及今年七月刚刚定稿的 H.266/VVC。腾讯从2018年初开始参与 H.266/VVC 标准制定，在两年多的时间里向标准组织提交了数百项技术提案，其中约 100 项技术被标准采纳，数量位居全球第一。

同时，自腾讯去年正式加入 AOMedia、成为首家加入其董事会的中国企业以来，腾讯与其他 AOMedia 成员一直积极拓展开源生态，推动 AV1 商用。去年十一月，腾讯云成为国内首家支持 AV1 转码的云服务商。在下一代开源视频编解码标准 AV2 的制定中，腾讯贡献了通用测试条件、AV2 需求文档等大量重要提案，还贡献了覆盖块划分、帧内预测、变换、量化、环路滤波等多个核心技术领域的技术，对压缩率的累计贡献位居世界前列。腾讯专家与 Google 专家共同担任 AOMedia 技术孵化组联合主席，并与 Facebook 专家共同担任软件实现工作组联合主席。

我们也大力投入国家标准 AVS 的建设、推广和应用。目前，腾讯云支持 AVS2 和 AVS3 高清及超高清实时转码，也为电视台等单位提供了 AVS 私有化部署。

今年十月，也就是 H.266/VVC 第一版标准定稿后的三个月内，腾讯率先在国内发布了 H.266 高清及超高清实时播放器。该播放器采用腾讯自研的 H.266 软件解码器，支持高清、超高清和屏幕共享内容的实时解码，解码效率处于国际领先水平。

大家现在看到的是我们发布的 H.266 播放器正在播放标准测试序列。

每套视频编解码标准都需要标准测试序列，用于测试提案技术的性能，帮助判断其是否应被采纳到标准中。

腾讯具有代表性的《王者荣耀》序列，也是我们业务的典型内容，已被纳入 VVC 标准测试序列集。

目前，这款播放器已向开发者开源。

腾讯云积极参与开源社区建设，也通过先进的技术能力为各行业开发者提供服务。腾讯云不仅面向国内市场，也对海外业务进行了全面布局。针对海外 OTT 市场，腾讯云打造了一系列媒体服务产品，为海外开发者和服务提供商提供充分的技术产品支持。这一系列产品支持 RTP、HLS、DASH 等 8 种海外常用流媒体协议，提供每周 7 天、每天 24 小时稳定的直播服务，并支持在 60 多个国家和地区本地部署。

随着科技快速发展，人们不再满足于观看传统的二维视频，而是渴望更加真实、沉浸的体验。沉浸式媒体融合物理世界与虚拟世界，被认为是未来改变生活和工作方式的颠覆性趋势之一。近年来，以 VR 为代表的沉浸式媒体内容市场显著增长，应用产业链快速扩展，应用范围日益广泛，涵盖旅游、教育、娱乐、医疗和制造业等领域。预计到2025年，沉浸式媒体市场规模将达到 1611 亿美元。因此，越来越多的企业和厂商正加大对沉浸式媒体技术研发与生产的投入。

更深度的沉浸式体验主要体现在真实场景的六自由度体验、更清晰流畅的内容呈现、多通道交互等方面。这需要将 VR、AR、点云、自由视角等核心技术与图片、视频、文字、声音等传统媒体形式结合，经过压缩、传输、显示、交互等环节，最终通过手机、电脑、头戴设备、大屏等不同终端呈现。从应用场景看，沉浸式媒体既面向个人娱乐消费市场，也拓展到企业市场的垂直行业应用。未来，随着 5G 的大规模普及、沉浸式媒体硬件和技术的突破、制作成本的下降，以及更多优质内容的开发，沉浸式媒体产品和服务将走向主流人群，深度沉浸式媒体的应用和商业场景也将得到充分释放。

一套优质高效的互动沉浸式系统包含广泛的技术模块，从采集、处理、压缩、传输，到解压缩、后处理、渲染和交互，涉及投影、采集拼接、视场（FOV）、自适应传输等技术，以及 HLS、DASH、RTC 等传输协议。沉浸式媒体内容的数据量比传统高清及超高清视频更大，例如这里展示的 VR360 演唱会和自由视角篮球比赛。因此，有效组合并优化这些技术模块，对提供优质的端到端体验尤为重要。

将沉浸式媒体技术与实时媒体传输技术相结合，可以产生更多沉浸式应用。例如，传统视频会议只能使用单一固定镜头，在视觉和交互性上存在一定局限。引入沉浸式技术后，可以结合虚拟会议室场景，打造三自由度和六自由度的视听效果，为参会者提供更全面的会议信息和更丰富的会议体验。

点云是沉浸式媒体领域另一项有代表性的技术，近两年也受到更多关注。点云端到端系统包括点云数据处理、压缩、模型重建与渲染、交互等技术模块。腾讯自研的点云系统可以通过视频、图片、深度等信息重建三维物体和空间，应用于展览、房地产等业务场景。由于点云使用三维空间中的点阵表示真实物体和场景，构建高精度点云模型所需的数据量非常庞大。因此，点云数据压缩也是点云系统中不可或缺的环节。腾讯的多媒体专家积极参与国际点云压缩标准制定，多项技术提案被国际标准采纳，同时担任 AVS 点云专题组联合组长。

腾讯云目前已推出 VR 视频解决方案、腾讯沉浸式解决方案等多种沉浸式媒体方案，以满足不同业务的发展需求。腾讯沉浸式解决方案提供完整的空间建模能力，支持 H5 页面、Android、iOS 移动终端和小程序等全平台展示与分享。

我们已经逐步进入 5G 时代。5G 网络提供更优的带宽和超低时延，使更多应用触手可及，让万物互联成为可能。在 5G 的推动下，媒体内容的生产、采集和传播都在发生变化。无论是 4K/8K，还是 VR/AR/MR、点云，这些过去受限于网络带宽的应用都可能迎来突破。腾讯将持续积极投入多媒体技术研发，拥抱开源生态建设，为开发者和合作伙伴提供有效的服务与支持。

谢谢大家。