标准研究

多媒体压缩

腾讯多媒体实验室研发的数项前沿多媒体压缩技术助力新一代的技术标准的发布,达到更高的压缩性能和更好的感知质量,为多媒体行业的发展带来新的机遇,成为多媒体技术标准领域的领先贡献者。在多项国际多媒体标准的研发以及标准组织中,腾讯多媒体实验室均作出了突出的贡献,例如VVC视频编码标准、EVC视频编码标准、开放媒体联盟 (AOM) 和中国数字音视频编解码标准工作组(AVS),面向机器视觉的视频压缩(VCM),基于神经网络的视频压缩技术(NNVC),以及点云压缩(PCC)、增强现实(AR)和虚拟现实(VR)。

  • H.266/VVC

    H.266/VVC(通用视频编码)标准是由 ISO/IEC MPEG 和 ITU-T VCEG 联合视频专家组 (JVET) 开发的最新国际视频压缩标准,并于2020年7月完成H.266/VVC v1的定稿。与上一代H.265/HEVC(高效视频编码标准)标准相比,H.266/VVC 在达到相同主观视频质量的前提下降低了约 50% 的码率。腾讯多媒体实验室为 H.266/VVC的标准化做出积极并且突出的贡献,推出了大量技术提案并获得100多项技术提案采纳。此外,腾讯多媒体实验室科研人员在 JVET 中担任多个关键职位,腾讯多媒体实验室负责人刘杉博士是 H.266/VVC 标准的联合主编。

  • MPEG-5 EVC

    EVC标准是MPEG旗下的新一代视频编码标准,该标准由一个免版税的子集和可单独切换的增强项组成,于2020年完成定稿。通过增强功能,MPEG-5 EVC 达到了明显高于 H.265/HEVC的的编码效率。腾讯多媒体实验室的屏幕内容编码技术已被 MPEG-5 EVC 采用,是EVC的核心编码技术之一。

  • AV2 (AOMedia)

    开放媒体联盟 (AOMedia) 是一个非营利性行业联盟,致力于开发与多媒体通信相关的开源和免版税技术标准。2019年10月,以腾讯多媒体实验室牵头,腾讯以创始成员(Founding Member)身份加入 AOMedia,并成为董事会成员之一。AOMedia 开发的第一个视频编解码器是 AOMedia Video 1(AV1)于2018年正式发布。为了追求更高的编码效率,提升多媒体应用的用户体验,从2019年开始,AOMedia 一直在规划开发相比AV1更先进的视频编码技术标准,即AOMedia Video 2(AV2 )。腾讯多媒体实验室在AV2的标准化项目中起到了核心的推动作用,例如通用测试条件(CTC)的制定、参考软件(Reference Software)管理、技术孵化等等,并提出了大量的AV2技术提案成为AV2的主要贡献者之一。

  • AVS2 & AVS3

    中国数字音视频编解码标准工作组(AVS)成立于2002年6月。该工作组制定了一系列成功的视频编码标准,其中 AVS1和AVS2标准在编码效率上可分别与 H.264/AVC 标准及H.265/HEVC 标准相媲美;AVS3 的开发正在进行中,根据测试报告,与 AVS2 相比,比特率降低了约 30%。腾讯多媒体实验室积极参与 AVS2 和 AVS3 的开发,并担任屏幕内容编码活动的主席。腾讯多媒体实验室的 TPG 图像文件格式已成为 AVS2 系列标准的一部分,其屏幕内容编码技术已在 AVS3 v2 中采用。

  • PCC

    点云是一组具有几何和属性信息的 3D 点,用于表示 3D 对象或场景。MPEG 建立了一个小组来研究两种点云压缩,即 V-PCC 和 G-PCC。V-PCC 标准将密集的 3D 点云转换为可由现有视频编解码器压缩的 2D 视频;G-PCC 标准直接对 3D 几何和相关属性进行编码。V-PCC 标准于2020年7月达到其最终的国际标准草案 (FDIS),而 G-PCC 标准预计将于2021年1月完成其 FDIS。多媒体实验室正在积极参与 V-PCC 和 G-PCC 标准的制定,并担任协调员多次探索实验(EEs)和核心实验(CEs),G-PCC 一致性测试工作的编辑。为了推动PCC技术标准,AVS也成立了AVS-PCC工作子组,研究直接对 3D 几何和相关属性进行编码的技术方向。AVS PCC 标准制定已于 CfP(征求建议书)的发布正式启动。腾讯多媒体实验室通过担任分组联合主席、标准规范编辑和参考软件协调员,积极参与和领导这项标准化工作。

  • NNVC

    近年来,基于AI的视频压缩技术得到了突飞猛进的发展。在ISO/IEC JTC 1/SC29旗下组织的一个基于深度学习的标准方向NNVC(基于NN的下一代视频编码)中,腾讯做出了重要的贡献,包括标准化技术采纳流程、参考软件开发以及多项基本工具的开发,同时担任了NNVC多项重要职务,包括NNVC专题组主席、参考软件维护主席、算法描述文档负责人等。在NNVC研究的众多课题中,竞争最激烈的是环路滤波器赛道。在MPEG142国际标准会议中,腾讯在多家有竞争力的方案中脱颖而出,实现了最高的编码性能,同时保持了较低的实现复杂度。腾讯所提出的单模型滤波器设计思想也被标准组织采纳,作为标准下一阶段环路滤波器统一方案的起点。同时,腾讯是目前在NNVC的参与单位中,唯一一个在不同模块(环路滤波和超分)上有重大技术采纳的单位。

  • VCM

    每天产生的大量视频流给压缩、传输和分析带来了巨大挑战。在各种计算机视觉任务中,从检测和识别到恢复和视觉质量增强,到如何执行有效的特征压缩以满足人和机器的不同感知需求,仍然是一个悬而未决的问题。ISO/ITU 的 MPEG VCM 工作组和中国的 DCM 工作组正在开发先进的特征压缩技术,提取视觉特征和视频的紧凑表示,作为连接机器视觉和人类视觉任务的桥梁。腾讯多媒体实验室是国际 VCM 和国内 DCM 标准的积极贡献者,我们担任着 MPEG VCM 工作组的联合主席,该工作组致力于研究面向机器视觉或者人机混合视觉的下一代视频编码标准,Nokia, Ericsson, Intel, Samsung, Interdigital, 腾讯, 阿里巴巴, 中国电信, oppo, vivo, 中科院等公司和组织参与该工作组。腾讯是该专题组重要技术贡献方之一,提交的面向机器视觉的视频数据集(Tencent Video Dataset, TVD) 被工作组采纳成为通用测试数据集。另外,腾讯牵头制定了通用测试条件(Common Test Conditions, CTC)和评测框架 ,为相关技术的验证提供规范化的流程,对领域研究和标准制定有重要意义。

系统,传输,5G

腾讯多媒体实验室积极参与发布 RFC 系列的 IETF 中。腾讯也是 3GPP 的参与者,该组织负责开发下一代移动网络,腾讯为其三个部门中的两个做出了贡献。腾讯还是 MPEG Systems 的贡献者,MPEG Systems 创建了允许媒体流的存储、流式传输和基于网络的处理的标准。

  • MPEG Systems

    在 MPEG 系统方面,腾讯多媒体实验室的重点在于持续开发基于 HTTP 的动态自适应流媒体(DASH)和基于 MPEG 网络的媒体处理(NBMP)标准。腾讯多媒体实验室还为其他 MPEG 系统标准做出了贡献,包括 ISO 文件格式(又名 .mp4)、MPEG 全向媒体格式和 MPEG 通用媒体格式。DASH 支持 Over-the-Top 流媒体,并在数十亿设备中普遍使用。Sodagar 博士自2009年开始 DASH 标准化以来一直担任 MPEG 中的 MPEG DASH 小组主席,同时兼任 NBMP 规范的编辑,CMAF 的联合编辑。

  • IETF

    IETF (http://www.ietf.org) 的使命是通过生成影响人们设计、使用和管理 Internet 方式的高质量相关技术文档来使 Internet 更好地工作。IETF 标准还构成了现代电话和移动/3G/4G/5G网络的支柱。由 IETF 制定并在 RFC 系列中发布的标准包括 IP、TCP、UDP 和 HTTP。腾讯多媒体实验室参与了专注于媒体编码和传输的子组,包括 AVT、CELLAR、QUIC 和 MOPS。Wenger 博士还担任 IETF 受托人的职位,Dawkins 先生担任 CELLAR 工作组的联合主席。

  • 3GPP

    3GPP 目前是第五代蜂窝网络技术 (5G) 的主要标准化组织。腾讯多媒体实验室主要参与系统架构组,即 SA 全体会议和讨论架构 (SA2)、编解码器 (SA4) 和关键任务应用程序 (SA6) 的技术工作组。腾讯多媒体实验室还关注其他工作组,包括某些核心技术(CT)工作组,包括 CT4。腾讯多媒体实验室参与标准世界的一个重要方面是我们的跨 SDO 能力,这使我们能够从协同效应中受益。例如,Teniou 先生是 SA4 的副主席,同时也主持 SA4 的视频编码相关活动。腾讯多媒体实验室的专家同时兼任编辑和报告员职务。

  • Vertical Activities

    腾讯多媒体实验室意识到垂直标准化的价值和活动不断增加,并投入其中。例如,腾讯多媒体实验室为汽车应用中涉及多媒体的众多活动做出了贡献,例如 ITU-T 车载多媒体焦点组或 ISO 自动驾驶和数据丰富车辆活动组。作为最后一个例子,我们参与了跨组织的活动,例如所有 3GPP、IETF、ASTM、ICAO、FAA 和其他几个组织正在进行的无人机远程识别工作。

人工智能

人工智能已被积极应用于所有与计算机科学相关的领域,如广播、游戏、会议、电子商务、医疗保健、自动驾驶等。多媒体实验室是主要人工智能相关标准化活动的关键贡献者,如神经网络压缩(NNR)、机器视频编码 (VCM) 和 AI Healthcare,多媒体实验室也积极参与将 AI 相关标准部署到包括会议、通信和游戏在内的产品中。

  • MPEG-NNR

    神经网络的压缩表示在神经网络的部署中起着至关重要的作用,尤其是在资源有限的设备上,例如手机和物联网设备。ISO/ITU 的 MPEG NNR 工作组、中国的 AITISA NNR 工作组和 IEEE的 DCSC AIM 工作组都在开发先进的模型压缩技术,可以有效压缩神经网络的规模,并有效加快神经网络推理速度。腾讯多媒体实验室是国际和国内 NNR 标准的积极贡献者,我们担任 MPEG NNR 工作组的联合主席。

  • NNVC

    近年来,基于AI的视频压缩技术得到了突飞猛进的发展。在ISO/IEC JTC 1/SC29旗下组织的一个基于深度学习的标准方向NNVC(基于NN的下一代视频编码)中,腾讯做出了重要的贡献,包括标准化技术采纳流程、参考软件开发以及多项基本工具的开发,同时担任了NNVC多项重要职务,包括NNVC专题组主席、参考软件维护主席、算法描述文档负责人等。在NNVC研究的众多课题中,竞争最激烈的是环路滤波器赛道。在MPEG142国际标准会议中,腾讯在多家有竞争力的方案中脱颖而出,实现了最高的编码性能,同时保持了较低的实现复杂度。腾讯所提出的单模型滤波器设计思想也被标准组织采纳,作为标准下一阶段环路滤波器统一方案的起点。同时,腾讯是目前在NNVC的参与单位中,唯一一个在不同模块(环路滤波和超分)上有重大技术采纳的单位。

  • MPEG-VCM

    每天产生的大量视频流给压缩、传输和分析带来了巨大挑战。在各种计算机视觉任务中,从检测和识别到恢复和视觉质量增强,到如何执行有效的特征压缩以满足人和机器的不同感知需求,仍然是一个悬而未决的问题。ISO/ITU 的 MPEG VCM 工作组和中国的 DCM 工作组正在开发先进的特征压缩技术,提取视觉特征和视频的紧凑表示,作为连接机器视觉和人类视觉任务的桥梁。腾讯多媒体实验室是国际 VCM 和国内 DCM 标准的积极贡献者,我们担任着 MPEG VCM 工作组的联合主席,该工作组致力于研究面向机器视觉或者人机混合视觉的下一代视频编码标准,Nokia, Ericsson, Intel, Samsung, Interdigital, 腾讯, 阿里巴巴, 中国电信, oppo, vivo, 中科院等公司和组织参与该工作组。腾讯是该专题组重要技术贡献方之一,提交的面向机器视觉的视频数据集(Tencent Video Dataset, TVD) 被工作组采纳成为通用测试数据集。另外,腾讯牵头制定了通用测试条件(Common Test Conditions, CTC)和评测框架 ,为相关技术的验证提供规范化的流程,对领域研究和标准制定有重要意义。

产业联盟

腾讯多媒体实验室参与了许多行业联盟。这些协会专注于推动标准的发展,腾讯也积极参与其中。多媒体实验室的专家在这些联盟的董事会担任重要职位并主持工作组。腾讯还关注着许多其他行业联盟,以便在出现业务需求时加入并提供帮助。

  • MC-IF

    媒体编码工业论坛(MC-IF,www.mc-if.org)是为进一步采用 MPEG 标准而设立的。它最初侧重于 H.266/VVC,将它们确立为广为接受和广泛使用的标准,以造福于消费者和行业。腾讯多媒体实验室是本次 MC-IF 的创始机构,Wenger 博士是其董事会成员并担任知识产权生态系统工作组主席。MC-IF 当前的一个重点项目是为 H.266/VVC 培育单一专利池。

  • DASH-IF

    DASH 行业论坛 (DASH-IF) 是一个行业论坛,旨在促进 MPEG-DASH 标准的部署。DASH-IF 目前拥有 80 家成员公司,自2012年以来,已经制定了多项关于 DASH 部署、服务器端加密服务的内容保护交换格式、广泛的测试向量数据库以及用于点播和直播内容的一致性工具的实施指南和规范,DASH 直播模拟器、打包工具和测试平台、dash.js 开源客户端和一些白皮书。DASH-IF 在 DASH 规范开发方面与 MPEG 以及其他联盟密切合作。Sodagar 博士是 DASH-IF 总裁兼董事会主席。

  • 8K Association

    8K 协会的使命是解决 8K 生态系统的问题。8K 协会的使命是向消费者和专业人士推广 8K 电视和 8K 内容,制定 5G 上 8K 视觉质量的技术要求和规范,并促进 8K 和 5G 生态系统内的交流以实现商业化。腾讯多媒体实验室作为主要成员参与其中。

  • Metaverse Standards Forum

    在元宇宙标准论坛中,领先的标准组织和公司合作,推动开放元宇宙的互操作性标准。作为这个最大且增长最快的组织的首要成员,腾讯媒体实验室的参与使我们能够在元宇宙技术生态系统中推广我们首选的技术。

腾讯多媒体实验室
/
我们希望使用性能和分析 cookies(“Cookie”)来帮助我们识别您是否是回访者并跟踪网站浏览次数和访问次数。有关我们使用的 Cookie 和您的选项(包括如何更改您的偏好)的更多信息,请参阅我们的 Cookies 策略.