智能音乐解决方案,基于腾讯多媒体实验室自研音乐理解技术,帮助用户深入地理解、分析、创造音乐,探索更多音乐场景,挖掘音乐价值。
能力简介
音乐理解与处理
对音乐的内容和结构进行理解、分析和处理,具体包含如下能力:
- 音乐鼓点识别:输入原始音乐,自动定位鼓点的位置/时间点
- 音乐高潮识别:输入原始音乐,检测高潮事件,自动定位全部副歌区间
- 跳过音乐前奏:输入原始音乐,自动识别前奏结束(演唱开始)的时间点
- 音源分离:输入原始音乐,将各轨道进行剥离,输出人声、伴奏、鼓、贝斯等 4 个单独音轨
- 音乐评分:根据参考音乐对需要打分的音乐进行音准、节奏等各个维度的评分
- 音乐标签:输入原始音乐,针对音乐的强度、情绪、风格、情感等维度进行理解,自动生成并输出各个体系音乐标签结果
- 人声转录:输入原始音乐,剥离人声部分,计算各个音符的音高和区间,输出标准 MIDI 文件
音乐智能化生成
对音乐的歌声或伴奏进行智能化合成、创作和改编,具体包含如下能力:
- 智能作曲:基于少数音符或条件提示,自动创作单轨旋律或多轨伴奏(敬请期待)
- 歌声合成:从歌谱中自动合成具有高保真音色的歌唱干声(敬请期待)
音乐跨模态融合
将音乐与视频、文字、图像等跨模态信息深度融合,完成智能内容生产,具体包含如下能力:
- 音乐影片:输入原始 MV,从空间维度和时间维度自动剪辑精华 MV 片段,并配上原音乐的高潮部分
- 视频配乐:分析视频的场景、物体、事件等信息,在曲库里推荐风格、情绪、节奏相匹配的音乐合成背景音乐(敬请期待)
- 音乐舞蹈生成:基于音乐的旋律、节奏、情绪生成与之匹配的舞蹈动作,支持坐标信息和动画视频输出(敬请期待)