智能音乐

智能音乐结合系统乐理知识和深度学习技术,实现音乐的智能分析、生成、和跨模态融合,包括音乐标签、音乐高潮、音乐结构分析、音乐转录、演唱评分、智能作曲、视频配乐等功能。

音乐评分

根据参考音乐对需要打分的音乐进行音准、节奏等各个维度的评分。

参考场景

  • K歌
    K歌场景自动打分
  • 音乐教学
    对音乐进行多维度分析并进行打分

音乐标签

输入原始音乐,针对音乐的强度、情绪、风格、情感等维度进行理解,自动生成并输出各个体系音乐标签结果,包括风格、情绪、强度、是否有人声、是否有BGM等,目前共有20多类子音乐标签。

音乐
风格情绪强度人声
纯音乐安静舒缓的

参考场景

  • 音乐/舞蹈教学
    对音乐进行多维度分析,为音乐、舞蹈教学提供辅助,可根据标签自动配乐
  • 音乐/广告推荐
    音乐媒资管理,为音乐增加标签,与其他画像表情按结合可作为推荐依据
  • 景区/园区互动体验区
    定制泛娱乐互动小游戏

跳过前奏

输入原始音乐,自动识别前奏结束(演唱开始)的时间点。

参考场景

  • K歌
    K歌场景可跳过前奏、只唱副歌、节拍器辅助
  • 电影馆/博物馆互动体验区
    电影配音互动游戏

鼓点识别

输入原始音乐,自动定位鼓点的位置/时间点,例如,“动次打次”的节奏点。

参考场景

  • 音频/视频剪辑
    卡点剪辑
  • 音乐自动鼓手

音高识别

输入干声演唱,自动并实时计算识别人声唱歌、乐器演奏场景下的各个时刻的音高,支持 midi 输出,可用于手机端。

原始音乐
音高结果

参考场景

  • 音乐教学
    K歌打分、K 歌演唱可视化、演唱教学
  • 电影馆/博物馆互动体验区
    电影配音互动游戏

高潮点识别

输入原始音乐,检测高潮事件,自动定位全部副歌区间。也叫副歌识别。

参考场景

  • 在线K歌
    高潮快唱
  • 音频剪辑
    音乐高潮素材剪辑

音源分离

支持将音乐中人声、伴奏、吉他、钢琴等4个音轨分离,可广泛应用在广告、游戏、营销活动等场景中。

参考场景

  • 视频配乐
    视频配乐时需要对原音频进行去除或者只保留人声对白
  • 配音秀
    对影视作品进行二次配音,需对原音进行分离和去除

音频降噪

输入原始采集音频,去除嘈杂的背景音,返回干声音频。

参考场景

  • 音频编辑
    音频去噪声
  • 音频创作
    二次创作

乐谱转换

输入钢琴演奏,识别乐器音高,生成 midi 或乐谱,将各音符自动转录,输出乐谱文件,为音乐自学者提供更多乐谱库。

卡农

参考场景

  • 乐谱自动生成
  • 音乐教学辅助

乐器转换

输入原始音乐,转换成指定乐器演奏的音乐,可支持古筝、琵琶、小提琴等31中乐器。

参考场景

  • 音乐素材生成
  • 视频背景乐制作

曲风转换

输入原始音乐,转换为指定风格的音乐,可支持中国风、民谣、歌剧等9类风格。

参考场景

  • 音乐素材生成
  • 视频背景乐制作

人声转录

输入原始音乐,剥离人声部分,计算各个音符的音高和区间,输出标准MIDI文件。

原始音乐
MIDI图示

参考场景

  • 自动MIDI生成
  • 演唱打分

智能作曲

仅需输入少数音符或提示,完成单轨音乐自动作曲。

参考场景

  • 音乐素材自动生成
  • 解决BGM版权问题

智能配乐

输入视频,自动匹配曲库里符合视频内容、氛围的背景音乐,生成带 BGM 的视频,无需人工编辑。支持自定义音乐库。包含自动配乐、音乐 MV 等音视频能力,支持接入业务团队音视频库,可加快内容生产速度,加速内容分发和传播。

智能配乐

参考场景

  • 短视频
    为创作者提供推荐音乐,或自动生成配乐,加速内容生产
  • 长视频
    为影视剧、Vlog 等剪辑视频自动配 bgm,辅助视频编辑,配乐时需要对原音频进行去除或者只保留人声对白
  • 会展/景区
    低成本自动生成宣传片

音乐影片

输入原始影片,从空间维度和时间维度自动剪辑精华影片片段,并配上音乐的高潮部分。

参考场景

  • 播放器循环播放
  • 影片生成

音乐视频

输入原始音乐,在视频库里推荐最匹配素材进行合成,为音乐找到最能表达它情绪或律动的视频,并自动制作成精彩的音乐 MV。支持自定义视频库,打造专属 MV。包含自动配乐、音乐MV等音视频能力,支持接入业务团队音视频库,可加快内容生产速度,加速内容分发和传播。

输出视频

参考场景

  • 音乐类产品
    将音乐制作成MV,增加音乐类产品的内容维度
  • 智慧景区/智慧园区/游乐园
    园区/游乐项目精彩视频集锦,供大屏/官网回放

智能 Vlog

识别视频中内容丰富、更具有美学特征的片段,并自动完成剪辑、配乐工作,快速生成 Vlog。包含自动配乐、音乐MV等音视频能力,支持接入业务团队音视频库,可加快内容生产速度,加速内容分发和传播。

参考场景

  • 支持通用场景,并已在体育、动画、泛娱乐等特定场景进行定向优化
需要观看演示或者获取文档?
腾讯多媒体实验室
/
我们希望使用性能和分析 cookies(“Cookie”)来帮助我们识别您是否是回访者并跟踪网站浏览次数和访问次数。有关我们使用的 Cookie 和您的选项(包括如何更改您的偏好)的更多信息,请参阅我们的 Cookies 策略.