Music Tag

功能介绍

音乐标签能力通过对音乐进行多维度分析，自动生成各个维度下的分类标签及概率值，目前支持的七大维度维度包括：

• 人声
• 情绪
• 语种
• 风格
• 场景
• 背景音乐
• 强度

接口说明

请求方式：

POST（HTTP）

请求地址：

https://api.mediax.tencent.com/job

请求头：

Content-Type: application/json

请求流程：

接口包括‘创建任务’，‘查询任务’。创建任务后，用户可以主动查询任务来知晓任务结果，也可以在创建任务时输入回调地址（callback），则任务在完成后会自动回调该地址

其他要求：

文件格式：建议采用常见音频格式，如 mp3、wav

创建任务

参数说明

Input

注意：source, url 两个字段有且只有一个

Output

- vocal，2类人声标签
- language，21类语种标签
- mood，11类情绪标签
- genre，37类风格标签
- scene，36类场景标签
- bgm，2类背景音乐标签
- intensity，2类强度标签
- all，获取7大维度标签

请求示例：

{
  "action": "CreateJob",
  "secretId": "{secretId}",
  "secretKey": "{secretKey}",
  "createJobRequest": {
    "customId": "{customId}",
    "callback": "{callback}",
    "inputs": [
      {
        "url": "{url}"
      }
    ],
    "outputs": [
      {
        "inputSelectors": [0],
        "smartContentDescriptor": {
          "musicTagV2": {
            "tagType": ["mood", "vocal", "language", "scene", "genre", "bgm"]
          }
        }
      }
    ]
  }
}

返回示例：

{
  "requestId": "ac004192-110b-46e3-ade8-4e449df84d60",
  "createJobResponse": {
    "job": {
      "id": "13f342e4-6866-450e-b44e-3151431c578b",
      "state": 1, // 见下方state说明
      "customId": "{customId}",
      "callback": "{callback}",
      "inputs": [
        {
          "url": "{url}"
        }
      ],
      "outputs": [
        {
          "inputSelectors": [0],
          "smartContentDescriptor": {
            "musicTagV2": {
              "tagType": ["mood", "vocal", "language", "scene", "genre", "bgm"]
            }
          }
        }
      ],
      "timing": {
        "createdAt": "1603432763000",
        "startedAt": "0",
        "completedAt": "0"
      }
    }
  }
}

State

获取任务信息

获取方式：分为主动获取和被动回调。

• 主动获取按照 id 的类别有两种查询接口，一种是根据用户自定义 id 查询，由于平台无法保证该 id 的唯一性，故返回 Job 数组（见 1）；另一种是通过创建任务后的回包中的 id 查询（见 2）
• 被动回调需要在创建任务时填写 callback 字段，平台在任务进入完成态（COMPLETED/ERROR）后会将 Job 结构体发送给 callback 所指的地址（见 3），平台方推荐使用被动回调的方式获取任务结果。

在音乐标签能力中，如果查询到的任务成功（state=3），则任务的 Output 中会携带 smartContentResult 结构体，其中的 audioTagger 字段是一个结果对象数组，每个结果对象有标签类型（tagType），标签名称（tag），概率（probility）

主动查询，根据用户在新建任务时传入的自定义 customId

请求示例：

{
  "action": "ListJobs",
  "secretId": "{secretId}",
  "secretKey": "{secretKey}",
  "listJobsRequest": {
    "customId": "{customId}"
  }
}

注：listJobs 回包中携带的 jobs 是一个数组

返回示例：

{
  "requestId": "c9845a99-34e3-4b0f-80f5-f0a2a0ee8896",
  "listJobsResponse": {
    "jobs": [
      {
        "id": "a95e9d74-6602-4405-a3fc-6408a76bcc98",
        "state": 3,
        "customId": "{customId}",
        "callback": "{callback}",
        "timing": {
          "createdAt": "1610513575000",
          "startedAt": "1610513575000",
          "completedAt": "1610513618000"
        },
        "inputs": [
          {
            "url": "{url}"
          }
        ],
        "outputs": [
          {
            "inputSelectors": [0],
            "smartContentDescriptor": {
              "musicTagV2": {
                "tagType": ["mood", "vocal", "language", "scene", "genre", "bgm"]
              }
            },
            "smartContentResult": {
              "musigTagV2": {
                "musicTagV2": {
                  "vocal": {
                    "label": "声乐",
                    "prob": "1.0000"
                  },
                  "language": {
                    "label": "其他",
                    "prob": "0.0817"
                  },
                  "mood": {
                    "label": "兴奋",
                    "prob": "0.2953"
                  },
                  "genre": {
                    "label": "壮族",
                    "prob": "0.7710"
                  },
                  "scene": {
                    "label": "祈祷",
                    "prob": "0.8886"
                  },
                  "intensity": {}
                }
              }
            }
          }
        ]
      }
    ],
    "total": 1
  }
}

主动查询，根据新建任务时回包带的 id

请求示例：

{
  "action": "GetJob",
  "secretId": "{secretId}",
  "secretKey": "{secretKey}",
  "getJobRequest": {
    "id": "{id}"
  }
}

返回示例：

{
  "requestId": "c9845a99-34e3-4b0f-80f5-f0a2a0ee8896",
  "getJobResponse": {
    "job": {
      "id": "a95e9d74-6602-4405-a3fc-6408a76bcc98",
      "state": 3,
      "customId": "{customId}",
      "callback": "{callback}",
      "timing": {
        "createdAt": "1610513575000",
        "startedAt": "1610513575000",
        "completedAt": "1610513618000"
      },
      "inputs": [
        {
          "url": "{url}"
        }
      ],
      "outputs": [
        {
          "inputSelectors": [0],
          "smartContentDescriptor": {
            "musicTagV2": {
              "tagType": ["mood", "vocal", "language", "scene", "genre", "bgm"]
            }
          },
          "smartContentResult": {
            "musigTagV2": {
              "musicTagV2": {
                "vocal": {
                  "label": "声乐",
                  "prob": "1.0000"
                },
                "language": {
                  "label": "其他",
                  "prob": "0.0817"
                },
                "mood": {
                  "label": "兴奋",
                  "prob": "0.2953"
                },
                "genre": {
                  "label": "壮族",
                  "prob": "0.7710"
                },
                "scene": {
                  "label": "祈祷",
                  "prob": "0.8886"
                },
                "intensity": {}
              }
            }
          }
        }
      ]
    }
  }
}

被动回调

会将进入完成态（COMPLETED/ERROR）的任务的整个 Job 结构体发送到用户在创建任务时指定的 callback 字段对应的地址，Job 结构体见主动查询的示例（getJobResponse 下）

cURL 示例

新建任务

curl --location --request POST 'https://api.mediax.tencent.com/test/job' \
--header 'Content-Type: application/json' \
--data-raw '{
    "action": "CreateJob",
    "secretId": "{secretId}",
    "secretKey": "{secretKey}",
    "createJobRequest": {
        "customId": "{customId}",
        "callback": "{callback}",
        "inputs": [{
                "url": "{url}"
            }],
        "outputs": [
            {
                "inputSelectors": [0],
                "smartContentDescriptor": {
                    "audioTagger": {
                        "tags": [1, 2, 3]
                    }
                }
            }]
    }
}'

查询任务

# 根据customId
curl --location --request POST 'https://api.mediax.tencent.com/test/job' \
--header 'Content-Type: application/json' \
--data-raw '{
    "action": "ListJobs",
    "secretId": "{secretId}",
    "secretKey": "{secretKey}",
    "listJobsRequest": {
        "customId": "{customId}"
    }
}'

# 根据id
curl --location --request POST 'https://api.mediax.tencent.com/test/job' \
--header 'Content-Type: application/json' \
--data-raw '{
    "action": "GetJob",
    "secretId": "{secretId}",
    "secretKey": "{secretKey}",
    "getJobRequest": {
        "id": "{id}"
    }
}'

附录：目前支持的标签