DB14 T 2465—2022 人工智能 数据标注通用工作规程.pdf

1、山 西 省 地 方 标 准D B 1 4/T 2 4 6 5 2 0 2 2人 工 智 能 数 据 标 注 通 用 工 作 规 程2 0 2 2-0 6-1 4 发 布 2 0 2 2-0 9-1 5 实 施山 西 省 市 场 监 督 管 理 局 发 布I C S 3 3.1 6 0.4 0C C S A 9 114D B 1 4/T 2 4 6 5 2 0 2 2I目 次前 言.I I1 范 围.12 规 范 性 引 用 文 件.13 术 语 和 定 义.14 原 则.15 工 作 流 程.16 规 划 要 求.27 实 施 要 求.38 监 控 要 求.39 交 付 要 求.31 0 归

2、档.4参 考 文 献.5D B 1 4/T 2 4 6 5 2 0 2 2I I前 言本 文 件 按 照 G B/T 1.1 2 0 2 0 标 准 化 工 作 导 则 第 1 部 分：标 准 化 文 件 的 结 构 和 起 草 规 则 的 规定 起 草。本 文 件 由 山 西 省 工 业 和 信 息 化 厅 提 出、组 织 实 施 和 监 督 检 查。山 西 省 市 场 监 督 管 理 局 对 标 准 的 组 织 实 施 情 况 进 行 监 督 检 查。本 文 件 由 山 西 省 物 联 网 和 人 工 智 能 标 准 化 技 术 委 员 会 归 口。本 文 件 起 草 单 位：百 度 云

3、计 算 技 术（山 西）有 限 公 司、山 西 省 大 众 科 技 评 估 中 心、山 西 灵 波 微 步 科技 有 限 公 司、山 西 物 联 网 行 业 技 术 中 心（有 限 公 司）、山 西 集 智 数 据 服 务 有 限 公 司、山 西 省 科 技 评 估 学会。本 文 件 主 要 起 草 人：司 文、施 佳 樑、王 洋、闵 楠、胡 驰、尉 赤、张 辰 妹、吴 泽 衔、查 晓 丹、郭 瑞 鹏、李 先 军、赵 波、李 鹏、李 鹏 飞。D B 1 4/T 2 4 6 5 2 0 2 21人 工 智 能 数 据 标 注 通 用 工 作 规 程1 范 围本 文 件 规 定 了 人 工 智 能

4、 机 器 学 习 中 数 据 标 注 生 产 所 需 要 的 通 用 工 作 要 求，包 括 原 则、流 程、规 划、实 施、监 控 与 交 付。本 文 件 适 用 于 人 工 智 能 机 器 学 习 中 数 据 标 注 的 企 业、高 校、研 究 机 构、政 府 机 关。其 他 行 业 和 机 构可 参 照 执 行。2 规 范 性 引 用 文 件下 列 文 件 中 的 内 容 通 过 文 中 的 规 范 性 引 用 而 构 成 本 文 件 必 不 可 少 的 条 款。其 中，注 日 期 的 引 用 文 件，仅 该 日 期 对 应 的 版 本 适 用 于 本 文 件；不 注 日 期 的 引 用

5、 文 件，其 最 新 版 本（包 括 所 有 的 修 改 单）适 用 于 本文 件。D B 1 4/T 2 4 6 3 人 工 智 能 数 据 标 注 总 体 框 架3 术 语 和 定 义D B 1 4/T 2 4 6 3 界 定 的 以 及 下 列 术 语 和 定 义 适 用 于 本 文 件。3.1数 据 标 注 合 格 率 q u a l i f i e d r a t e o f d a t a a n n o t a t i o n一 个 标 注 任 务 中，符 合 标 注 规 则 要 求 的 已 标 注 数 据 总 量 与 已 标 注 数 据 总 量 的 比 值。3.2数 据 标 注

6、 质 量 控 制 员 d a t a a n n o t a t i o n q u a l i t y c o n t r o l l e r数 据 标 注 工 作 中，按 照 标 注 规 则 从 事 数 据 审 核 等 质 量 控 制 工 作 的 人 员。3.3数 据 标 注 任 务 d a t a a n n o t a t i o n t a s k数 据 标 注 机 构 按 照 需 方 要 求 或 合 同 约 定，在 特 定 的 时 间、成 本、质 量 要 求 下 完 成 指 定 数 据 标 注 的 工作。4 原 则4.1 数 据 标 注 机 构 对 待 标 注 数 据 应 遵 循

7、数 据 安 全、保 密 的 原 则。4.2 制 定 数 据 标 注 计 划 制 定 时 应 遵 循 合 理 性、可 量 化 性、及 时 性 和 可 调 整 性 的 原 则。4.3 数 据 标 注 生 产 过 程 应 遵 循 全 过 程 质 量 控 制 原 则，确 保 生 产 过 程 质 量 可 控。5 工 作 流 程数 据 标 注 工 作 流 程 见 图 1。D B 1 4/T 2 4 6 5 2 0 2 22图 1 数 据 标 注 工 作 流 程 图6 规 划 要 求6.1 明 确 需 求数 据 标 注 生 产 开 始 前，数 据 标 注 项 目 负 责 人 应 及 时 获 取 数 据 需

8、求 方 数 据 标 注 的 需 求 说 明 书，并 应 包括 以 下 内 容：a)明 确 数 据 标 注 需 求 完 成 的 时 间 节 点；b)明 确 数 据 标 注 的 内 容；c)明 确 数 据 标 注 的 方 法；d)明 确 数 据 验 收 规 则；e)其 他 要 求。6.2 获 取 数 据数 据 标 注 项 目 负 责 人 应 及 时 从 数 据 需 求 方 处 获 取 待 标 注 数 据，数 据 获 取 方 式 包 括：a)平 台 接 口 对 接 的 方 式；b)存 储 介 质 复 制 的 方 式。6.3 规 则 验 证 与 细 化数 据 标 注 项 目 负 责 人 应 按 照 标

9、 注 规 划 进 行 标 注 规 则 验 证 与 细 化，并 完 成 以 下 内 容：a)确 定 数 据 试 标 数 量：应 遵 循 数 据 标 注 内 容 覆 盖 全 面 性 及 数 据 标 注 成 本 最 小 化 要 求，抽 取 需 求 方指 定 数 量 作 为 试 标 数 量；b)进 行 试 标：应 选 择 中 等 以 上 技 能 的 数 据 标 注 员，按 照 标 注 规 则 对 抽 样 数 据 进 行 标 注，以 验 证 标注 规 则 的 合 理 性；c)细 化 数 据 标 注 规 则：应 遵 循 易 理 解、易 操 作 的 原 则，且 与 数 据 需 求 方 要 求 一 致 的 原

10、 则，对 数 据试 标 中 发 现 的 不 合 理 规 则 进 行 修 改 细 化。6.4 明 确 计 划数 据 标 注 项 目 负 责 人 应 根 据 标 注 需 求、数 据 试 标 效 率 确 定 标 注 计 划。计 划 内 容 包 括：进 度 计 划、人员 计 划、资 金 计 划、工 具 计 划、质 量 控 制 计 划、验 收 计 划。6.5 专 项 培 训D B 1 4/T 2 4 6 5 2 0 2 23数 据 标 注 培 训 师 应 按 照 标 注 计 划 和 标 注 规 则，在 数 据 标 注 生 产 过 程 中 对 数 据 标 注 员 进 行 有 针 对 性 的培 训，确 保

11、标 注 质 量。7 实 施 要 求7.1 任 务 创 建数 据 标 注 任 务 负 责 人 应 利 用 标 注 工 具 创 建 数 据 标 注 项 目 相 关 内 容。7.2 任 务 分 发数 据 标 注 任 务 负 责 人 应 利 用 标 注 工 具 将 数 据 标 注 任 务 分 派 给 数 据 标 注 员 或 数 据 标 注 团 队。7.3 任 务 实 施数 据 标 注 员 或 数 据 标 注 团 队 应 使 用 数 据 标 注 工 具 完 成 指 派 的 数 据 标 注 任 务。8 监 控 要 求8.1 任 务 检 验8.1.1 任 务 质 量 检 验数 据 标 注 质 量 控 制 员

12、 在 任 务 进 行 过 程 中 按 照 标 注 规 则 进 行 质 量 检 验 和 质 量 纠 偏。8.1.2 任 务 进 度 检 验数 据 标 注 项 目 负 责 人 在 任 务 进 行 中 应 使 用 数 据 标 注 工 具，对 数 据 标 注 日 产 能 和 数 据 标 注 计 划 的 数 值偏 差 情 况 进 行 检 验，并 及 时 调 整 资 源 和 日 工 作 量 要 求。8.2 任 务 数 据 回 收数 据 标 注 项 目 负 责 人 应 对 标 注 不 合 格 数 据 进 行 收 回，并 重 新 分 派 进 行 标 注。9 交 付 要 求9.1 验 收数 据 标 注 项 目

13、负 责 人 应 将 审 核 结 果 达 到 数 据 标 注 合 格 率 要 求 的 数 据，交 付 需 求 方 验 收。9.2 总 结数 据 标 注 项 目 负 责 人 应 组 织 各 工 作 角 色 参 与 项 目 的 总 结 工 作，编 制 总 结 报 告，内 容 包 括：a)数 据 标 注 项 目 基 本 信 息：描 述 本 次 数 据 标 注 项 目 的 合 作 背 景、数 据 标 注 内 容 及 类 型；b)数 据 标 注 过 程 控 制 措 施：描 述 本 次 数 据 标 注 项 目 在 执 行 过 程 中 采 取 的 执 行 方 法，还 原 标 注 过 程；c)数 据 标 注 方

14、 法 总 结：描 述 本 次 数 据 标 注 项 目 遇 到 的 困 难 及 采 取 的 有 效 措 施，总 结 可 行 的 方 法 做经 验 复 用；D B 1 4/T 2 4 6 5 2 0 2 24d)数 据 标 注 措 施 改 进：描 述 本 次 数 据 标 注 项 目 控 制 过 程 的 不 足，总 结 可 以 改 进 的 方 法 和 措 施，应对 下 次 同 类 项 目；e)其 他 需 要 总 结 的 内 容。9.3 售 后数 据 需 求 方 确 认 数 据 标 注 结 果 验 收 通 过 后，数 据 标 注 机 构 应 跟 进 整 个 项 目 的 售 后 工 作。包 括 项 目

15、终期 审 计、项 目 综 合 评 价、数 据 检 查 改 进 和 服 务 监 督 处 理。1 0 归 档数 据 标 注 机 构 的 项 目 管 理 部 门 应 在 项 目 完 成 后 或 定 期 对 生 产 过 程 文 档 进 行 分 类、整 理、归 档，并 根据 生 产 文 档 对 生 产 过 程 进 行 核 验，验 证 生 产 过 程 与 合 同 要 求 符 合 性。D B 1 4/T 2 4 6 5 2 0 2 25参 考 文 献 1 项 目 管 理 知 识 体 系 指 南 第 5 版 2 信 息 技 术 人 工 智 能 面 向 机 器 学 习 的 数 据 标 注 规 范 中 国 电 子 工 业 标 准 化 技 术 协 会