数据库 频道

90分才算合格:高质量数据集到底怎么建、怎么评

  先说一个很多人不愿意面对的事实。

  你公司服务器里躺着的那几百TB数据,大概率有90%是"垃圾"——不是不能用的垃圾,而是没有经过专业处理、达不到AI训练标准的垃圾。

  2025年9月,国家数据局发布了104个高质量数据集典型案例,覆盖科学研究、工业制造、医疗卫生、金融服务等11大领域。这意味着什么?全国上下数以万计的数据集,只有104个被认定为"典型"。

  比例不到1%。

  2026年7月3日,国家数据局局长刘烈宏在全球数字经济大会数据要素发展论坛上宣布:将加快出台高质量数据集格式要求、质量评测、数据标注等国家标准。

  标准要来了。这意味着,以后"高质量"不再是一个模糊的形容词,而是一个有明确分数线、可量化、可评测的硬指标。

  分数线是多少?90分。百分制,三个维度都得到90分以上,才算"高质量数据集"。

  这篇文章,就来讲清楚两件事:怎么建,怎么评。

  一、先搞清楚:什么是"高质量数据集"

  2026年6月3日,国家数据局印发了《关于推进行业高质量数据集建设行动的实施方案》,给出了一个明确定义:

  行业高质量数据集是经过采集、加工等数据处理,可直接用于开发和训练人工智能模型,能有效提升模型性能的行业数据的集合,包含行业通识和行业专识数据集。

  注意三个关键词:

  "经过处理"——不是原始数据堆在那里就行,必须经过采集、清洗、加工、标注等专业处理。

  "可直接用于"——拿过来就能训练模型,不需要再做大量预处理工作。也就是行业里说的"AI-Ready"。

  "能有效提升"——用了你的数据集,模型性能确实提升了。不是"喂了也白喂",而是有实证效果。

  这就把高质量数据集和普通数据资源彻底区分开了。你硬盘里的原始日志、未清洗的用户行为数据、格式混乱的Excel表格——这些是"数据资源",不是"高质量数据集"。

  两者的关系就像铁矿石和钢材。铁矿石是资源,钢材是经过冶炼加工后的产品。AI模型需要的是钢材,不是铁矿石。

  二、怎么建:六大行动和"1+1"路径

  国家数据局的实施方案部署了六个专项行动,这六个行动构成了高质量数据集建设的完整链条:

  1. 强基扩容——解决"有没有"的问题

  聚焦19个重点领域(科学研究、工业制造、农业农村、智慧能源、交通运输、金融服务、医疗卫生等)加上5个创新领域(低空经济、具身智能、智能驾驶、智慧海洋、生物制造),加快推进行业高质量数据集建设。

  方法很清晰:先摸清家底——建立数据资源清单和数据集需求清单;再找链主单位牵引——支持链主单位以联合体形式推动产业链上下游协同共建;最后多模态并进——文本、代码、图像、音频、视频、点云、时序数据、科学数据全面覆盖。

  2. 标注攻坚——解决"懂不懂"的问题

  数据标注不是打标签那么简单,它是把知识和经验注入训练数据的过程。

  方案提出了一个重要转型:从"以人为主"向"人机协同、专家深度参与"的多层次标注模式转变。

  具体来说,发展三种智能化标注服务:

  ·"模型预标注+人工校准"

  ——AI先标一遍,人来检查修正

  ·"人工标注+模型检验"

  ——人先标,AI来质检

  ·"模型预标注+模型检验"

  ——AI标AI检,人只处理争议项

  更重要的是专家型标注。建立行业专家认证机制,让真正的行业专家参与到指令微调、强化学习等阶段的专业知识标注中来。因为有些专业知识,普通标注员标不了——医疗影像需要放射科医生,法律文书需要执业律师,工业质检需要资深工程师。

  3. 提质增效——解决"好不好"的问题

  这一步是核心。方案提出了四个质量标准:结构完整性、内容多样性、标注准确性、模型适配性。

  技术手段上,鼓励运用数据智能过滤与配比技术,构建"更精、更强"的高知识密度数据集,降低训练推理成本。同时发挥数据合成的积极作用——用模型、仿真系统生成数据,解决稀缺场景数据集构造难的问题。

  4. 应用赋能——解决"用不用"的问题

  数据集建了不用,就是数字仓库里的摆设。方案提出打造"数据飞轮"应用闭环:

  场景牵引数据 → 数据驱动模型 → 模型赋能应用 → 应用创造价值 → 产生新数据 → 回到数据供给

  这个闭环转起来,数据集就会越用越好、越用越丰富。

  5. 管理服务——解决"管不管"的问题

  构建覆盖采集、清洗、加工、标注、质检、测评、迭代、审计全生命周期的管理体系。建设"物理分散、逻辑集中"的国家数据集管理服务系统,实现数据集目录、供需信息互联互通。

  6. 价值释放——解决"值不值"的问题

  探索数据集资产化路径:登记、评估、质押融资、作价入股、资产证券化、数据信托、数据保险。培育"为数据付费"的市场共识——推动数据采买纳入预算编制,率先在政府部门、国有企业、模型企业开展数据采购实践。

  三、刘烈宏说的三个转变,比你想的更重要

  7月3日的论坛上,刘烈宏讲了一段非常关键的话,揭示了高质量数据集建设思路的根本性转变。

  转变一:从"重格式统一"到"语义贯通"

  以前大家觉得,数据要流通、要训练AI,就得先统一格式。你存JSON我存XML他存Excel,太乱了,得统一。

  但刘烈宏说:

  若要求所有的部门、行业、企业统一底层数据存储的格式,代价是十分高昂的,效率也是不高的,在很多领域、很多场景下不具备现实的可行性。

  新思路是:真正需要的是可互操作的规则层,而非底层存储格式的大一统。

  打个比方:你说法语我说中文他说日语,不需要逼所有人都说法语。真正需要的是翻译规则——只要语义能互通,格式可以不同。

  转变二:从"静态对齐"到"动态适配"

  以前是"一次性清洗对齐"——花三个月把数据格式统一好,然后一直用。但数据是活的,业务在变,数据源在变,静态对齐很快就过时了。

  新思路是"动态适配"——依托元数据的挂载、语义映射等机制,实现数据自带标准化语义,支撑机器自动识别上下文。

  什么意思?每条数据都"自带说明书",机器读到数据的时候,自动理解这条数据的含义、格式、来源、用途。不需要人去手动对齐,机器自己搞定。

  转变三:从"分类施策"到"国家标准"

  刘烈宏明确表示,下一步将采取分类施策、分级推进策略,在国家层面研究制定对象标准、元数据语义、接口协议等多方面的统一标准,加快出台高质量数据集格式要求、质量评测、数据标注等国家标准。

  这意味着,以后"高质量"有国标了。不是自己说高质量就高质量,而是要按照国家标准来建设、来评测、来认证。

  四、怎么评:三维评测体系,90分是及格线

  这是最实操的部分。全国数标委(TC609)发布的《高质量数据集质量评测规范》构建了一套三维评测体系:

  维度一:说明文档(数据护照)

  数据集必须配备一份完整的"数据护照",包含四部分:

  基本信息

  ——数据集名称、版本、规模、创建时间、更新频率

  内容特征

  ——数据类型、覆盖范围、主题领域、语言

  建设过程

  ——采集方法、加工流程、标注规范、质量控制措施

  应用说明

  ——适用场景、使用限制、已知局限、引用方式

  这一维度考察的是"透明度"——让使用者拿到数据集后能快速判断是否适用,而不是盲盒。

  维度二:数据质量(八项核心指标)

  这是最硬核的部分。八项核心指标包括:

  ·格式规范性

  ——数据格式是否符合标准规范

  ·内容真实性

  ——数据是否可溯源,不是编造的

  ·完整性

  ——关键字段是否缺失,覆盖范围是否充分

  ·准确性

  ——数据值是否与真实情况一致

  ·一致性

  ——同一实体在不同记录中的信息是否矛盾

  ·时效性

  ——数据是否在有效期内,是否及时更新

  ·安全性

  ——是否包含敏感信息,是否符合数据安全要求

  ·多样性

  ——数据分布是否均衡,是否覆盖足够多的场景

  注意"内容真实性"这一条——强调数据可溯源。这意味着,你的数据从哪里来的、经过了什么处理,都必须有完整的记录链条。不能拿一批来路不明的数据说"这是高质量的"。

  维度三:模型应用(五项指标)

  这一维度聚焦"实用价值"——数据集到底能不能提升模型性能。五项指标验证数据集对模型训练的实际贡献。

  最关键的是模型适配性——要求通过实证测试,证明用了你的数据集,目标模型的性能确实提升了。

  这一条直接打破了"唯数据量论"。不是数据越多越好,而是数据对模型有没有用。1万条高质量标注数据,可能比100万条低质量数据对模型提升更大。

  评分规则:百分制,三维度都90分以上

  三个维度分别评分,百分制。三个维度都必须达到90分以上,才能被认定为"高质量数据集"。

  认证流程分四个阶段:申请→初评→复评→认证。层层把关,不是走过场。

  五、建了能值多少钱

  这不是空谈。市场已经在用实际行动回答这个问题。

  据行业研究,高质量数据集的溢价幅度可达20%-30%。同样规模的数据集,通过高质量认证的比未认证的,价格高出两到三成。

  这正在推动形成"质量定价"的市场机制——过去数据交易是"按量计价"(多少条多少钱),未来是"按质计价"(质量评分越高,价格越高)。

  商业模式也在进化。方案鼓励发展三种服务形态:

  "订阅模式"

  ——按月/按年付费,持续获取更新数据

  "商场模式"

  ——数据交易平台挂牌,自助选购

  "定制模式"

  ——按需定制数据集,专人服务

  更前沿的探索是"词元(Token)交易"——以Token为基础构建可量化、可定价的数据价值体系。你的数据被模型调用了多少Token,就值多少钱。

  资产化路径也在打通。数据集可以登记、评估、质押融资、作价入股、甚至证券化。也就是说,你建的高质量数据集,不仅能卖钱,还能当资产拿去银行抵押。

  六、企业现在该做什么

  说了这么多,如果你是一家企业的负责人,现在该做什么?五条建议:

  第一,对标国家标准,提前准备。

  刘烈宏已经明确,高质量数据集格式要求、质量评测、数据标注等国家标准即将出台。不要等标准出来再行动,现在就按照三维评测体系的框架来梳理:你的数据集有没有"数据护照"?八项质量指标能打几分?有没有做过模型适配性验证?

  第二,从场景倒推,不要盲目堆量。

  104个典型案例的共同特征是"以场景驱动为核心"。先想清楚你的数据集要解决什么问题——是提升医疗影像诊断准确率,还是优化工业质检效率?从场景倒推需要什么数据、怎么标注、怎么配比,而不是把所有数据一股脑堆上去。

  第三,把标注当核心能力来建。

  数据标注不是外包给廉价劳动力的低端工作,而是"把知识和经验注入训练数据"的关键环节。建立行业专家认证机制,发展人机协同标注模式,培育专业标注团队——这些是高质量数据集的核心竞争力。

  第四,建立全生命周期质量管理体系。

  不是一次性清洗就完事了。从采集、加工、标注、质检、测评到迭代、审计,每个环节都要有标准、有流程、有记录。特别是"可溯源"——数据从哪来的、经过了什么处理,必须有完整链条。

  第五,关注"数据飞轮"的闭环效应。

  数据集不是建完就结束的静态产品,而是需要在使用中持续迭代的动态资产。让模型应用产生的反馈数据回流到数据集中,让数据集越用越好——这才是高质量数据集的终极形态。

  最后的话

  2026年,国家数据局把全年工作明确定位为"数据价值释放年"。

  从2025年8月的《高质量数据集建设指引》,到2026年6月的《实施方案》,再到7月刘烈宏宣布的国家标准即将出台——高质量数据集建设的政策框架已经基本成形。

  六个行动管"怎么建",三维评测管"怎么评",国家标准管"怎么认"。

  刘烈宏说了一句话,值得反复品味:

  数据的规模、质量、结构,深刻影响模型的智能水平和应用边界。

  AI时代,算力是引擎,算法是方向盘,数据是燃料。引擎再强、方向盘再灵敏,如果燃料是掺了水的,车也跑不远。

  而高质量数据集,就是经过精炼的航空燃油。

  90分是及格线。你的数据集,能打几分?

0
相关文章