索尼AI发布FHIBE数据集,旨在为AI公平性评估树立行业新基准

近日,索尼AI公司(下称,索尼AI)发布“公平人类中心图像基准”(FHIBE,发音“Fee-bee”),这一具有开创性的数据集旨在为计算机视觉模型的公平性评估建立全新的全球基准。在计算机视觉技术已成为智能手机、自动驾驶等现代人工智能应用核心能力的背景下,FHIBE正致力于解决行业长期存在的训练数据偏差与伦理合规不足的问题。该数据集希望推动行业改进数据全生命周期(包括采集、管理到应用、利用环节)的责任治理水平与伦理规范,包括倡导再数据集采集中建立参与者的公平补偿及明确的授权等伦理机制。FHIBE数据集自2025年11月5日起向公众开放,相关成果已发表于《自然》。

 

开创性数据库,解决人工智能领域长期存在的问题

 

FHIBE的创建旨在解决当前公开数据集中存在的多样性不足,及未经参与者同意收集等问题,这些问题可能会加剧偏差,并给AI开发者和用户带来持久挑战。此外,缺乏充分且可靠的评估数据集可能导致带有偏差甚至造成伤害的模型被投入使用,使得评估潜在风险以及模型在全球范围内能否公平运行变得十分困难。索尼AI团队意识到消除这些障碍的必要性,投入大量资源打造了这一基准数据集,供全球AI开发者和研究人员公开使用。

 

FHIBE是首个公开可获取、经参与者授权采集、且具有全球多样性的以人为核心的计算机视觉公平性评估数据集。它可用于严格评估多类计算机视觉任务的偏差与准确性,包括人脸检测、人脸验证、姿态估计以及视觉问答等。

 

索尼集团公司全球AI治理负责人、索尼AI公司首席研究科学家Alice Xiang表示:“FHIBE项目证明,当行业将伦理AI置于优先地位时,公平且负责任的实践是可行的。在AI快速发展的今天,深入探究数据收集与使用方式的伦理影响变得至关重要。长期以来,行业过度依赖缺乏多样性、容易强化偏差且未经过充分同意机制收集的数据库。FHIBE项目正逢关键时刻,充分展示了在知情同意、隐私保护、公平补偿、安全保障、多样性与有效性等原则指导下,负责人的数据采集流程完全能够实现。虽然这是重要突破,但仅仅是起点。我们希望为未来构建公平、更透明且更具责任性的AI发展树立新的行业范式。”

 

实现精细化评估与深入诊断,树立行业新标杆

 

该数据集包含1,981名独立参与者、共10,318张经同意采集的图像,每张图像均附有详尽精准的注释信息。这些注释涵盖人口统计特征、身体特征、环境因素及相机设置等维度,可对广泛的人口统计属性及其交叉维度进行细致的公平性与偏差评估。图像采集自81个以上国家和地区的受试者,使FHIBE成为现存最具全球多样性且注释最完整的人体图像数据集之一。

 

发表于《自然》的论文《用于伦理人工智能基准测试的公平人本图像数据库》系统评估了FHIBE在传统计算机视觉模型与大规模多模态生成模型中的表现。论文通过将FHIBE与现有的人本公平性评估数据库进行对比,展示了FHIBE如何评估人口统计属性及其交叉维度中的偏差。

 

通过FHIBE,索尼AI研究团队验证了已有文献中记录的偏差,并证明该框架能对偏差的成因进行精细化诊断。例如,研究发现某些模型对使用“她/她的”代词的个体识别准确率较低,并进一步发现这种差异可追溯至发型多样性差异——这一因素此前在公平性研究中常被忽视。另一案例揭示:当模型被问及中性问题(如“此人职业是什么”)时,仍会无意中反映出潜在的社会刻板印象。

 

该数据集被设计为可持续、负责任地动态更新。参与者对其个人信息保留控制权,可随时撤回授权,且不会影响因参与项目而已获得的补偿。为维持数据库完整性与多样性,索尼AI将在移除相关图像的同时在可行范围内进行替换,以确保FHIBE持续保持更新。

 

索尼AI公司总裁Michael Spranger表示:“索尼AI在人工智能伦理研究领域发挥引领作用,致力于构建公平、透明且可追溯的技术体系,以保护AI用户、开发者及全球数据社区所有群体的权益。我们打造的这一公开资源能够有效评估计算机视觉模型的公平性与准确性,避免模型对利益相关者造成不利影响,同时推动AI伦理与数据采集领域的广泛变革。FHIBE为AI数据集树立了行业新标杆,,验证了负责任的数据采集流程完全可行,为从源头构建可信赖的AI奠定了基础。”

 

本研究的规模与复杂性反映了在构建一个兼具全面性、全球多样性、且基于参与者授权采集的数据集时所面临的重大挑战。历时三年,索尼AI的全球研究团队、工程师及项目管理团队共同制定了严谨的数据采集、注释与验证流程,并获得法律、隐私、信息技术及质量管理等领域的专家的全程支持。

踩(0)

最新文章

相关文章

大家都在看