科技魔方

英国推出开源免费AI评估平台Inspect,可为模型知识/推理能力评分

更多场景

2024年05月13日

  英国人工智能安全研究所(AI Safety Institute)近日推出了一款名为“Inspect”的 AI 模型安全评估平台,该平台采用开源授权方式,向全球 AI 工程师免费开放,允许工程师们评估自家模型性能及安全性。

  这款 Inspect 平台主要由三大主要框架组成,分别为“数据集”、“求解器(Solver)”、“评分器”,可用来评估各款 AI 模型的特定方面能力,包含模型的核心知识储备量、推理能力与自主能力等,相关框架将根据模型测试结果逐一就各项进行评分;除了内置的一系列测试器外,Inspect 也允许开发者以 Python 外挂其他测试框架。

  英国 AI 安全研究所所长 Ian Hogarth 声称,他们推出 Inspect 平台的原因是“相信开源的力量”,该平台能够鼓励更多人作出贡献,同时还能提高 AI 模型透明度及可重复性,同时降低工程师们的成本。

+1

来源:IT之家

延展资讯