科技魔方

Autolabel终结人工标注!AI标注比人类标注效率高100倍

大模型

2023年09月18日

  最近,一家初创公司refuel上线了一个AI标注数据的开源工具Autolabel,它能够利用LLM(如GPT-4等)自动对数据进行标注,大大简化了数据标注流程。

  Autolabel支持主流的LLM提供商,并可为开源和私有模型提供支持。与人工标注相比,Autolabel可将标注效率提高100倍,而成本仅为人工成本的1/7。

  研究表明,Autolabel结合GPT-4进行标注可取得88.4%的准确率,超过了人工标注的准确率。Autolabel还可以估计标注置信度,允许用户平衡成本和质量。总体来说,Autolabel极大地降低了数据标注的门槛,为训练高质量模型提供了可能。

  在接下来的几个月中,开发者承诺将向Autolabel添加大量新功能:如支持更多LLM进行数据标注;支持更多标注任务,例如总结等;支持更多的输入数据类型和更高的LLM输出稳健性;让用户能够试验多个LLM和不同提示的工作流程。

+1

来源:站长之家

延展资讯