清华大学与深度求索(DeepSeek)合作研发出新型AI对齐技术SPCT(自我原则点评调优),突破传统依赖海量训练数据的模式,通过推理阶段动态优化输出质量。该技术采用“原则合成-响应生成-批判过滤-原则优化”的递归架构,使模型能在推理时自我修正。
测试显示,270亿参数的DeepSeek-GRM模型在每查询32次采样的推理计算下,性能媲美671B规模模型,且单次查询延迟仅1.4秒。相比340B参数的Nemotron-4(训练成本120万美元)和1.8T参数的GPT-4o(成本630万美元),DeepSeek-GRM仅需1.2万美元即可达到相近性能,成本降低99%以上。此外,SPCT减少90%人工标注需求,能耗较DPO降低73%,为实时机器人控制等场景提供新可能。