近日,小米发布了大规模预训练语言模型MiLM-6B ,参数规模为64亿。在 C-Eval 和 CMMLU 上均取得同尺寸最好的效果。
据悉,在 C-Eval 评估中,MiLM-6B 的平均分为60.2,在 STEM、Social Sciences、Humanities 和 Others 等不同学科和难度级别上也表现出色。
在 CMMLU 评估中,MiLM-6B 在 zero-shot 和 five-shot 测试中的平均分分别为60.37和57.17,表现出良好的知识和推理能力。
目前,该模型相关信息还在不断更新中。