文章概要:
1. Tech Mahindra推出面向印度语言的开源语言模型Project Indus,这可能是该公司迄今最重要的项目。
2. 该模型最初将支持40种印地语言方言,参数规模预计达到70亿。模型有望为印度25%的人口提供服务。
3. 为不同语言和方言收集数据仍然是最大的挑战。Tech Mahindra正在通过语言捐献渠道收集数据集,并与各利益相关方合作。
最近,印度IT公司Tech Mahindra宣布推出了一个面向印度语言的开源基础语言模型“Project Indus”。该项目可能会成为该公司迄今为止最重要的项目。目前,像OpenAI的GPT模型这样的大型语言模型,尽管具有多语言能力,但在理解和生成印度语言内容方面受到英语数据集的限制。
Tech Mahindra首席执行官古尔纳尼表示,该模型将是最大的印度语言模型,可能为全球25%的人口提供服务。 Tech Mahindra尚未透露项目成本或预计发布时间,但目标是首先构建一个70亿参数的语言模型。
该模型最初将支持40种不同的印地语言方言,后续将逐步添加更多语言和方言。他们表示,尽管目前一些印度语言模型Bhashini和AI4Bharat等已经存在,但仍需开发一个基础模型。他们的接口可能具有语音和文本信息,但尚未考虑加入类似ChatGPT的聊天界面。
Tech Mahindra的首要目标是首先创建一个用于文本继续的语言模型,然后提供对话功能。一旦模型的性能和方言生成效果明确,他们将在开源中发布。
印地语言模型可以优先考虑文化敏感性,确保生成内容尊重当地习俗和规范。它还可以使AI普及,为该国更广泛的非英语使用者提供服务。
然而,采集不同语言和方言的数据仍然是Tech Mahindra面临的最大挑战。为此,该公司正在寻求不同方言使用者的贡献,以帮助构建数据集。他们已开设了一个门户网站,以获取印度人的语言捐献。