openKylin 操作系统今日傍晚官宣接入大模型,从智能输入、智能输出两方面入手,尝试探索桌面操作系统未来智能交互的发展方向。
据介绍,该系统接入大模型包括语音助手、桌面 AI 大模型插件两种场景。
其中,openKylin 语音助手服务端采用开源模型库 paddlespeech 作为语音识别服务,将客户端上传的流式语音进行识别并且返回给客户端;客户端采用 Qt 的 Multimedia 模块进行语音识别,然后进行格式封装上传到服务端,根据识别结果处理对应操作。
语音助手功能目前在 openKylin1.0 版本上可以实现识别语音输入、快速打开应用等主要功能。官方表示,后续将进一步加入语音搜索、天气查询、语音翻译、系统设置等多种功能。
桌面插件方面,目前已在软件商店上架推出桌面 AI 大模型插件,安装后将会在开始菜单里增加“AI 助手”模块,支持使用用户自己申请的 AI 大模型 API Key 和 Secret Key,调用 AI 大模型接口,实现在 openKylin 系统上体验基于大语言模型的聊天机器人功能。