科技魔方

国产AI大模型Kolors:ComfyUI平台部署指南

更多场景

2024年07月16日

  在AI技术的浪潮中,快手公司推出的文生图大模型——Kolors,以其卓越的性能和开源精神,成为国产AI技术的一颗璀璨新星。Kolors不仅在图像生成效果上超越了现有的开源模型,更达到了与商业闭源模型相媲美的水平,迅速在社交媒体上引发热议。

  Kolors的开源之路

  Kolors的开源不仅仅是一个技术里程碑,更是快手对AI技术开放态度的体现。在世界人工智能大会上,快手宣布Kolors正式开源,提供了包括模型权重、完整代码和技术报告在内的全面资源,目前已在Huggingface平台和GitHub上线,供全球开发者免费使用。

  并且在github主页上表示了开源计划,模具已经开源了接口和大模型,后续会开源出kolors的Lora,controlnet等等,着实让人期待。

  Kolors的卓越性能

  Kolors以其强大的复杂语义理解能力和摄影级的画质质感,赢得了开发者和用户的高度评价。在智源FlagEval文生图模型评测中,Kolors以75.23分的主观综合评分排名全球第二,尤其在图像质量方面表现突出,评分排名第一。

  Kolors的技术创新

  Kolors采用了隐空间扩散模型,并结合大语言模型进行文本表征,使其具备了复杂长文本理解能力。通过两阶段渐进训练策略,Kolors在图像美感和质量上达到了国际领先水平。此外,Kolors还是首个原生支持中文文字生成的文生图模型,展现了其在理解和呈现中国特色元素方面的优势。

  Kolors的ComfyUI部署

  以上介绍这么多,大家肯定已经跃跃欲试了。现在教大家如何在本地部署Kolors。

  在github上已经有了Kolors的一键部署

  github首页:https://github.com/kijai/ComfyUI-KwaiKolorsWrapper

  huggingface首页:https://huggingface.co/Kwai-Kolors/Kolors

  首先我们复制项目的url

  复制后我们到comfyui管理器安装,安装完成后重启

  然后我们搭建出一个最简单的Kolors文生图工作流

  搭建完成后我们点击添加提示词队列就会帮我们自动下载所需的大模型和文本编码

  ⚠️注意:由于模型都是从huggingface上下载,大模型大概5G,文本编码器大约11G,所以请使用科学上网保持网络畅通。

  最后模型会下载到该文件路径下:

  我们第一次下载使用是可能会遇到 文本编码器找不到文件报错

  解决的办法也很简单,我们到huggingface的项目地址,在text_encoder文件中下载所有的json和python文件,

  并放入我们本地的text_encoder文件夹中,由于下载下来的文件命名不对,所以我们还要重命名,对应下图命名即可

  最后我们还要下载Vae模型,并放入下图的文件路径内

  本地vae文件路径

  以上问题解决后我们就可以使用Korols生图了,在我们刚刚的工作流中使用中午提示词生图真的很舒服,而且画面质量也很精美,手部也没有出现太大问题。在抽象图片上也有很好的效果不输Midjouney。

  Kolors与开源社区的未来

  在Stability AI经历动荡之际,快手的Kolors开源成为了开源社区的新焦点。快手计划陆续开源Kolors的相关应用组件,丰富其开源生态,并期待与全球开发者共同推动文生图大模型社区的发展。 总结

  快手的Kolors大模型以其开放的态度、高标准的技术和实际的商业应用,展现了国产AI技术的真正实力。在AI技术不断演进的今天,Kolors的开源和落地让我们看到了技术与内容形态结合的无限可能。随着越来越多的企业和开发者加入Kolors的开源生态,我们有理由相信,这将为整个行业带来新的发展机遇。

+1

来源:站长之家

延展资讯