DiffSensei是一种创新的人工智能系统,能够将书面故事自动转换为漫画风格,展现了AI在漫画创作领域的巨大潜力。
由北京大学、上海人工智能实验室和南洋理工大学联合研发,该系统结合了扩散模型与大型语言模型,确保角色外观一致性并控制漫画页面布局。
DiffSensei利用多模态模型和LoRA技术,确保漫画角色在每个面板上的一致性。
研究团队创建了MangaZero数据集,包含43000多页漫画和427000个面板。
DiffSensei有潜力简化漫画制作过程,为艺术家和出版商提供新的创作工具。