代码、模型全开源！贾佳亚团队多模态模型 Mini-Gemini登上热榜

　　香港中文大学终身教授贾佳亚团队最近推出了一款名为Mini-Gemini的多模态模型，该模型在多模态任务榜单上取得了显著成绩，其性能堪比GPT-4与DALLE3的结合。

　　Mini-Gemini模型以其更精确的图像理解能力、更高质量的训练数据和更强的图像解析推理能力而著称。模型能够结合图像推理和生成，提供了从2B到34B不同规模的版本，其中最强版本在多个指标上与Google Gemini Pro和GPT-4V相比毫不逊色。

　　Mini-Gemini模型的代码、模型和数据已经全部开源，可以在Github、论文地址和模型及数据的Huggingface页面上找到。这一开放性的举措使得Mini-Gemini迅速登上了PaperWithCode的热榜，受到了广泛关注。

　　Mini-Gemini的图像理解和生成能力通过Demo形式得到了展示，用户可以在线与自定义图像进行对话。这一功能使得Mini-Gemini在实际应用场景中表现出色，尤其是在需要对高清图像进行解析并用图像形式展现的任务中。例如，Mini-Gemini能够根据图片内容对做面包的过程进行指导，也能根据电脑图片中的参数进行准确对比。

　　此外，Mini-Gemini在保留图像理解和推理能力的同时，还具备了图像生成能力，类似于ChatGPT与生成模型的结合。通过抽象的多模态指令，模型能够进行推理并生成合适的图片。例如，当用户提出两个毛线团能做什么时，Mini-Gemini不仅能识别图片内容并给出建议，还能生成相应的毛线小熊图片。

　　Mini-Gemini的技术背后，采用了名为Gemini的视觉双分支信息挖掘方法，通过使用卷积网络(ConvNet)对高分辨率图像进行编码，并利用Transformer中的Attention机制来挖掘每个低分辨率Query对应的高分辨率区域。在图像生成方面，Mini-Gemini结合了SDXL技术，通过LLM生成的文本链接两个模型，类似于DALLE3的流程。

　　在数据方面，Mini-Gemini通过收集和优化训练数据，实现了对图像理解、推理和生成的统一流程。即使在仅使用2-3M数据的情况下，Mini-Gemini也能在各种Zero-shot榜单上与大厂使用大量数据训练出的模型相媲美，展现了其高效性和实用性。这一成果不仅为开源社区带来了新的活力，也为多模态模型的发展和应用开辟了新的可能性。