LLaVA：大型语言和视觉助理

developer.chat

18 May 2024

SEO Title

LLaVA: Large Language-and-Vision Assistant

多模式Instruction Following Data

基于COCO数据集，我们与纯语言GPT-4进行了交互，共收集了158K个唯一语言图像指令跟随样本，其中对话样本58K个，详细描述样本23K个，复杂推理样本77k个。请在[HuggingFace数据集]上签出“LLaVA-Instruct-150K”。

Data file name	File Size	Sample Size
conversation_58k.json	126 MB	58K
detail_23k.json	20.5 MB	23K
complex_reasoning_77k.json	79.6 MB	77K

For each subset, we visualize the root noun-verb pairs for the instruction and response. For each chart, please click the link for the interactive page to check out the noun-verb pairs whose frequency is higher the given number.

Instruction: Complex Reasoning [0, 20, 50]

Response: Detailed Description [0, 20, 50]

LLaVA：大型语言和视觉助理

LLaVa使用简单的投影矩阵连接预先训练的CLIP ViT-L/14视觉编码器和大型语言模型Vicuna。我们考虑两阶段的指令调整过程：

阶段1：特征对齐的预训练。基于CC3M的子集，仅更新投影矩阵。
第二阶段：端到端微调。投影矩阵和LLM都针对两种不同的使用场景进行更新：
- Visual Chat:LLaVA对我们为日常面向用户的应用程序生成的多模式指令数据进行了微调。
- LLaVA对科学领域的多模态推理数据集进行了微调。

Please check out our [Model Zoo].

Performance

Visual Chat: Towards building multimodal GPT-4 level chatbot

构建了一个包含30幅看不见的图像的评估数据集：每张图像都与三种类型的指令相关联：对话、详细描述和复杂推理。这导致了90条新的语言图像指令，我们在这些指令上测试LLaVA和GPT-4，并使用GPT-4对它们的反应进行评分，从1分到10分。报告每种类型的总得分和相对得分。总体而言，与GPT-4相比，LLaVA获得了85.1%的相对分数，这表明所提出的自我指导方法在多模式环境中的有效性

科学QA：LLaVA与GPT-4协同作用的新型SoTA