LLaVA

开源视觉指令微调多模态模型，将视觉编码器与LLM结合，支持图文对话，多模态研究基石。

工具介绍

一、项目简介 LLaVA（Large Language and Vision Assistant）是开源的多模态视觉语言模型，通过视觉指令微调将CLIP视觉编码器与Vicuna等大语言模型结合，实现图文对话、视觉问答与图像理解。LLaVA以简洁高效的训练流程与良好的性能，成为多模态视觉语言模型研究的重要基石。二、核心特性视觉指令微调：高效对齐视觉与语言。图文对话：支持基于图像的问答与创作。轻量训练：消费级算力可复现。开源生态：衍生大量LLaVA变体与改进。三、典型应用图文对话、视觉问答、图像理解、多模态研究。。四、获取方式项目开源在GitHub（haotian-liu/LLaVA）。。

功能特点

视觉指令微调方案可本地部署训练代码全开放

标签：LLaVA 视觉语言 VLA 多模态需翻墙

分类：开源多模态模型