Definición
LoRA congela los pesos del LLM original y entrena pequeñas matrices de bajo rango que modifican el comportamiento del modelo. El resultado: una fracción del almacenamiento y cómputo del ajuste fino completo, con calidad a menudo comparable. Los adaptadores LoRA pueden cargarse y descargarse en tiempo de ejecución, por lo que un solo modelo base puede servir múltiples variantes especializadas.
Ejemplo
Una empresa ajusta finamente 5 adaptadores LoRA en una sola base Llama 3 — uno por unidad de negocio — y cambia entre ellos por solicitud.
Cómo Vedwix usa esto
Enfoque de ajuste fino predeterminado. Los ajustes finos completos se reservan para conjuntos de datos muy grandes o cuando LoRA no es suficiente.
Trabajando en un proyecto de LoRA?
LoRA.
Cuéntanos sobre tu proyecto en tres frases o menos.
Iniciar un proyecto