Definição
QLoRA quantiza o modelo base em 4 bits e aplica adaptadores LoRA por cima. Isso torna possível fazer fine-tuning de modelos com 70 bilhões de parâmetros em uma única GPU de consumidor de alta gama. O trade-off de qualidade é pequeno para a maioria dos domínios.
Exemplo
Fine-tuning de Llama 3 70B em uma única A100 com QLoRA, reduzindo as necessidades de memória de 280GB para menos de 80GB.
Como a Vedwix usa isto
Usado quando o computacional do cliente é restrito ou ao iterar rapidamente através de variações de dataset.
Trabalhando em um projeto de QLoRA?
QLoRA.
Descreva seu projeto em três frases ou menos.
Iniciar um projeto