Definition
QLoRA quantisiert das Basismodell auf 4 Bit und wendet LoRA-Adapter darauf an. Dies ermöglicht es, 70-Milliarden-Parameter-Modelle auf einer einzigen High-End-Consumer-GPU feinabzustimmen. Der Qualitätskompromiss ist für die meisten Domänen klein.
Beispiel
Feinabstimmung von Llama 3 70B auf einer einzigen A100 mit QLoRA, wodurch der Speicherbedarf von 280GB auf unter 80GB reduziert wird.
Wie Vedwix das verwendet
Verwendet, wenn die Kunden-Rechenleistung begrenzt ist oder wenn schnell durch Datensatzvariationen iteriert wird.
Sie arbeiten an einem Projekt rund um QLoRA?
QLoRA.
Beschreiben Sie Ihr Projekt in drei Sätzen oder weniger.
Projekt starten