Nota 4 de 12 - Entrevista sobre conocimientos de LLM de Hao Hoang

¿Qué diferencia a LoRA de QLoRA en el fine-tuning de LLM?

LoRA es un método de ajuste fino que añade matrices de bajo rango a las capas del modelo para adaptarlo a nuevas tareas con un consumo de memoria reducido. QLoRA lleva esa idea un paso más allá y aplica cuantización, por ejemplo en 4 bits, para recortar todavía más el uso de memoria sin perder demasiada precisión. Según el documento, eso permite incluso ajustar modelos muy grandes en entornos con recursos limitados, como una sola GPU. 

¿IA con criterio? Suscríbete aquí 👇