LLM Course documentation
Modelos de decodificadores
Modelos de decodificadores
Los modelos de decodificadores usan únicamente el decodificador del Transformador. En cada etapa, para una palabra dada las capas de atención pueden acceder solamente a las palabras que se ubican antes en la oración. Estos modelos se suelen llamar modelos auto-regressive.
El preentrenamiento de los modelos de decodificadores generalmente gira en torno a la predicción de la siguiente palabra en la oración.
Estos modelos son más adecuados para tareas que implican la generación de texto.
Los miembros de esta familia de modelos incluyen:
Update on GitHub