LLM Course

0. Setup

1. Modelos de Transformadores

2. Usando Transformers 🤗

3. Ajuste (fine-tuning) de un modelo preentrenado

Introducción Procesamiento de los datos Ajuste de un modelo con la API Trainer Ajuste de un modelo con Keras Entrenamiento completo Ajuste de modelos, ¡hecho!Quiz de final de capítulo

5. La librería 🤗 Datasets

6. La librería 🤗 Tokenizers

8. ¿Cómo solicitar ayuda?

Glosario

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

Pytorch TensorFlow

Quiz de final de capítulo

A ver qué has aprendido en este capítulo:

1. El dataset emotion contiene mensajes de Twitter etiquetados con emociones. Búscalo en el Hub , y lee la tarjeta del dataset. ¿Cuál de estas no es una de sus emociones básicas?

Alegría Amor Confusión Sorpresa

2. Busca el dataset ar_sarcasm en el Hub . ¿Con qué tarea es compatible?

Clasificación de sentimientos Traducción automática Reconocimiento de entidades nombradas Responder preguntas

3. ¿Cómo se procesan un par de frases según el modelo BERT?

tokens_frase_1 [SEP] tokens_frase_2 [CLS] tokens_frase_1 tokens_frase_2 [CLS] tokens_frase_1 [SEP] tokens_frase_2 [SEP] [CLS] tokens_frase_1 [SEP] tokens_frase_2

4. ¿Cuáles son las ventajas del método Dataset.map() ?

Los resultados de la función se almacenan en caché, por lo que no tardaremos nada en volver a ejecutar el código. Puede aplicar multiprocesamiento para ir más rápido que si se aplicara la función a cada elemento del conjunto de datos. No carga todo el conjunto de datos en memoria, sino que guarda los resultados en cuanto se procesa un elemento.

5. ¿Qué significa padding dinámico?

Es cuando se rellenan las entradas de cada lote con la longitud máxima de todo el conjunto de datos. Es cuando rellenas tus entradas cuando se crea el lote, a la longitud máxima de las frases de ese lote. Es cuando se rellenan las entradas para que cada frase tenga el mismo número de tokens que la anterior en el conjunto de datos.

6. ¿Cuál es el objetivo de la función “collate”?

Se asegura de que todas las secuencias del conjunto de datos tengan la misma longitud. Combina todas las muestras del conjunto de datos en un lote. Preprocesa todo el conjunto de datos. Trunca las secuencias del conjunto de datos.

7. ¿Qué ocurre cuando instancias una de las clases AutoModelForXxx con un modelo del lenguaje preentrenado (como bert-base-uncased ) que corresponde a una tarea distinta de aquella para la que fue entrenado?

Nada, pero recibes una advertencia. La cabeza del modelo preentrenado se elimina y en su lugar se inserta una nueva cabeza adecuada para la tarea. La cabeza del modelo preentrenado es eliminada. Nada, ya que el modelo se puede seguir ajustando para la otra tarea.

8. ¿Para qué sirve TrainingArguments ?

Contiene todos los hiperparámetros utilizados para el entrenamiento y la evaluación con Trainer. Especifica el tamaño del modelo. Solo contiene los hiperparámetros utilizados para la evaluación. Solo contiene los hiperparámetros utilizados para el entrenamiento.

9. ¿Por qué deberías utilizar la librería 🤗 Accelerate?

Facilita acceso a modelos más rápidos. Proporciona una API de alto nivel para que no tenga que implementar mi propio bucle de entrenamiento. Hace que nuestros bucles de entrenamiento funcionen con estrategias distribuidas. Ofrece más funciones de optimización.

Update on GitHub

←Ajuste de modelos, ¡hecho!

Next chapter

Quiz de final de capítulo 1. El dataset emotion contiene mensajes de Twitter etiquetados con emociones. Búscalo en el Hub , y lee la tarjeta del dataset. ¿Cuál de estas no es una de sus emociones básicas?2. Busca el dataset ar_sarcasm en el Hub . ¿Con qué tarea es compatible?3. ¿Cómo se procesan un par de frases según el modelo BERT?4. ¿Cuáles son las ventajas del método Dataset.map() ?5. ¿Qué significa padding dinámico?6. ¿Cuál es el objetivo de la función “collate”?7. ¿Qué ocurre cuando instancias una de las clases AutoModelForXxx con un modelo del lenguaje preentrenado (como bert-base-uncased ) que corresponde a una tarea distinta de aquella para la que fue entrenado?8. ¿Para qué sirve TrainingArguments ?9. ¿Por qué deberías utilizar la librería 🤗 Accelerate?4. ¿Qué ocurre cuando instancias una de las clases TFAutoModelForXxx con un modelo del lenguaje preentrenado (como bert-base-uncased ) que corresponde a una tarea distinta de aquella para la que fue entrenado?5. Los modelos TensorFlow de transformers ya son modelos Keras. ¿Qué ventajas ofrece esto?6. ¿Cómo puedes definir tu propia métrica personalizada?