LLM Course

0. Setup

1. Modelos de Transformadores

Introducción Procesamiento de Lenguaje Natural Transformadores, ¿qué pueden hacer?¿Cómo funcionan los Transformadores?Modelos de codificadores Modelos de decodificadores Modelos secuencia a secuencia Sesgos y limitaciones Resumen Quiz de final de capítulo

2. Usando Transformers 🤗

3. Ajuste (fine-tuning) de un modelo preentrenado

5. La librería 🤗 Datasets

6. La librería 🤗 Tokenizers

8. ¿Cómo solicitar ayuda?

Glosario

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

Quiz de final de capítulo

¡Este capítulo cubrió una gran variedad de temas! No te preocupes si no entendiste todos los detalles; los siguientes capítulos te ayudarán a entender cómo funcionan las cosas detrás de cámaras.

Por ahora, ¡revisemos lo que aprendiste en este capítulo!

1. Explora el Hub y busca el punto de control roberta-large-mnli . ¿Qué tarea desarrolla?

Resumen Clasificación de texto Generación de texto

2. ¿Qué devuelve el siguiente código?

from transformers import pipeline

ner = pipeline("ner", grouped_entities=True)
ner("My name is Sylvain and I work at Hugging Face in Brooklyn.")

Devuelve los puntajes de clasificación de esta oración, con las etiquetas "positive" o "negative". Devuelve un texto generado que completa esta oración. Devuelve las palabras que representan personas, organizaciones o ubicaciones.

3. ¿Qué debería reemplazar … en este ejemplo de código?

from transformers import pipeline

filler = pipeline("fill-mask", model="bert-base-cased")
result = filler("...")

This <mask> has been waiting for you. This [MASK] has been waiting for you. This man has been waiting for you.

4. ¿Por qué fallará este código?

from transformers import pipeline

classifier = pipeline("zero-shot-classification")
result = classifier("This is a course about the Transformers library")

Este pipeline necesita que se le indiquen etiquetas para clasificar el texto. Este pipeline requiere varias oraciones, no sólo una. La librería 🤗 Transformers está dañada, como siempre. Este pipeline necesita entradas más largas; esta oración es muy corta.

5. ¿Qué significa “transferencia de aprendizaje”?

Transferir el conocimiento de un modelo preentrenado a un nuevo modelo, al entrenarlo en el mismo conjunto de datos. Transferir el conocimiento de un modelo preentrenado a un nuevo modelo al inicializar un segundo modelo con los pesos del primero. Transferir el conocimiento de un modelo preentrenado al construir el segundo modelo con la misma arquitectura del primero.

6. ¿Verdadero o falso? Un modelo de lenguaje usualmente no necesita etiquetas para su preentrenamiento.

Verdadero Falso

7. Selecciona la oración que describe mejor los términos “modelo”, “arquitectura” y “pesos”.

Si un modelo es un edificio, su arquitectura es el plano y los pesos son las personas que viven allí. Una arquitectura es un mapa para construir un modelo y sus pesos son las ciudades representadas en el mapa. Una arquitectura es una sucesión de funciones matemáticas para construir un modelo y sus pesos son los parámetros de dichas funciones.

8. ¿Cuál de los siguientes tipos de modelos usarías para completar una indicación con texto generado?

Un modelo de codificadores Un modelo de decodificadores Un modelo secuencia a secuencia

9. ¿Cuál de los siguientes tipos de modelos usarías para resumir textos?

Un modelo de codificadores Un modelo de decodificadores Un modelo secuencia a secuencia

10. ¿Cuál de los siguientes tipos de modelos usarías para clasificar texto de acuerdo con ciertas etiquetas?

Un modelo de codificadores Un modelo de decodificadores Un modelo secuencia a secuencia

11. ¿Cuál puede ser una posible fuente del sesgo observado en un modelo?

El modelo es una versión ajustada de un modelo preentrenado y tomó el sesgo a partir de allí. Los datos con los que se entrenó el modelo están sesgados. La métrica que el modelo estaba optimizando está sesgada.

Update on GitHub

←Resumen

Next chapter

Quiz de final de capítulo 1. Explora el Hub y busca el punto de control roberta-large-mnli . ¿Qué tarea desarrolla?2. ¿Qué devuelve el siguiente código?3. ¿Qué debería reemplazar … en este ejemplo de código?4. ¿Por qué fallará este código?5. ¿Qué significa “transferencia de aprendizaje”?6. ¿Verdadero o falso? Un modelo de lenguaje usualmente no necesita etiquetas para su preentrenamiento.7. Selecciona la oración que describe mejor los términos “modelo”, “arquitectura” y “pesos”.8. ¿Cuál de los siguientes tipos de modelos usarías para completar una indicación con texto generado?9. ¿Cuál de los siguientes tipos de modelos usarías para resumir textos?10. ¿Cuál de los siguientes tipos de modelos usarías para clasificar texto de acuerdo con ciertas etiquetas?11. ¿Cuál puede ser una posible fuente del sesgo observado en un modelo?