Introducción

En el Capítulo 3 tuviste tu primer acercamiento a la librería 🤗 Datasets y viste que existían 3 pasos principales para ajustar un modelo:

1. Cargar un conjunto de datos del Hub de Hugging Face.
2. Preprocesar los datos con Dataset.map().
3. Cargar y calcular métricas.

¡Esto es apenas el principio de lo que 🤗 Datasets puede hacer! En este capítulo vamos a estudiar a profundidad esta librería y responderemos las siguientes preguntas:

• ¿Qué hacer cuando tu dataset no está en el Hub?
• ¿Cómo puedes subdividir tu dataset? (¿Y qué hacer si realmente necesitas usar Pandas?)
• ¿Qué hacer cuando tu dataset es enorme y consume toda la RAM de tu computador?
• ¿Qué es la proyección en memoria (memory mapping) y Apache Arrow?
• ¿Cómo puedes crear tu propio dataset y subirlo al Hub?

Las técnicas que aprenderás aquí te van a preparar para las tareas de tokenización avanzada y ajuste que verás en el Capítulo 6 y el Capítulo 7. ¡Así que ve por un café y arranquemos!

Update on GitHub