LLM Course

0. Configuração

1. Modelos de Transformers

2. Usando 🤗 Transformers

3. Ajustando um modelo pré treinado

4. Compartilhamento de modelos e tokenizer

5. A biblioteca Datasets 🤗

Introdução E se o meu dataset não estiver no Hub?Hora de fatiar e dividir os dados Big data? 🤗 Datasets ao resgate Criando seu próprio dataset Busca semântica com o FAISS Confira o 🤗 Datasets!Questionário de fim de capítulo

6. A biblioteca Tokenizers 🤗

7. Principais tarefas NLP

8. Como pedir ajuda 🤗

Evento do curso

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

Confira o 🤗 Datasets!

Bem, esse foi um belo passeio pela biblioteca 🤗 Datasets - parabéns por chegar até aqui! Com o conhecimento que você adquiriu neste capítulo, você deve ser capaz de:

Carregue conjuntos de dados de qualquer lugar, seja o Hugging Face Hub, seu laptop ou um servidor remoto em sua empresa.
Organize seus dados usando uma combinação das funções Dataset.map() e Dataset.filter().
Alterne rapidamente entre formatos de dados como Pandas e NumPy usando Dataset.set_format().
Crie seu próprio conjunto de dados e envie-o para o Hugging Face Hub.
Incorpore seus documentos usando um modelo Transformer e construa um mecanismo de pesquisa semântica usando o FAISS.

No Capítulo 7, usaremos tudo isso para nos aprofundarmos nas principais tarefas de PNL para as quais os modelos Transformer são ótimos. Antes de avançar, no entanto, teste seu conhecimento de 🤗 Datasets com um teste rápido!

Update on GitHub

←Busca semântica com o FAISS Questionário de fim de capítulo→