Cartões de Dataset

O que são Dataset Cards?

Cada conjunto de dados pode ser documentado pelo arquivo README.md no repositório. Esse arquivo é chamado de dataset card, e o Hugging Face Hub exibirá seu conteúdo na página principal do conjunto de dados. Para informar os usuários sobre como usar os dados de forma responsável, é uma boa ideia incluir informações sobre possíveis vieses dentro do conjunto de dados. Em geral, os dataset cards ajudam os usuários a entender o conteúdo do conjunto de dados e fornecem contexto sobre como ele deve ser usado.

Você também pode adicionar metadados do conjunto de dados ao seu card. Os metadados descrevem informações importantes sobre um conjunto de dados, como sua licença, idioma e tamanho. Eles também contêm tags para ajudar os usuários a descobrirem um conjunto de dados no Hub e opções de configuração de arquivos de dados. As tags são definidas em uma seção de metadados YAML no topo do arquivo README.md.

Metadados do cartão do dataset

Um repositório de dataset exibirá seu README.md como um cartão de dataset. Para controlar como o Hub exibe o cartão, você deve criar uma seção YAML no arquivo README para definir alguns metadados. Comece adicionando três --- no topo, depois inclua todos os metadados relevantes e feche a seção com outro grupo de ---, como no exemplo abaixo:

language: 
- "List of ISO 639-1 code for your language"
- lang1
- lang2
pretty_name: "Pretty Name of the Dataset"
tags:
- tag1
- tag2
license: "any valid license identifier"
task_categories:
- task1
- task2

Os metadados que você adiciona ao cartão do dataset habilitam determinadas interações no Hub. Por exemplo:

• Permitir que os usuários filtrem e descubram conjuntos de dados em https://huggingface.co/datasets.
• Se você escolher uma licença usando as palavras-chave listadas na coluna à direita de esta tabela, a licença será exibida na página do conjunto de dados.

Ao criar um arquivo README.md em um repositório de dataset no Hub, use o Metadata UI para preencher os metadados principais:

Para ver os campos de metadados, consulte as especificações detalhadas do Dataset Card.

Guia de criação de cartões de dataset

Para um guia passo a passo sobre a criação de um cartão de dataset, consulte o guia Criar um cartão de dataset.

Ler cartões de conjuntos de dados existentes, como o cartão do conjunto de dados ELI5, é uma ótima maneira de se familiarizar com as convenções comuns.

Vinculando um Artigo

Se o cartão do conjunto de dados incluir um link para uma página de Paper (seja no HF ou um resumo/PDF do Arxiv), o Hub extrairá o ID do arXiv e o incluirá nas tags do conjunto de dados no formato arxiv:<PAPER ID>. Clicar na tag permitirá que você:

• Acesse a página do Paper
• Filtre por outros modelos no Hub que citam o mesmo artigo.

Saiba mais sobre as páginas de artigos aqui.

Forçar a definição de uma modalidade de conjunto de dados

O Hub detectará automaticamente a modalidade de um conjunto de dados com base nos arquivos que ele contém (áudio, vídeo, geoespacial, etc.). Se você quiser forçar uma modalidade específica, pode adicionar uma tag aos metadados do cartão do conjunto de dados: 3d, audio, geospatial, image, tabular, text, timeseries, video.

Por exemplo, para forçar a modalidade a audio, adicione o seguinte aos metadados do cartão do conjunto de dados:

tags:
- audio

Associar uma biblioteca ao conjunto de dados

A página do conjunto de dados exibe automaticamente as bibliotecas e ferramentas que conseguem carregar o conjunto de dados nativamente, mas, se você quiser exibir outra biblioteca específica, pode adicionar uma tag aos metadados do cartão do conjunto de dados. As tags suportadas incluem agentenv, argilla, dask, datasets, distilabel, fiftyone, harbor, mlcroissant, nemo-gym, openenv, pandas, verifiers e webdataset. Consulte a lista de bibliotecas suportadas para a lista completa ou para propor uma nova biblioteca.

Por exemplo, para associar a biblioteca argilla ao cartão do conjunto de dados, adicione o seguinte aos metadados do cartão do conjunto de dados:

tags:
- argilla

Declare um conjunto de dados de ambiente de RL

Um ambiente de RL é um repositório de dataset comum cujos arquivos podem ser consumidos por um ou mais frameworks de ambiente. Adicione a tag rl-environment para tornar o dataset descobrível com o filtro Ambientes de RL e, em seguida, adicione uma tag para cada framework suportado. As tags de framework também adicionam seus comandos gerados a Usar este dataset.

Por exemplo, um conjunto de dados contendo diretórios de tarefas do Harbor que também podem ser carregados por Verifiers usa este Dataset Card YAML:

---
pretty_name: Terminal-Bench 2.0
tags:
- rl-environment
- harbor
- verifiers
---

As tags de framework de ambiente suportadas são:

Essas tags descrevem a compatibilidade e geram comandos de carregamento. Elas não criam um novo tipo de repositório nem fazem com que o Hub execute o ambiente.