Cargar un conjunto de datos desde el Hub

Encontrar conjuntos de datos de alta calidad que sean reproducibles y accesibles puede ser difícil. Uno de los objetivos principales de 🤗 Datasets es ofrecer una forma sencilla de cargar un conjunto de datos de cualquier formato o tipo. La forma más fácil de empezar es descubrir un conjunto de datos existente en el Hugging Face Hub, una colección de conjuntos de datos impulsada por la comunidad para tareas de NLP, visión por computadora y audio, y usar 🤗 Datasets para descargarlo y generarlo.

Este tutorial utiliza los conjuntos de datos rotten_tomatoes y MInDS-14, pero puedes cargar el que prefieras y seguir el proceso. Ve ahora al Hub y busca un conjunto de datos para tu tarea.

Cargar un conjunto de datos

Antes de dedicar tiempo a descargar un conjunto de datos, suele ser útil obtener rápidamente información general sobre él. La información de un conjunto de datos se almacena dentro de DatasetInfo y puede incluir detalles como la descripción del conjunto de datos, las características y el tamaño del conjunto de datos.

Use la función load_dataset_builder() para cargar un constructor de conjuntos de datos e inspeccionar los atributos de un conjunto de datos sin comprometerse a descargarlo:

>>> from datasets import load_dataset_builder
>>> ds_builder = load_dataset_builder("cornell-movie-review-data/rotten_tomatoes")

# Inspect dataset description
>>> ds_builder.info.description
Movie Review Dataset. This is a dataset of containing 5,331 positive and 5,331 negative processed sentences from Rotten Tomatoes movie reviews. This data was first used in Bo Pang and Lillian Lee, ``Seeing stars: Exploiting class relationships for sentiment categorization with respect to rating scales.'', Proceedings of the ACL, 2005.

# Inspect dataset features
>>> ds_builder.info.features
{'label': ClassLabel(names=['neg', 'pos']),
 'text': Value('string')}

Si el conjunto de datos te parece adecuado, cárgalo con load_dataset():

>>> from datasets import load_dataset

>>> dataset = load_dataset("cornell-movie-review-data/rotten_tomatoes", split="train")

Divisiones

Un split es un subconjunto específico de un conjunto de datos, como train y test. Enumera los nombres de los splits de un conjunto de datos con la función get_dataset_split_names():

>>> from datasets import get_dataset_split_names

>>> get_dataset_split_names("cornell-movie-review-data/rotten_tomatoes")
['train', 'validation', 'test']

Luego puedes cargar una división específica con el parámetro split. Cargar una split de un conjunto de datos devuelve un objeto Dataset:

>>> from datasets import load_dataset

>>> dataset = load_dataset("cornell-movie-review-data/rotten_tomatoes", split="train")
>>> dataset
Dataset({
    features: ['text', 'label'],
    num_rows: 8530
})

Si no especificas un split, 🤗 Datasets devuelve un objeto DatasetDict en su lugar:

>>> from datasets import load_dataset

>>> dataset = load_dataset("cornell-movie-review-data/rotten_tomatoes")
DatasetDict({
    train: Dataset({
        features: ['text', 'label'],
        num_rows: 8530
    })
    validation: Dataset({
        features: ['text', 'label'],
        num_rows: 1066
    })
    test: Dataset({
        features: ['text', 'label'],
        num_rows: 1066
    })
})

Configuraciones

Algunos conjuntos de datos contienen varios subconjuntos. Por ejemplo, el conjunto de datos MInDS-14 tiene varios subconjuntos, cada uno con datos de audio en un idioma diferente. Estos subconjuntos se conocen como configuraciones o subconjuntos, y debes seleccionar uno explícitamente al cargar el conjunto de datos. Si no proporcionas un nombre de configuración, 🤗 Datasets lanzará un ValueError y te recordará que elijas una configuración.

Use la función get_dataset_config_names() para obtener una lista de todas las configuraciones posibles disponibles para su conjunto de datos:

>>> from datasets import get_dataset_config_names

>>> configs = get_dataset_config_names("PolyAI/minds14")
>>> print(configs)
['cs-CZ', 'de-DE', 'en-AU', 'en-GB', 'en-US', 'es-ES', 'fr-FR', 'it-IT', 'ko-KR', 'nl-NL', 'pl-PL', 'pt-PT', 'ru-RU', 'zh-CN', 'all']

Luego, cargue la configuración que desee:

>>> from datasets import load_dataset

>>> mindsFR = load_dataset("PolyAI/minds14", "fr-FR", split="train")