Hugging Face's logo

Datasets documentation

Métodos de carga

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v4.8.4).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Métodos de carga

Métodos para listar y cargar conjuntos de datos:

Conjuntos de datos

datasets.load_dataset

< >

( path: strname: typing.Optional[str] = Nonedata_dir: typing.Optional[str] = Nonedata_files: typing.Union[str, collections.abc.Sequence[str], collections.abc.Mapping[str, typing.Union[str, collections.abc.Sequence[str]]], NoneType] = Nonesplit: typing.Union[str, datasets.splits.Split, list[str], list[datasets.splits.Split], NoneType] = Nonecache_dir: typing.Optional[str] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonedownload_config: typing.Optional[datasets.download.download_config.DownloadConfig] = Nonedownload_mode: typing.Union[datasets.download.download_manager.DownloadMode, str, NoneType] = Noneverification_mode: typing.Union[datasets.utils.info_utils.VerificationMode, str, NoneType] = Nonekeep_in_memory: typing.Optional[bool] = Nonesave_infos: bool = Falserevision: typing.Union[datasets.utils.version.Version, str, NoneType] = Nonetoken: typing.Union[bool, str, NoneType] = Nonestreaming: bool = Falsenum_proc: typing.Optional[int] = Nonestorage_options: typing.Optional[dict] = None**config_kwargs ) → Dataset or DatasetDict

Parámetros

  • path (str) — Ruta o nombre del conjunto de datos. Si `path` es un repositorio de conjuntos de datos en el HF hub (puedes listar todos los conjuntos de datos disponibles con `huggingface_hub.list_datasets`) -> carga el conjunto de datos desde los archivos admitidos en el repositorio (csv, json, parquet, etc.), por ejemplo, 'username/dataset_name', un repositorio de conjuntos de datos en el HF hub que contiene los archivos de datos. Si `path` es un directorio dentro de un Storage Bucket en el HF Hub (puedes listar tus buckets con `huggingface_hub.list_buckets`) -> carga el conjunto de datos desde los archivos admitidos en el directorio (csv, json, parquet, etc.), por ejemplo, 'buckets/username/bucket_name/my_dataset'. Si `path` es un directorio local -> carga el conjunto de datos desde los archivos admitidos en el directorio (csv, json, parquet, etc.), por ejemplo, './path/to/directory/with/my/csv/data'. Si `path` es el nombre de un dataset builder y se especifica `data_files` o `data_dir` (los builders disponibles son “json”, “csv”, “parquet”, “arrow”, “text”, “xml”, “webdataset”, “imagefolder”, “audiofolder”, “videofolder”, “meshfolder”) -> carga el conjunto de datos desde los archivos en `data_files` o `data_dir`, por ejemplo, 'parquet'. Usa una ruta `hf://` como 'hf://datasets/username/dataset_name' para permitir solo remoto. Usa una ruta absoluta para permitir solo local.

    • si path es un repositorio de datos en el HF hub (lista todos los conjuntos de datos disponibles con huggingface_hub.list_datasets) -> carga el conjunto de datos desde los archivos admitidos en el repositorio (csv, json, parquet, etc.) p. ej. 'username/dataset_name', un repositorio de datos en el HF hub que contiene los archivos de datos.

    • si path es un directorio dentro de un Storage Bucket en HF Hub (lista tus buckets con huggingface_hub.list_buckets) -> carga el dataset desde archivos compatibles en el directorio (csv, json, parquet, etc.) p. ej. 'buckets/username/bucket_name/my_dataset'.

    • si path es un directorio local -> carga el conjunto de datos desde los archivos compatibles en el directorio (csv, json, parquet, etc.) p. ej. './path/to/directory/with/my/csv/data'.

    • si path es el nombre de un constructor de conjuntos de datos y se especifica data_files o data_dir (los constructores disponibles son “json”, “csv”, “parquet”, “arrow”, “text”, “xml”, “webdataset”, “imagefolder”, “audiofolder”, “videofolder”, “meshfolder”) -> cargar el conjunto de datos desde los archivos en data_files o data_dir p. ej. 'parquet'.

    Use a hf:// path like 'hf://datasets/username/dataset_name' to allow remote only. Use an absolute path to allow local only.

  • name (str, opcional) — Define el nombre de la configuración del conjunto de datos.
  • data_dir (str, opcional) — Define el data_dir de la configuración del conjunto de datos. Si se especifica para los constructores genéricos (csv, text, etc.) o para los conjuntos de datos del Hub y data_files es None, el comportamiento es igual al de pasar os.path.join(data_dir, **) como data_files para hacer referencia a todos los archivos de un directorio.
  • data_files (str o Sequence o Mapping, opcional) — Ruta(s) al(los) archivo(s) de datos de origen.
  • split (Split o str) — Qué división de los datos cargar. Si es None, devolverá un dict con todas las divisiones (típicamente datasets.Split.TRAIN y datasets.Split.TEST). Si se especifica, devolverá un único Dataset. Las divisiones pueden combinarse y especificarse como en tensorflow-datasets.
  • cache_dir (str, opcional) — Directorio para leer/escribir datos. El valor predeterminado es "~/.cache/huggingface/datasets".
  • features (Features, opcional) — Establece el tipo de características a usar para este conjunto de datos.
  • download_config (DownloadConfig, opcional) — Parámetros específicos de configuración de descarga.
  • download_mode (DownloadMode o str, por defecto REUSE_DATASET_IF_EXISTS) — Modo de descarga/generación.
  • verification_mode (VerificationMode o str, por defecto BASIC_CHECKS) — Modo de verificación que determina las comprobaciones a realizar en la información del dataset descargado/procesado (sumas de verificación/tamaño/divisiones/…).

    Añadido en 2.9.1

  • keep_in_memory (bool, por defecto None) — Si se debe copiar el conjunto de datos en memoria. Si es None, el conjunto de datos no se copiará en memoria a menos que se habilite explícitamente estableciendo datasets.config.IN_MEMORY_MAX_SIZE en un valor distinto de cero. Consulte más detalles en la sección mejorar el rendimiento.
  • revision (Version o str, opcional) — Versión del conjunto de datos a cargar. Dado que los conjuntos de datos tienen su propio repositorio git en el Datasets Hub, la versión predeterminada “main” corresponde a su rama “main”. Puede especificar una versión diferente a la predeterminada “main” utilizando un SHA de commit o una etiqueta git del repositorio del conjunto de datos.
  • token (str o bool, opcional) — Cadena o booleano opcional para usar como token Bearer para archivos remotos en el Datasets Hub. Si es True, o no se especifica, se obtendrá el token de "~/.huggingface".
  • streaming (bool, por defecto es False) — Si se establece en True, no se descargan los archivos de datos. En su lugar, los datos se transmiten de forma progresiva mientras se itera sobre el conjunto de datos. Un IterableDataset o IterableDatasetDict se devuelve en su lugar en este caso.

    Tenga en cuenta que el streaming funciona con conjuntos de datos que utilizan formatos de datos que admiten iteración, como txt, csv, jsonl, por ejemplo. Los archivos Json pueden descargarse por completo. También se admite el streaming desde archivos remotos zip o gzip, pero otros formatos comprimidos como rar y xz aún no son compatibles. El formato tgz no permite el streaming.

  • num_proc (int, opcional, por defecto None) — Número de procesos al descargar y generar el dataset localmente. La multiprocesación está deshabilitada por defecto.

    Añadido en 2.7.0

  • storage_options (dict, opcional, por defecto None) — Experimental. Pares clave/valor que se pasarán al backend del sistema de archivos del conjunto de datos, si lo hay.

    Añadido en 2.11.0

  • **config_kwargs (argumentos de palabra clave adicionales) — Argumentos de palabra clave que se pasarán a BuilderConfig y se usarán en DatasetBuilder.

Devuelve

Dataset o DatasetDict

  • si split no es None: el conjunto de datos solicitado,
  • si split es None, un DatasetDict con cada split.

o IterableDataset o IterableDatasetDict: si streaming=True

  • si split no es None, se solicita el conjunto de datos
  • si split es None, un ~datasets.streaming.IterableDatasetDict con cada split.

Carga un conjunto de datos desde el Hugging Face Hub o un conjunto de datos local.

Puedes encontrar la lista de conjuntos de datos en el Hub o con huggingface_hub.list_datasets.

Un conjunto de datos es un directorio que contiene algunos archivos de datos en formatos genéricos (JSON, CSV, Parquet, etc.) y posiblemente en una estructura genérica (Webdataset, ImageFolder, AudioFolder, VideoFolder, MeshFolder, etc.)

Esta función realiza lo siguiente por debajo:

  1. Cargar un constructor de conjuntos de datos:

    • Encuentra el formato de datos más común en el conjunto de datos y elige su constructor asociado (JSON, CSV, Parquet, Webdataset, ImageFolder, AudioFolder, MeshFolder, etc.)
    • Encuentra en qué división (p. ej., train/test) va cada archivo en función de los nombres de archivo y directorio o de la configuración YAML
    • También es posible especificar data_files manualmente y qué constructor de conjunto de datos se debe usar (p. ej., “parquet”).

  2. Ejecuta el constructor de conjuntos de datos:

    En el caso general:

    • Descargue los archivos de datos del conjunto de datos si no están disponibles localmente ni en caché.

    • Procesar y almacenar en caché el conjunto de datos en tablas Arrow tipadas para la caché.

      Las tablas Arrow son tablas tipadas de longitud arbitraria que pueden almacenar objetos anidados y mapearse a tipos genéricos de numpy/pandas/python. Se pueden acceder directamente desde el disco, cargarlas en RAM o incluso transmitirlas por la web.

    En el caso de streaming:

    • No descargue ni almacene en caché nada. En su lugar, el conjunto de datos se carga de forma perezosa y se transmitirá en tiempo real al iterar sobre él.

  3. Devuelve un conjunto de datos construido a partir de las divisiones solicitadas en split (predeterminado: todas).

Ejemplo:

Cargar un conjunto de datos desde el Hugging Face Hub:

>>> from datasets import load_dataset
>>> ds = load_dataset('cornell-movie-review-data/rotten_tomatoes', split='train')

# Load a subset or dataset configuration (here 'sst2')
>>> from datasets import load_dataset
>>> ds = load_dataset('nyu-mll/glue', 'sst2', split='train')

# Manual mapping of data files to splits
>>> data_files = {'train': 'train.csv', 'test': 'test.csv'}
>>> ds = load_dataset('namespace/your_dataset_name', data_files=data_files)

# Manual selection of a directory to load
>>> ds = load_dataset('namespace/your_dataset_name', data_dir='folder_name')

Cargar un conjunto de datos desde un Storage Bucket en el Hugging Face Hub:

>>> from datasets import load_dataset
>>> ds = load_dataset('buckets/username/bucket_name/rotten_tomatoes', split='train')

Cargar un conjunto de datos local:

# Load a CSV file
>>> from datasets import load_dataset
>>> ds = load_dataset('csv', data_files='path/to/local/my_dataset.csv')

# Load a JSON file
>>> from datasets import load_dataset
>>> ds = load_dataset('json', data_files='path/to/local/my_dataset.json')

Cargar un IterableDataset:

>>> from datasets import load_dataset
>>> ds = load_dataset('cornell-movie-review-data/rotten_tomatoes', split='train', streaming=True)

Carga un conjunto de datos de imágenes con el creador de conjuntos de datos ImageFolder:

>>> from datasets import load_dataset
>>> ds = load_dataset('imagefolder', data_dir='/path/to/images', split='train')

datasets.load_from_disk

< >

( dataset_path: typing.Union[str, bytes, os.PathLike]keep_in_memory: typing.Optional[bool] = Nonestorage_options: typing.Optional[dict] = None ) → Dataset or DatasetDict

Parámetros

  • dataset_path (path-like) — Ruta (p. ej. "dataset/train") o URI remoto (p. ej. "s3://my-bucket/dataset/train") del directorio de Dataset o DatasetDict desde donde se cargará el dataset/dataset-dict.
  • keep_in_memory (bool, por defecto None) — Si se debe copiar el conjunto de datos en memoria. Si es None, el conjunto de datos no se copiará en memoria a menos que se habilite explícitamente estableciendo datasets.config.IN_MEMORY_MAX_SIZE en un valor distinto de cero. Consulte más detalles en la sección mejorar el rendimiento.
  • storage_options (dict, opcional) — Pares clave/valor que se pasarán al backend del sistema de archivos, si lo hay.

    Añadido en 2.9.0

Devuelve

Dataset o DatasetDict

  • Si dataset_path es la ruta de un directorio de datos: el conjunto de datos solicitado.
  • Si dataset_path es la ruta de un directorio de diccionario de datos, un DatasetDict con cada división.

Carga un conjunto de datos que se guardó previamente con save_to_disk() desde un directorio de datos, o desde un sistema de archivos usando cualquier implementación de fsspec.spec.AbstractFileSystem.

Ejemplo:

>>> from datasets import load_from_disk
>>> ds = load_from_disk('path/to/dataset/directory')

datasets.load_dataset_builder

< >

( path: strname: typing.Optional[str] = Nonedata_dir: typing.Optional[str] = Nonedata_files: typing.Union[str, collections.abc.Sequence[str], collections.abc.Mapping[str, typing.Union[str, collections.abc.Sequence[str]]], NoneType] = Nonecache_dir: typing.Optional[str] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonedownload_config: typing.Optional[datasets.download.download_config.DownloadConfig] = Nonedownload_mode: typing.Union[datasets.download.download_manager.DownloadMode, str, NoneType] = Nonerevision: typing.Union[datasets.utils.version.Version, str, NoneType] = Nonetoken: typing.Union[bool, str, NoneType] = Nonestorage_options: typing.Optional[dict] = None**config_kwargs )

Parámetros

  • path (str) — Ruta o nombre del conjunto de datos. Si path es un repositorio de conjuntos de datos en el HF hub (puedes listar todos los conjuntos de datos disponibles con huggingface_hub.list_datasets) -> carga el dataset builder desde los archivos admitidos en el repositorio (csv, json, parquet, etc.), por ejemplo, 'username/dataset_name', un repositorio de conjuntos de datos en el HF hub que contiene los archivos de datos. Si path es un directorio dentro de un Storage Bucket en el HF Hub (puedes listar tus buckets con huggingface_hub.list_buckets) -> carga el conjunto de datos desde los archivos admitidos en el directorio (csv, json, parquet, etc.), por ejemplo, 'buckets/username/bucket_name/my_dataset'. Si path es un directorio local -> carga el dataset builder desde los archivos admitidos en el directorio (csv, json, parquet, etc.), por ejemplo, './path/to/directory/with/my/csv/data'. Si path es el nombre de un dataset builder y se especifica data_files o data_dir (los builders disponibles son “json”, “csv”, “parquet”, “arrow”, “text”, “xml”, “webdataset”, “imagefolder”, “audiofolder”, “videofolder”, “meshfolder”) -> carga el dataset builder desde los archivos en data_files o data_dir, por ejemplo, 'parquet'. Usa una ruta hf:// como 'hf://datasets/username/dataset_name' para permitir solo remoto. Usa una ruta absoluta para permitir solo local.

    • si path es un repositorio de datos en el HF hub (lista todos los conjuntos de datos disponibles con huggingface_hub.list_datasets) -> carga el constructor del conjunto de datos desde los archivos admitidos en el repositorio (csv, json, parquet, etc.) p. ej. 'username/dataset_name', un repositorio de datos en el HF hub que contiene los archivos de datos.

    • si path es un directorio dentro de un Storage Bucket en HF Hub (lista tus buckets con huggingface_hub.list_buckets) -> carga el dataset desde archivos compatibles en el directorio (csv, json, parquet, etc.) p. ej. 'buckets/username/bucket_name/my_dataset'.

    • si path es un directorio local -> carga el constructor del conjunto de datos desde los archivos admitidos en el directorio (csv, json, parquet, etc.) p. ej. './path/to/directory/with/my/csv/data'.

    • si path es el nombre de un constructor de conjuntos de datos y se especifica data_files o data_dir (los constructores disponibles son “json”, “csv”, “parquet”, “arrow”, “text”, “xml”, “webdataset”, “imagefolder”, “audiofolder”, “videofolder”, “meshfolder”) -> cargar el constructor del conjunto de datos desde los archivos en data_files o data_dir p. ej. 'parquet'.

    Use a hf:// path like 'hf://datasets/username/dataset_name' to allow remote only. Use an absolute path to allow local only.

  • name (str, opcional) — Define el nombre de la configuración del conjunto de datos.
  • data_dir (str, opcional) — Define el data_dir de la configuración del conjunto de datos. Si se especifica para los constructores genéricos (csv, text, etc.) o para los conjuntos de datos del Hub y data_files es None, el comportamiento es igual al de pasar os.path.join(data_dir, **) como data_files para hacer referencia a todos los archivos de un directorio.
  • data_files (str o Sequence o Mapping, opcional) — Ruta(s) al(los) archivo(s) de datos de origen.
  • cache_dir (str, opcional) — Directorio para leer/escribir datos. El valor predeterminado es "~/.cache/huggingface/datasets".
  • features (Features, opcional) — Establece el tipo de características que se utilizará para este conjunto de datos.
  • download_config (DownloadConfig, opcional) — Parámetros específicos de configuración de descarga.
  • download_mode (DownloadMode o str, por defecto REUSE_DATASET_IF_EXISTS) — Modo de descarga/generación.
  • revision (Version o str, opcional) — Versión del conjunto de datos a cargar. Dado que los conjuntos de datos tienen su propio repositorio git en el Datasets Hub, la versión predeterminada “main” corresponde a su rama “main”. Puede especificar una versión diferente a la predeterminada “main” utilizando un SHA de commit o una etiqueta git del repositorio del conjunto de datos.
  • token (str o bool, opcional) — Cadena o booleano opcional para usar como token Bearer para archivos remotos en el Datasets Hub. Si es True, o no se especifica, se obtendrá el token de "~/.huggingface".
  • storage_options (dict, opcional, por defecto None) — Experimental. Pares clave/valor que se pasarán al backend del sistema de archivos del conjunto de datos, si lo hay.

    Añadido en 2.11.0

  • **config_kwargs (argumentos de palabra clave adicionales) — Argumentos de palabra clave que se pasarán al BuilderConfig y se usarán en el DatasetBuilder.

Cargue un constructor de conjuntos de datos que se puede usar para:

  • Inspeccionar la información general necesaria para construir un conjunto de datos (directorio de caché, configuración, información del conjunto de datos, características, archivos de datos, etc.)
  • Descargue y prepare el conjunto de datos como archivos Arrow en la caché
  • Obtén un conjunto de datos de streaming sin descargar ni cachear nada

Puedes encontrar la lista de conjuntos de datos en el Hub o con huggingface_hub.list_datasets.

Un conjunto de datos es un directorio que contiene algunos archivos de datos en formatos genéricos (JSON, CSV, Parquet, etc.) y posiblemente en una estructura genérica (Webdataset, ImageFolder, AudioFolder, VideoFolder, MeshFolder, etc.)

Ejemplo:

>>> from datasets import load_dataset_builder
>>> ds_builder = load_dataset_builder('cornell-movie-review-data/rotten_tomatoes')
>>> ds_builder.info.features
{'label': ClassLabel(names=['neg', 'pos']),
 'text': Value('string')}

datasets.get_dataset_config_names

< >

( path: strrevision: typing.Union[datasets.utils.version.Version, str, NoneType] = Nonedownload_config: typing.Optional[datasets.download.download_config.DownloadConfig] = Nonedownload_mode: typing.Union[datasets.download.download_manager.DownloadMode, str, NoneType] = Nonedata_files: typing.Union[str, list, dict, NoneType] = None**download_kwargs )

Parámetros

  • path (str) — ruta al repositorio del conjunto de datos. Puede ser:
    • una ruta local al directorio del conjunto de datos que contiene los archivos de datos, por ejemplo, './dataset/squad'
    • un identificador de conjunto de datos en el Hugging Face Hub (lista todos los conjuntos de datos e ids disponibles con huggingface_hub.list_datasets), por ejemplo 'rajpurkar/squad', 'nyu-mll/glue' o`'openai/webtext'
  • revision (Union[str, datasets.Version], opcional) — Si se especifica, el módulo del conjunto de datos se cargará desde el repositorio de datasets en esta versión. Por defecto:
    • se establece en la versión local de la lib.
    • también intentará cargarlo desde la rama principal si no está disponible en la versión local de la lib. Especificar una versión diferente de la versión local de la lib podría causar problemas de compatibilidad.
  • download_config (DownloadConfig, opcional) — Parámetros específicos de configuración de descarga.
  • download_mode (DownloadMode o str, por defecto REUSE_DATASET_IF_EXISTS) — Modo de descarga/generación.
  • data_files (Union[Dict, List, str], opcional) — Define los data_files de la configuración del conjunto de datos.
  • **download_kwargs (argumentos de palabra clave adicionales) — Atributos opcionales para DownloadConfig que reemplazarán los atributos en download_config si se proporcionan, por ejemplo token.

Obtén la lista de nombres de configuración disponibles para un conjunto de datos en particular.

Ejemplo:

>>> from datasets import get_dataset_config_names
>>> get_dataset_config_names("nyu-mll/glue")
['cola',
 'sst2',
 'mrpc',
 'qqp',
 'stsb',
 'mnli',
 'mnli_mismatched',
 'mnli_matched',
 'qnli',
 'rte',
 'wnli',
 'ax']

datasets.get_dataset_infos

< >

( path: strdata_files: typing.Union[str, list, dict, NoneType] = Nonedownload_config: typing.Optional[datasets.download.download_config.DownloadConfig] = Nonedownload_mode: typing.Union[datasets.download.download_manager.DownloadMode, str, NoneType] = Nonerevision: typing.Union[datasets.utils.version.Version, str, NoneType] = Nonetoken: typing.Union[bool, str, NoneType] = None**config_kwargs )

Parámetros

  • path (str) — ruta al repositorio del conjunto de datos. Puede ser:
    • una ruta local al directorio del conjunto de datos que contiene los archivos de datos, por ejemplo, './dataset/squad'
    • un identificador de conjunto de datos en el Hugging Face Hub (lista todos los conjuntos de datos e ids disponibles con huggingface_hub.list_datasets), por ejemplo 'rajpurkar/squad', 'nyu-mll/glue' o`'openai/webtext'
  • revision (Union[str, datasets.Version], opcional) — Si se especifica, el módulo del conjunto de datos se cargará desde el repositorio de datasets en esta versión. Por defecto:
    • se establece en la versión local de la lib.
    • también intentará cargarlo desde la rama principal si no está disponible en la versión local de la lib. Especificar una versión diferente de la versión local de la lib podría causar problemas de compatibilidad.
  • download_config (DownloadConfig, opcional) — Parámetros específicos de configuración de descarga.
  • download_mode (DownloadMode o str, por defecto REUSE_DATASET_IF_EXISTS) — Modo de descarga/generación.
  • data_files (Union[Dict, List, str], opcional) — Define los data_files de la configuración del conjunto de datos.
  • token (str o bool, opcional) — Cadena o booleano opcional para usar como token Bearer para archivos remotos en el Datasets Hub. Si es True, o no se especifica, se obtendrá el token de "~/.huggingface".
  • **config_kwargs (argumentos de palabra clave adicionales) — Atributos opcionales para la clase de constructor que sobrescribirán los atributos si se proporcionan.

Obtén la metainformación sobre un conjunto de datos, devuelta como un diccionario que mapea el nombre de la configuración a DatasetInfoDict.

Ejemplo:

>>> from datasets import get_dataset_infos
>>> get_dataset_infos('cornell-movie-review-data/rotten_tomatoes')
{'default': DatasetInfo(description="Movie Review Dataset.
 is a dataset of containing 5,331 positive and 5,331 negative processed
ences from Rotten Tomatoes movie reviews...), ...}

datasets.get_dataset_split_names

< >

( path: strconfig_name: typing.Optional[str] = Nonedata_files: typing.Union[str, collections.abc.Sequence[str], collections.abc.Mapping[str, typing.Union[str, collections.abc.Sequence[str]]], NoneType] = Nonedownload_config: typing.Optional[datasets.download.download_config.DownloadConfig] = Nonedownload_mode: typing.Union[datasets.download.download_manager.DownloadMode, str, NoneType] = Nonerevision: typing.Union[datasets.utils.version.Version, str, NoneType] = Nonetoken: typing.Union[bool, str, NoneType] = None**config_kwargs )

Parámetros

  • path (str) — ruta al repositorio del conjunto de datos. Puede ser:
    • una ruta local al directorio del conjunto de datos que contiene los archivos de datos, por ejemplo, './dataset/squad'
    • un identificador de conjunto de datos en el Hugging Face Hub (lista todos los conjuntos de datos e ids disponibles con huggingface_hub.list_datasets), por ejemplo 'rajpurkar/squad', 'nyu-mll/glue' o`'openai/webtext'
  • config_name (str, opcional) — Define el nombre de la configuración del conjunto de datos.
  • data_files (str o Sequence o Mapping, opcional) — Ruta(s) al(los) archivo(s) de datos de origen.
  • download_config (DownloadConfig, opcional) — Parámetros específicos de configuración de descarga.
  • download_mode (DownloadMode o str, por defecto REUSE_DATASET_IF_EXISTS) — Modo de descarga/generación.
  • revision (Version o str, opcional) — Versión del conjunto de datos a cargar. Dado que los conjuntos de datos tienen su propio repositorio git en el Datasets Hub, la versión predeterminada “main” corresponde a su rama “main”. Puede especificar una versión diferente a la predeterminada “main” utilizando un SHA de commit o una etiqueta git del repositorio del conjunto de datos.
  • token (str o bool, opcional) — Cadena o booleano opcional para usar como token Bearer para archivos remotos en el Datasets Hub. Si es True, o no se especifica, se obtendrá el token de "~/.huggingface".
  • **config_kwargs (argumentos de palabra clave adicionales) — Atributos opcionales para la clase de constructor que sobrescribirán los atributos si se proporcionan.

Obtén la lista de divisiones disponibles para una configuración y un conjunto de datos específicos.

Ejemplo:

>>> from datasets import get_dataset_split_names
>>> get_dataset_split_names('cornell-movie-review-data/rotten_tomatoes')
['train', 'validation', 'test']

Desde archivos

Configuraciones utilizadas para cargar archivos de datos. Se usan al cargar archivos locales o un repositorio de conjuntos de datos:

  • archivos locales: load_dataset("parquet", data_dir="path/to/data/dir")
  • repositorio de datos: load_dataset("allenai/c4")

Puedes pasar argumentos a load_dataset para configurar la carga de datos. Por ejemplo, puedes especificar el parámetro sep para definir la CsvConfig que se utiliza para cargar los datos:

load_dataset("csv", data_dir="path/to/data/dir", sep="\t")

Texto

clase datasets.packaged_modules.text.TextConfig

< >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Noneencoding: str = 'utf-8'encoding_errors: typing.Optional[str] = Nonechunksize: int = 10485760keep_linebreaks: bool = Falsesample_by: typing.Literal['line', 'paragraph', 'document'] = 'line' )

Parámetros

  • features — (Features, opcional): Convierte los datos a features.
  • encoding — (str, por defecto “utf-8”): Codificación para decodificar el archivo.
  • encoding_errors — (str, opcional): Argumento para definir qué hacer en caso de error de codificación. Es lo mismo que el argumento error en open().
  • chunksize — (Features, opcional, valor predeterminado “10MB”): Tamaño de bloque para leer los datos.
  • keep_linebreaks — (bool, por defecto False): Si se conservan los saltos de línea.
  • sample_by (Literal["line", "paragraph", "document"], por defecto “line”) — Si se cargan los datos por línea, párrafo o documento. Por defecto, una fila en el conjunto de datos = una línea.

BuilderConfig para archivos de texto.

clase datasets.packaged_modules.text.Text

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

CSV

clase datasets.packaged_modules.csv.CsvConfig

< >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = Nonesep: str = ','delimiter: typing.Optional[str] = Noneheader: typing.Union[int, list[int], str, NoneType] = 'infer'names: typing.Optional[list[str]] = Nonecolumn_names: typing.Optional[list[str]] = Noneindex_col: typing.Union[int, str, list[int], list[str], NoneType] = Noneusecols: typing.Union[list[int], list[str], NoneType] = Noneprefix: typing.Optional[str] = Nonemangle_dupe_cols: bool = Trueengine: typing.Optional[typing.Literal['c', 'python', 'pyarrow']] = Noneconverters: dict = Nonetrue_values: typing.Optional[list] = Nonefalse_values: typing.Optional[list] = Noneskipinitialspace: bool = Falseskiprows: typing.Union[int, list[int], NoneType] = Nonenrows: typing.Optional[int] = Nonena_values: typing.Union[str, list[str], NoneType] = Nonekeep_default_na: bool = Truena_filter: bool = Trueverbose: bool = Falseskip_blank_lines: bool = Truethousands: typing.Optional[str] = Nonedecimal: str = '.'lineterminator: typing.Optional[str] = Nonequotechar: str = '"'quoting: int = 0escapechar: typing.Optional[str] = Nonecomment: typing.Optional[str] = Noneencoding: typing.Optional[str] = Nonedialect: typing.Optional[str] = Noneerror_bad_lines: bool = Truewarn_bad_lines: bool = Trueskipfooter: int = 0doublequote: bool = Truememory_map: bool = Falsefloat_precision: typing.Optional[str] = Nonechunksize: int = 10000features: typing.Optional[datasets.features.features.Features] = Noneencoding_errors: typing.Optional[str] = 'strict'on_bad_lines: typing.Literal['error', 'warn', 'skip'] = 'error'date_format: typing.Optional[str] = None )

BuilderConfig para CSV.

clase datasets.packaged_modules.csv.Csv

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

JSON

clase datasets.packaged_modules.json.JsonConfig

< >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Noneencoding: str = 'utf-8'encoding_errors: typing.Optional[str] = Nonefield: typing.Optional[str] = Noneuse_threads: bool = Trueblock_size: typing.Optional[int] = Nonechunksize: int = 10485760newlines_in_values: typing.Optional[bool] = Noneon_mixed_types: typing.Optional[typing.Literal['use_json']] = 'use_json'parse_agent_traces: bool = True )

BuilderConfig para JSON.

clase datasets.Json

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

XML

clase datasets.packaged_modules.xml.XmlConfig

< >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Noneencoding: str = 'utf-8'encoding_errors: typing.Optional[str] = None )

BuilderConfig para archivos xml.

clase datasets.packaged_modules.xml.Xml

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

Parquet

clase datasets.packaged_modules.parquet.ParquetConfig

< >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = Nonebatch_size: typing.Optional[int] = Nonecolumns: typing.Optional[list[str]] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonefilters: typing.Union[pyarrow._compute.Expression, list[tuple], list[list[tuple]], NoneType] = Nonefragment_scan_options: typing.Optional[pyarrow._dataset_parquet.ParquetFragmentScanOptions] = Noneon_bad_files: typing.Literal['error', 'warn', 'skip'] = 'error' )

Parámetros

  • batch_size (int, opcional) — Tamaño de los RecordBatches sobre los que se itera. El valor predeterminado es el tamaño del grupo de filas (definido por el primer grupo de filas).
  • columns (list[str], opcional) — Lista de columnas para cargar; las demás se ignoran. Por defecto, se cargan todas las columnas.
  • features — (Features, opcional): Convierte los datos a features.
  • filters (Union[pyarrow.dataset.Expression, list[tuple], list[list[tuple]]], opcional) — Devuelve solo las filas que coinciden con el filtro. Si es posible, el predicado se delega para aprovechar la información de partición o los metadatos internos encontrados en la fuente de datos, p. ej. las estadísticas de Parquet. En caso contrario, filtra los RecordBatches cargados antes de devolverlos.
  • fragment_scan_options (pyarrow.dataset.ParquetFragmentScanOptions, opcional) — Opciones específicas de escaneo para fragmentos Parquet. Esto es especialmente útil para configurar el almacenamiento en búfer y la caché.

    Añadido en 4.2.0

  • on_bad_files (Literal["error", "warn", "skip"], opcional, el valor predeterminado es “error”) — Especifica qué hacer al encontrar un archivo defectuoso (un archivo que no se puede leer). Los valores permitidos son:
    • ‘error’, lanza una Exception cuando se encuentra un archivo incorrecto.
    • ‘warn’, emitir una advertencia cuando se encuentra un archivo incorrecto y omitir ese archivo.
    • ‘skip’, omite los archivos defectuosos sin lanzar excepciones ni emitir advertencias cuando se encuentran.

    Añadido en 4.2.0

BuilderConfig para Parquet.

Ejemplo:

Cargar un subconjunto de columnas:

>>> ds = load_dataset(parquet_dataset_id, columns=["col_0", "col_1"])

Transmita datos y filtre datos de manera eficiente, posiblemente omitiendo archivos completos o grupos de filas:

>>> filters = [("col_0", "==", 0)]
>>> ds = load_dataset(parquet_dataset_id, streaming=True, filters=filters)

Aumente el tamaño mínimo de solicitud al transmitir de 32MiB (predeterminado) a 128MiB y active la preobtención:

>>> import pyarrow
>>> import pyarrow.dataset
>>> fragment_scan_options = pyarrow.dataset.ParquetFragmentScanOptions(
...     cache_options=pyarrow.CacheOptions(
...         prefetch_limit=1,
...         range_size_limit=128 << 20
...     ),
... )
>>> ds = load_dataset(parquet_dataset_id, streaming=True, fragment_scan_options=fragment_scan_options)

clase datasets.packaged_modules.parquet.Parquet

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

Arrow

clase datasets.packaged_modules.arrow.ArrowConfig

< >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = Nonefeatures: typing.Optional[datasets.features.features.Features] = None )

BuilderConfig para Arrow.

clase datasets.packaged_modules.arrow.Arrow

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

Vortex

clase datasets.packaged_modules.vortex.VortexConfig

< >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = Nonebatch_size: typing.Optional[int] = Nonecolumns: typing.Optional[list[str]] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonefilters: typing.Union[ForwardRef('vortex.expr.Expr'), list[tuple], list[list[tuple]], NoneType] = Noneon_bad_files: typing.Literal['error', 'warn', 'skip'] = 'error' )

Parámetros

  • batch_size (int, opcional) — Tamaño de los RecordBatches sobre los que iterar. El valor predeterminado lo define el escáner de Vortex.
  • columns (list[str], opcional) — Lista de columnas para cargar; las demás se ignoran. Por defecto, se cargan todas las columnas.
  • features — (Features, opcional): Convierte los datos a features.
  • filters (Union[vortex.expr.Expr, list[tuple], list[list[tuple]]], opcional) — Devuelve solo las filas que coinciden con el filtro. El predicado se empuja hacia el escaneo de Vortex para que solo se lean las filas coincidentes. Los filtros dados como una lista de tuplas (DNF, como acepta el cargador de Parquet) se convierten en una expresión de Vortex. Los valores nulos siguen la semántica de SQL: un nulo no satisface ninguna comparación, por lo que una fila cuya columna filtrada es nula nunca se devuelve. Tenga en cuenta que not in descarta los nulos, mientras que el cargador de Parquet los conserva porque construye ~field.isin(values) y un nulo no está en el conjunto.
  • on_bad_files (Literal["error", "warn", "skip"], opcional, el valor predeterminado es “error”) — Especifica qué hacer al encontrar un archivo defectuoso (un archivo que no se puede leer). Los valores permitidos son:
    • ‘error’, lanza una Exception cuando se encuentra un archivo incorrecto.
    • ‘warn’, emitir una advertencia cuando se encuentra un archivo incorrecto y omitir ese archivo.
    • ‘skip’, omite los archivos defectuosos sin lanzar excepciones ni emitir advertencias cuando se encuentran.

BuilderConfig para Vortex.

Ejemplo:

Cargar un subconjunto de columnas:

>>> ds = load_dataset(vortex_dataset_id, columns=["col_0", "col_1"])

Transmita datos y filtre los datos de manera eficiente, omitiendo archivos o fragmentos completos cuando sea posible:

>>> filters = [("col_0", "==", 0)]
>>> ds = load_dataset(vortex_dataset_id, streaming=True, filters=filters)

clase datasets.packaged_modules.vortex.Vortex

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

SQL

clase datasets.packaged_modules.sql.SqlConfig

< >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = Nonesql: typing.Union[str, ForwardRef('sqlalchemy.sql.Selectable')] = Nonecon: typing.Union[str, ForwardRef('sqlalchemy.engine.Connection'), ForwardRef('sqlalchemy.engine.Engine'), ForwardRef('sqlite3.Connection')] = Noneindex_col: typing.Union[str, list[str], NoneType] = Nonecoerce_float: bool = Trueparams: typing.Union[list, tuple, dict, NoneType] = Noneparse_dates: typing.Union[list, dict, NoneType] = Nonecolumns: typing.Optional[list[str]] = Nonechunksize: typing.Optional[int] = 10000features: typing.Optional[datasets.features.features.Features] = None )

BuilderConfig para SQL.

clase datasets.packaged_modules.sql.Sql

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

Imágenes

clase datasets.packaged_modules.imagefolder.ImageFolderConfig

< >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonedrop_labels: bool = Nonedrop_metadata: bool = Nonemetadata_filenames: list = Nonefilters: typing.Union[pyarrow._compute.Expression, list[tuple], list[list[tuple]], NoneType] = Nonedecode_num_threads: int = 32 )

BuilderConfig para ImageFolder.

clase datasets.packaged_modules.imagefolder.ImageFolder

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

Audio

clase datasets.packaged_modules.audiofolder.AudioFolderConfig

< >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonedrop_labels: bool = Nonedrop_metadata: bool = Nonemetadata_filenames: list = Nonefilters: typing.Union[pyarrow._compute.Expression, list[tuple], list[list[tuple]], NoneType] = Nonedecode_num_threads: int = 32 )

Configuración del constructor para AudioFolder.

clase datasets.packaged_modules.audiofolder.AudioFolder

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

Videos

clase datasets.packaged_modules.videofolder.VideoFolderConfig

< >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonedrop_labels: bool = Nonedrop_metadata: bool = Nonemetadata_filenames: list = Nonefilters: typing.Union[pyarrow._compute.Expression, list[tuple], list[list[tuple]], NoneType] = Nonedecode_num_threads: int = 32 )

BuilderConfig para ImageFolder.

clase datasets.packaged_modules.videofolder.VideoFolder

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

HDF5

clase datasets.packaged_modules.hdf5.HDF5Config

< >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = Nonebatch_size: typing.Optional[int] = Nonefeatures: typing.Optional[datasets.features.features.Features] = None )

BuilderConfig para HDF5.

clase datasets.packaged_modules.hdf5.HDF5

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

ArrowBasedBuilder que convierte archivos HDF5 en tablas Arrow usando los tipos de extensión de HF.

TsFile

clase datasets.packaged_modules.tsfile.TsFileConfig

< >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = Nonetable_name: Optional[str] = Nonecolumns: Optional[list[str]] = Nonestart_time: Optional[Any] = Noneend_time: Optional[Any] = Noneinput_batch_size: int = 65536output_batch_size: int = 32features: Optional[datasets.Features] = Noneon_bad_files: Literal['error', 'warn', 'skip'] = 'error'timestamp_unit: Literal['s', 'ms', 'us', 'ns'] = 'ms'timestamp_tz: Optional[str] = None )

Parámetros

  • table_name (str, opcional) — Nombre de la tabla que se va a leer. Si no se establece, se utiliza la primera tabla encontrada en el primer archivo válido. Las búsquedas no distinguen entre mayúsculas y minúsculas.
  • columns (list[str], opcional) — Subconjunto de columnas FIELD a conservar. Las columnas TAG y la columna TIME se devuelven siempre (identifican el dispositivo / su línea temporal y no se pueden excluir). Los nombres que se refieren a columnas TAG o TIME, o a campos ausentes en todos los archivos, se resuelven silenciosamente: los TAG/TIME se emiten como de costumbre, y los campos nunca vistos se convierten en columnas de lista con todos los valores nulos. Si no se establece, se devuelven todos los FIELD.
  • start_time, end_time (datetime, date, pa.TimestampScalar, str ISO-8601 o int, opcional) — Rango de marcas de tiempo inclusivo. Se puede omitir cualquiera de los límites. Los valores de datetime se toman en su propia zona horaria (UTC si son ingenuos); int se interpreta como una época bruta en timestamp_unit.
  • input_batch_size (int, opcional, valor predeterminado 65_536) — Número máximo de filas obtenidas por lote de Arrow desde TsFileReader.query_table. Controla la memoria máxima durante la transmisión de un solo dispositivo.
  • output_batch_size (int, opcional, valor predeterminado 32) — Número de dispositivos (filas del conjunto de datos de salida) empaquetados en cada lote de registros Arrow entregado al escritor. También es la granularidad con la que avanza la barra de progreso del conjunto de datos; los valores más pequeños ofrecen una retroalimentación más receptiva en lecturas lentas por dispositivo, mientras que los más grandes reducen la sobrecarga por lote.
  • features (Features, opcional) — Esquema final de Features. Si se proporciona, se omite el análisis de metadatos sobre los archivos de entrada.
  • on_bad_files (Literal[“error”, “warn”, “skip”], opcional, predeterminado a “error”) — Qué hacer si un archivo no se puede abrir o carece de la tabla solicitada.
  • timestamp_unit (Literal[“s”, “ms”, “us”, “ns”], opcional, predeterminado a “ms”) — Unidad de tiempo para la columna de marca de tiempo. IoTDB usa milisegundos de forma predeterminada.
  • timestamp_tz (str, opcional) — Zona horaria para la columna de marca de tiempo. None significa sin zona horaria.

BuilderConfig para TsFile (modelo de tabla) — formato ancho por dispositivo.

clase datasets.packaged_modules.tsfile.TsFile

< >

( *args**kwargs )

Constructor de formato ancho por dispositivo para TsFile (modelo de tabla).

Pdf

clase datasets.packaged_modules.pdffolder.PdfFolderConfig

< >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonedrop_labels: bool = Nonedrop_metadata: bool = Nonemetadata_filenames: list = Nonefilters: typing.Union[pyarrow._compute.Expression, list[tuple], list[list[tuple]], NoneType] = Nonedecode_num_threads: int = 32 )

BuilderConfig para ImageFolder.

clase datasets.packaged_modules.pdffolder.PdfFolder

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

Nifti

clase datasets.packaged_modules.niftifolder.NiftiFolderConfig

< >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonedrop_labels: bool = Nonedrop_metadata: bool = Nonemetadata_filenames: list = Nonefilters: typing.Union[pyarrow._compute.Expression, list[tuple], list[list[tuple]], NoneType] = Nonedecode_num_threads: int = 32 )

BuilderConfig para NiftiFolder.

clase datasets.packaged_modules.niftifolder.NiftiFolder

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

WebDataset

clase datasets.packaged_modules.webdataset.WebDataset

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

Harbor

clase datasets.packaged_modules.harbor.HarborConfig

< >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonestrip_canary: bool = Trueinclude_files: bool = True )

Parámetros

  • features (Features, opcional) — Establece las características utilizadas para convertir las filas generadas. De forma predeterminada, se utilizan las características de una tarea de Harbor (ver Harbor).
  • strip_canary (bool, opcional, valor predeterminado True) — Elimina las líneas de comentario iniciales de “canary de datos de referencia” de instruction.md y de las instrucciones de los pasos, tal como lo hace Harbor cuando las envía a un agente.
  • include_files (bool, opcional, valor predeterminado True) — Lista todos los archivos de cada tarea (environment/, tests/, solution/…) en la columna files. Establézcalo en False para omitir la lista de los directorios de la tarea, lo cual es más rápido cuando el conjunto de datos está en un sistema de archivos remoto.

BuilderConfig para repositorios de tareas de Harbor.

clase datasets.packaged_modules.harbor.Harbor

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

Constructor para repositorios de tareas de Harbor: una fila por directorio de tareas.

Genera las siguientes características:

  • name (str) — nombre de la tarea, como org/name en [task].name de task.toml, o el nombre del directorio de la tarea cuando task.toml no tiene una sección [task].
  • description (str) — [task].description de task.toml.
  • instruction (str) — contenido de instruction.md.
  • keywords (list de str) — [task].keywords de task.toml.
  • schema_version (str) — schema_version declarado por task.toml.
  • config (dict) — el task.toml completo, como un objeto JSON.
  • metadata (dict) — la sección libre [metadata] de task.toml.
  • archivos (list de str) — todos los archivos de la tarea, relativos al directorio de la tarea.
  • location (str) — ruta del directorio de la tarea, relativa a la raíz del conjunto de datos.
Update on GitHub

←Clases de constructor Clases de tabla→