Datasets documentation
Cargar datos de texto
Cargar datos de texto
Esta guía te muestra cómo cargar conjuntos de datos de texto. Para aprender a cargar cualquier tipo de conjunto de datos, consulta la guía general de carga.
Los archivos de texto son uno de los tipos de archivo más comunes para almacenar un conjunto de datos. De forma predeterminada, 🤗 Datasets muestrea un archivo de texto línea por línea para construir el conjunto de datos.
>>> from datasets import load_dataset
>>> dataset = load_dataset("text", data_files={"train": ["my_text_1.txt", "my_text_2.txt"], "test": "my_test_file.txt"})
# Load from a directory
>>> dataset = load_dataset("text", data_dir="path/to/text/dataset")Para muestrear un archivo de texto por párrafo o incluso un documento completo, use el parámetro sample_by:
# Sample by paragraph
>>> dataset = load_dataset("text", data_files={"train": "my_train_file.txt", "test": "my_test_file.txt"}, sample_by="paragraph")
# Sample by document
>>> dataset = load_dataset("text", data_files={"train": "my_train_file.txt", "test": "my_test_file.txt"}, sample_by="document")También puede usar patrones de grep para cargar archivos específicos:
>>> from datasets import load_dataset
>>> c4_subset = load_dataset("allenai/c4", data_files="en/c4-train.0000*-of-01024.json.gz")Para cargar archivos de texto remotos a través de HTTP, pase las URL en su lugar:
>>> dataset = load_dataset("text", data_files="https://huggingface.co/datasets/hf-internal-testing/dataset_with_data_files/resolve/main/data/train.txt")Para cargar datos XML puedes usar el cargador “xml”, que es equivalente a “text” con sample_by=“document”:
>>> from datasets import load_dataset
>>> dataset = load_dataset("xml", data_files={"train": ["my_xml_1.xml", "my_xml_2.xml"], "test": "my_xml_file.xml"})
# Load from a directory
>>> dataset = load_dataset("xml", data_dir="path/to/xml/dataset")