Daft

Daft — это высокопроизводительный движок данных, обеспечивающий простую и надёжную обработку данных любого типа и масштаба. Daft поддерживает нативное чтение и запись в наборы данных Hugging Face.

Начало работы

Для начала установите daft через pip с функцией huggingface:

pip install 'daft[huggingface]'

Читать

Daft позволяет читать наборы данных непосредственно из Hugging Face Hub с помощью функции daft.read_huggingface() или через протокол hf://datasets/.

Чтение всего набора данных

С помощью daft.read_huggingface() можно легко загрузить набор данных.

import daft

df = daft.read_huggingface("username/dataset_name")

Это загрузит весь набор данных в DataFrame.

Чтение конкретных файлов

Вы можете не только читать целые наборы данных, но и отдельные файлы из репозитория набора данных. Используя функцию чтения, которая принимает путь (например, daft.read_parquet(), daft.read_csv() или daft.read_json()), укажите путь к набору данных Hugging Face с помощью префикса hf://datasets/:

import daft

# read a specific Parquet file
df = daft.read_parquet("hf://datasets/username/dataset_name/file_name.parquet")

# or a csv file
df = daft.read_csv("hf://datasets/username/dataset_name/file_name.csv")

# or a set of Parquet files using a glob pattern
df = daft.read_parquet("hf://datasets/username/dataset_name/**/*.parquet")

Запись

Daft позволяет записывать файлы Parquet в репозиторий датасета Hugging Face с помощью daft.DataFrame.write_huggingface. Daft поддерживает Content-Defined Chunking и Xet для более быстрого дедуплицированного写入.

Базовое использование:

import daft

df: daft.DataFrame = ...

df.write_huggingface("username/dataset_name")

Подробнее см. на странице API DataFrame.write_huggingface.

Аутентификация

Параметр token в daft.io.HuggingFaceConfig можно использовать для указания токена доступа Hugging Face для запросов, требующих аутентификации (например, для чтения частных репозиториев датасетов или записи в репозиторий датасета).

Пример загрузки набора данных с указанным токеном:

from daft.io import IOConfig, HuggingFaceConfig

io_config = IOConfig(hf=HuggingFaceConfig(token="your_token"))
df = daft.read_parquet("hf://datasets/username/dataset_name", io_config=io_config)