# テキストデータの読み込み

このガイドでは、テキストデータセットの読み込み方法を示します。あらゆる種類のデータセットの読み込み方法については、一般的な読み込みガイドをご覧ください。

テキストファイルは、データセットを保存するための最も一般的なファイル形式の一つです。デフォルトでは、🤗 Datasets はテキストファイルを1行ずつサンプリングしてデータセットを構築します。

```py
>>> from datasets import load_dataset
>>> dataset = load_dataset("text", data_files={"train": ["my_text_1.txt", "my_text_2.txt"], "test": "my_test_file.txt"})

# Load from a directory
>>> dataset = load_dataset("text", data_dir="path/to/text/dataset")
```

段落単位、あるいは文書全体でテキストファイルをサンプリングするには、`sample_by`パラメータを使用します。

```py
# Sample by paragraph
>>> dataset = load_dataset("text", data_files={"train": "my_train_file.txt", "test": "my_test_file.txt"}, sample_by="paragraph")

# Sample by document
>>> dataset = load_dataset("text", data_files={"train": "my_train_file.txt", "test": "my_test_file.txt"}, sample_by="document")
```

grepパターンを使用して特定のファイルを読み込むこともできます:

```py
>>> from datasets import load_dataset
>>> c4_subset = load_dataset("allenai/c4", data_files="en/c4-train.0000*-of-01024.json.gz")
```

HTTP経由でリモートのテキストファイルを読み込むには、代わりにURLを渡します:

```py
>>> dataset = load_dataset("text", data_files="https://huggingface.co/datasets/hf-internal-testing/dataset_with_data_files/resolve/main/data/train.txt")
```

To load XML data you can use the "xml" loader, which is equivalent to "text" with sample_by="document":

```py
>>> from datasets import load_dataset
>>> dataset = load_dataset("xml", data_files={"train": ["my_xml_1.xml", "my_xml_2.xml"], "test": "my_xml_file.xml"})

# Load from a directory
>>> dataset = load_dataset("xml", data_dir="path/to/xml/dataset")
```

