このモデルは2024年8月30日にHF papersで公開され、2025年8月15日にHugging Face Transformersに貢献されました。

X-Codec

概要

X-Codecモデルは、Zhen Ye、Peiwen Sun、Jiahe Lei、Hongzhan Lin、Xu Tan、Zheqi Dai、Qiuqiang Kong、Jianyi Chen、Jiahao Pan、Qifeng Liu、Yike Guo、Wei Xue による Codec Does Matter: Exploring the Semantic Shortcoming of Codec for Audio Language Model で提案されました。

X-Codecモデルは、自己教師ありモデル（例：HuBERT）からの意味情報と従来の音響情報を統合したニューラルオーディオコーデックです。これにより、以下が可能になります。

• 音楽の継続生成: 音楽的意味のモデリングが向上することで、より一貫性のある継続生成が可能になります。
• テキストからサウンドを合成: X-Codec は、テキストプロンプトと生成されたオーディオの間の意味的な整合性を捉えます。
• セマンティック認識型オーディオトークナイズ: X-Codec は、YuE の歌詞から楽曲を生成するモデルにおいて、オーディオトークナイザーとして使用されています。

この論文の要旨には、次のように記載されています。

音声生成における最近の進歩は、大規模言語モデル（LLM）の能力によって大きく後押しされてきました。既存の音声LLMに関する研究は、主に音声言語モデルのアーキテクチャと規模の向上、およびより大規模なデータセットの活用に取り組んできおり、一般的にはEnCodecのような音響コーデックが音声のトークン化に使用されています。しかし、これらのコーデックは元々音声圧縮のために設計されており、音声LLMの文脈では最適でないパフォーマンスにつながる可能性があります。本研究では、現在の音声LLMコーデックの欠点、特に生成された音声における意味的一貫性の維持に関する課題に対処することを目的としています。例えば、VALL-Eのような既存の方法は、テキストの文字起こしを条件として音響トークンの生成を行うため、音響トークンの意味的誤解釈により、内容の不正確さや単語誤り率（WER）の上昇、すなわち単語のスキップや誤りが生じることがよくあります。これらの問題を克服するために、X-Codecと呼ばれるシンプルかつ効果的なアプローチを提案します。X-Codecは、Residual Vector Quantization（RVQ）ステージの前に事前学習された意味エンコーダーの意味的特徴を取り入れ、RVQの後に意味再構成損失を導入します。コーデックの意味的処理能力を強化することで、X-Codecは音声合成タスクにおけるWERを大幅に削減し、音楽やサウンド生成を含む非音声アプリケーションにもこれらの利点を拡張します。テキストから音声への変換、音楽の継続生成、テキストからサウンドへの変換タスクにおける実験により、意味情報の統合が音声生成における言語モデルの全体パフォーマンスを大幅に向上させることが示されました。

モデルカード:

• xcodec-hubert-librispeech（音声用）
• xcodec-wavlm-mls(音声用)
• xcodec-wavlm-more-data（音声用）
• xcodec-hubert-general（一般的な音声用）
• xcodec-hubert-general-balanced（一般的な音声向け）

このモデルは Manal El Aidouni によって提供されました。元のコードは こちら で、5つの異なるモデルの元のチェックポイントは こちら で確認できます。

デモはこのページで確認できます。

使用例

このモデルを使用してオーディオをエンコードおよびデコードする簡単な例を以下に示します。

from datasets import Audio, load_dataset

from transformers import AutoFeatureExtractor, XcodecModel


dummy_dataset = load_dataset("hf-internal-testing/librispeech_asr_dummy", "clean", split="validation")

# load model and feature extractor
model_id = "hf-audio/xcodec-hubert-librispeech"
model = XcodecModel.from_pretrained(model_id, device_map="auto")
feature_extractor = AutoFeatureExtractor.from_pretrained(model_id)

# load audio sample
dummy_dataset = dummy_dataset.cast_column("audio", Audio(sampling_rate=feature_extractor.sampling_rate))
audio_sample = dummy_dataset[-1]["audio"]["array"]
inputs = feature_extractor(raw_audio=audio_sample, sampling_rate=feature_extractor.sampling_rate, return_tensors="pt").to(model.device)

# encode and decode
encoder_outputs = model.encode(inputs["input_values"])
decoder_outputs = model.decode(encoder_outputs.audio_codes)
audio_values = decoder_outputs.audio_values

# or the equivalent with a forward pass
audio_values = model(inputs["input_values"]).audio_values

元の音声と再構成された音声を聴くには、以下のスニペットを実行し、生成されたoriginal.wavとreconstruction.wavファイルを音楽プレーヤーで開いて比較してください。

import soundfile as sf


original = audio_sample
reconstruction = audio_values[0].cpu().detach().numpy()
sampling_rate = feature_extractor.sampling_rate

sf.write("original.wav", original, sampling_rate)
sf.write("reconstruction.wav", reconstruction.T, sampling_rate)

XcodecConfig

>>> from transformers import XcodecModel, XcodecConfig

>>> # Initializing configuration
>>> configuration = XcodecConfig()

>>> # Initializing a model (with random weights) from the configuration
>>> model = XcodecModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

XcodecModel

>>> from datasets import load_dataset
>>> from transformers import AutoFeatureExtractor, XcodecModel

>>> model_id = "hf-audio/xcodec-hubert-librispeech"
>>> model = XcodecModel.from_pretrained(model_id)
>>> feature_extractor = AutoFeatureExtractor.from_pretrained(model_id)

>>> dataset = load_dataset("hf-internal-testing/librispeech_asr_dummy", "clean", split="validation")
>>> dataset = dataset.cast_column("audio", Audio(sampling_rate=feature_extractor.sampling_rate))
>>> audio_sample = dataset[0]['audio']['array']

>>> inputs = feature_extractor(raw_audio=audio_sample, return_tensors="pt")

>>> outputs = model(**inputs)
>>> audio_codes = outputs.audio_codes
>>> audio_values = outputs.audio_values