PEFT documentation

메모리 효율적인 학습

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

메모리 효율적인 학습

🤗 PEFT는 파인튜닝을 매개변수 효율적으로 만들어 주지만, 자동으로 메모리 효율을 보장하지는 않습니다. 이 개요에서는 학습 메모리를 줄이는 팁과 상세 가이드 링크를 정리했습니다.

메모리 사용량을 줄이려면 더 작은 베이스 모델, 더 작은 배치 크기, 더 짧은 시퀀스 길이를 선택하는 기본 사항을 항상 고려하세요.

학습 메모리 개요

학습 메모리 분포를 분석하여 잠재적인 대응책을 고찰해 보겠습니다. Adam 옵티마이저로 학습된 대규모 언어 모델을 예로 들어 보겠습니다. 전체 파인튜닝을 수행할 경우, 다음 항목들이 메모리를 차지합니다:

  1. base model parameters: 메모리 사용량은 선택한 dtype에 따라 크게 달라집니다. 파라미터당 비트 수가 적을수록(float16의 경우 16비트) 차지하는 메모리도 줄어듭니다. float16(파라미터당 16비트/2바이트)로 표현된 1B 모델은 대략 1e9 × 2 byte = 1.863 GiB의 메모리를 사용합니다.
  2. 학습 가능한 베이스 모델 매개변수 전체 ×3 (그라디언트 1×, Adam 옵티마이저 상태 2×)로, 따라서 5.59GB의 메모리가 필요합니다
  3. 레이어 간 중간 활성화에 대한 메모리는 예측하기 어렵지만, 주로 사용되는 계산 dtype과 시퀀스 길이/배치 크기에 따라 달라집니다.

더 작은 base model을 사용하거나 더 작은 compute dtype을 사용하면 모든 항목이 감소하며, 더 짧은 시퀀스나 더 작은 batch를 사용하는 것은 주로 gradient와 activation memory에 영향을 미칩니다. PEFT 방법을 사용하면 학습 가능한 파라미터 수가 줄어들어 gradient와 optimizer state가 모두 크게 감소하여 많은 양의 memory를 절약할 수 있습니다.

적절한 방법 선택

모든 PEFT 방법이 동일하게 구성되지는 않으며, 일부 방식은 메모리 효율적으로 구현하기가 더 쉽습니다. 메모리 사용량이 제한적인 경우, PEFT 방법 비교 스위트를 확인하고 maximum 가속기 메모리 사용량으로 필터링하는 것이 좋습니다. 방법 간 평균 가속기 메모리 사용량은 비슷할 수 있지만, 모든 방법이 활성화 값과 시퀀스 길이에 대해 동일하게 확장되지는 않습니다. 일부 방법은 다른 방법보다 메모리 스파이크가 더 잘 발생할 수 있습니다.

언어 모델링 헤드나 임베딩 레이어와 같은 큰 레이어를 대상으로 특정 토큰을 미세 조정할 때는 학습 가능한 토큰 사용을 고려하세요.

양자화

Quantization은 기본 모델의 메모리 사용량을 줄이는 가장 효과적인 방법 중 하나이며, 적용하는 양자화 방식에 따라 활성화 메모리도 함께 줄일 수 있습니다. PEFT 방법은 전체 매개변수 중 아주 작은 부분을 차지하므로, PEFT는 기본적으로 기본 모델보다 높은 정밀도를 사용합니다. 이로 인해 어댑터가 양자화 방식으로 인한 일부 품질 저하를 완화하는 효과도 있을 수 있습니다. PEFT 양자화 가이드를 읽어보세요.

컴파일

학습하는 모델은 행렬 곱셈, 합, 할당과 같은 연산으로 구성되며, 각 연산은 새로운 결과를 생성한 후 메모리를 차지해야 합니다. 이러한 중간 결과가 더 이상 필요하지 않다면, 해당 연산들을 융합(fuse)하여 메모리를 절약할 수 있습니다. 이는 torch.compile이 수행할 수 있는 수많은 최적화 중 하나일 뿐이므로, PEFT torch.compile 가이드를 확인해 보세요.

Gradient Checkpointing

레이어 간 모든 n번째 기울기만 저장하고 나머지는 필요할 때 계산함으로써 메모리와 연산량을 교환할 수 있습니다. 자세한 내용은 Transformers의 gradient checkpointing 문서를 참고하세요.

Diffusers나 Transformers를 사용하지 않는 경우, 사용하는 학습 프레임워크에 따라 자체적인 gradient checkpointing 로직을 구현해야 할 수 있습니다.

Chunked NLL 손실

언어 모델(또는 분류 작업)을 학습할 때 NLLLoss를 사용하는 경우가 매우 많습니다. batch × sequence × vocabulary 크기의 행렬을 할당하게 되는데, 특히 시퀀스나 어휘가 길면 비용이 빠르게 증가할 수 있습니다.

TRL을 사용할 때 Liger kernel integration을 사용하거나 Chunked NLLLoss를 사용할 수 있습니다. 후자의 경우 최대 메모리 사용량이 일정하게 유지되도록 시퀀스를 크기가 256인 청크로 분할합니다.

NLL vs. Chunked NLL comparison

기본 chunk size가 사용 환경에 최적화되지 않은 경우, chunk size를 조정하는 방법에 대한 자세한 내용은 원본 TRL PR를 참고하세요.

Update on GitHub