LLaMA(Meta AI) 모델 파라미터 다운로드

 

메타(Meta)에서 대규모 언어 모델을 공개했습니다. 기존의 GPT-3(175B), Gopher(280B), Chincilla(70B)와 같은 Large-scale 언어 모델 대비 적은 파라미터(7B, 13B, 33B, 65B) 임에도 불구하고, 8개의 벤치마크에서 높은 성능을 보여줍니다. 작은 모델 사이즈 덕분에 LLaMA-13B의 경우 single GPU에서도 동작하며 소비자 수준의 하드웨어 환경에서 언어모델을 사용할 수 있습니다. Meta AI Research는 학습된 모델을 다운로드하여 사용할 수 있게 오픈했으며, 이번 포스트에서는 다운로드 과정을 소개해드립니다.

 

1. 구글 폼 작성

LLaMA 깃헙 페이지에 들어가면 checkpoints를 다운받기 위한 정보를 입력할 수 있는 구글 폼 링크가 있습니다.

구글 폼 이미지

 

해당 페이지에서 이메일(학교 이메일 사용 추천), 이름, 사용 목적 등을 입력한 후 제출합니다.

 

3~4일 후 위에서 입력한 이메일을 통해 아래와 같은 메일을 받을 수 있습니다. 

 

 

2. 라이브러리 설치

LLaMA 깃헙 페이지에서 설명하는 것과 같이 Setup을 해줍니다. 

git clone https://github.com/facebookresearch/llama.git

conda 가상환경에서 아래 명령어를 실행합니다.

pip install -r requirements.txt
pip install -e .

 

 

3. 다운로드

llama 디렉토리에 있는 download.sh 파일을 수정해줘야 합니다. 위의 메일에서 받은 presigned URLs을 복사해서 아래 PRESIGNED_URL에 넣어줍니다. 모델 사이즈를 고르고(안 지우면 전체 다운로드), 저장하려는 폴더를 지정합니다.

PRESIGNED_URL="https://~"    # replace with presigned url from email
MODEL_SIZE="7B,13B,30B,65B"  # edit this list with the model sizes you wish to download
TARGET_FOLDER="/data/LLaMA"  # where all files should end up

터미널에서 아래 명령어를 실행하면 다운이 시작됩니다.

bash download.sh

 

다운 완료 후 모델을 사용할 수 있으며, 사용 방법 등은 추후에 공유하겠습니다.