상업적 사용이 가능한 LLMs, FastChat-T5

Github | Demo

기존에 공개된 LLMs 들은 상업적 사용이 불가능한 경우가 대부분인데요.
Vicuna를 공개한 LM-SYS에서 상업적으로도 사용이 가능한 FastChat-T5를 공개했습니다.
구글 Flan-5T를 finetuning 한 비교적 작은 사이즈(3B)의 모델이며,
설치 및 실행 방법이 간단해 많은 기업에서 테스트용으로 사용가능할 것 같습니다.

 

https://github.com/lm-sys/FastChat

 

1. 환경 설치

conda env에서 라이브러리 설치를 추천드립니다.

pip3 install fschat

 

2. FastChat-T5 설치 및 실행

python3 -m fastchat.serve.cli --model-path lmsys/fastchat-t5-3b-v1.0

위 명령을 실행하면 자동으로 모델이 설치되며 바로 실행 가능합니다.

init_kwargs {'torch_dtype': torch.float16}
Downloading (…)lve/main/config.json: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1.52k/1.52k [00:00<00:00, 18.8MB/s]
Downloading pytorch_model.bin: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 6.71G/6.71G [00:59<00:00, 114MB/s]
Downloading (…)neration_config.json: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 142/142 [00:00<00:00, 947kB/s]
Downloading spiece.model: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 792k/792k [00:00<00:00, 127MB/s]
Downloading (…)in/added_tokens.json: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 150/150 [00:00<00:00, 1.12MB/s]
Downloading (…)cial_tokens_map.json: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2.20k/2.20k [00:00<00:00, 16.0MB/s]
Downloading (…)okenizer_config.json: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2.40k/2.40k [00:00<00:00, 17.6MB/s]
Human:

 

3. 질의응답 예시

지난 포스트에서 소개한 Vicuna에 비하면 아쉬운 결과지만, Vicuna는 상업적으로 사용이 불가능합니다. 따라서 LLMs를 상업적으로 사용하고자 하는 기업들은 FastChat-T5를 각 기업의 데이터셋으로 finetuning 해 사용한다면, 보다 좋은 결과를 얻을 수 있을 것 같습니다.