Machine Learning/Large Language Models
-
상업적 사용이 가능한 LLMs, FastChat-T5Machine Learning/Large Language Models 2023. 5. 1. 01:53
Github | Demo 기존에 공개된 LLMs 들은 상업적 사용이 불가능한 경우가 대부분인데요. Vicuna를 공개한 LM-SYS에서 상업적으로도 사용이 가능한 FastChat-T5를 공개했습니다. 구글 Flan-5T를 finetuning 한 비교적 작은 사이즈(3B)의 모델이며, 설치 및 실행 방법이 간단해 많은 기업에서 테스트용으로 사용가능할 것 같습니다. 1. 환경 설치 conda env에서 라이브러리 설치를 추천드립니다. pip3 install fschat 2. FastChat-T5 설치 및 실행 python3 -m fastchat.serve.cli --model-path lmsys/fastchat-t5-3b-v1.0 위 명령을 실행하면 자동으로 모델이 설치되며 바로 실행 가능합니다. init_..
-
[LLMs] LLaMA 기반 챗봇 언어모델, Vicuna 다운로드 및 사용법Machine Learning/Large Language Models 2023. 5. 1. 00:25
지난 포스트에서 Meta에서 공개한 LLMs 모델인 LLaMA의 다운로드 방법에 대해 알아보았습니다. 이번 포스트에서는 LLaMA를 Finetuning 해 ChatGPT에 버금가는(90%) 챗봇 성능을 보여준 Vicuna 모델의 다운로드 및 실행 방법을 소개합니다. Vicuna : An Open-Source Chatbot Impressing GPT-4 with 90%* ChatGPT Quality 학습 방법 등 모델에 대한 자세한 설명은 아래 Post를 참고하시기 바랍니다. 이번 포스트에서는 설치 및 실행 방법을 위주로 소개합니다. [ Github / Post / Demo ] Vicuna: An Open-Source Chatbot Impressing GPT-4 with 90%* ChatGPT Qualit..
-
LLaMA(Meta AI) 모델 파라미터 다운로드Machine Learning/Large Language Models 2023. 3. 6. 13:54
메타(Meta)에서 대규모 언어 모델을 공개했습니다. 기존의 GPT-3(175B), Gopher(280B), Chincilla(70B)와 같은 Large-scale 언어 모델 대비 적은 파라미터(7B, 13B, 33B, 65B) 임에도 불구하고, 8개의 벤치마크에서 높은 성능을 보여줍니다. 작은 모델 사이즈 덕분에 LLaMA-13B의 경우 single GPU에서도 동작하며 소비자 수준의 하드웨어 환경에서 언어모델을 사용할 수 있습니다. Meta AI Research는 학습된 모델을 다운로드하여 사용할 수 있게 오픈했으며, 이번 포스트에서는 다운로드 과정을 소개해드립니다. 1. 구글 폼 작성 LLaMA 깃헙 페이지에 들어가면 checkpoints를 다운받기 위한 정보를 입력할 수 있는 구글 폼 링크가 있습..