현재 오픈된 여러 LLM을 Discord Bot으로 쉽게 올릴 수 있는 기능을 추가했습니다. Discord Bot 토큰과 원하는 모델을 입력하여 CLI를 실행하면, 즉시 원하는 모델을 돌려보실 수 있습니다.
멀티-턴 대화와 생성 파라미터 동적 조정 기능을 지원합니다.
저장소: https://t.co/ri6hi3bzAs
프로젝트 근황 공유
- 모델 설명란에 GPU 메모리 요구사항이 추가되었고, 자동으로 실행 가능한 모드가 결정됩니다. Apple Silicon에서는 해당 옵션이 활성화 됩니다.
- Model Zoo 대화인만큼, 대화 생성 주체를 파악하는게 중요하여 이를 식별할 수 있도록 만들었습니다.
https://t.co/ri6hi3bzAs
welcome more models in LLM As Chatbot project.
- @togethercompute's RedPajama 7B. now V1
- @erhartford's Samantha 7/13/33B, inspired by the movie "Her"
- jon durbin's Airoboros which seems better than Vicuna
- CalderaAI's lazarus 30B popped up 2nd place of LLM Leaderboard today
저의 LLM As Chatbot 오픈소스 프로젝트가 GPU VM을 제공하는 https://t.co/mgTOZmC20d의 디폴트 이미지 중 하나로 등록되었습니다.
더불어 여러 오픈소스 LLM을 미리 다운로드 받아 Volume 형식으로 제공하여, 많은 시간을 절약하면서 빠르게 LLM들을 실험해볼 수 있습니다.
Ever wanted to play with LLMs? but didn't have GPUs?
Super excited to announce that "LLM as Chatbot" became a pre-built image in @jarvislabsai
lots of open source LLMs are pre-downloaded & attached as external Volume, and you can choose hardware of your choice!
⬇️⬇️
Now you can run GUI menu mode for LLM-As-Chatbot project with `python menu_app.py`. The GUI is entirely built with @Gradio
checkout the project repo
: https://t.co/M6rfR25bmV
간단한 라이브러리를 만들고 있습니다 #pingpong#bingbong 풀고자하는 문제는 파인튜닝된 언어 모델별 프롬프트 구성 방식, UI별 출력 형식, 잘 출력하기 위한 후처리 방식이 모두 상이한 문제입니다.
더불어 커스텀 문맥 관리 전략을 쉽게 구현/통합할 수 있습니다. 저장소는👇
GitHub 트렌드에 제 이름과 저장소가 올랐습니다. 필터링에 따라 결과가 다르기는 한데,
Spoken Language를 Any로 설정했을 때 저장소 부문 1위, 언어를 Python으로 설정했을 때 개발자 부문 7위를 기록하고 있습니다. 저장소 Star 수가 300개를 초과 ㅎㄷㄷ
https://t.co/5vb6rTTzW6