KoboldCpp

KoboldCpp는 실행 파일 하나를 내려받는 것만으로 GGUF 언어 모델을 자기 기계에서 돌리는 도구이며, KoboldAI의 혈통을 그대로 안고 있습니다. 등장인물 중심 프런트가 기대하는 그 연결 창구, 함께 들어 있는 브라우저 화면, 그리고 빌드 도구 없이 모델의 층을 GPU로 넘기는 기능입니다. 프로젝트 스스로의 한 줄 설명은 '파일 하나, 설치 없음'입니다. 모델을 자기 기계에서 답하게 하되 준비를 실행 파일 내려받기만큼으로 줄이고 싶은 사람을 겨냥합니다.

등장인물과 이야기용 프런트, 노트북이나 저장 매체 위에서 완결되는 휴대용 설치, 파이썬 환경을 세우지 않고 GPU 가속을 쓰려는 사람에게 맞습니다. 관리되는 서버가 필요한 팀에는 맞지 않습니다. 저장소는 이 프로젝트 자체를 llama.cpp의 서버 작업에서 갈라져 나온 것이라고 적고 있으므로, 새로운 추론 기능은 상류에서 나오고 프로덕션 팀은 먼저 그쪽을 봐야 합니다. 라이선스가 AGPL-3.0이라는 점도 갈림길입니다. 도구로 돌리는 것이 아니라 출하 제품에 넣을 때 문제가 됩니다.

미확인: 이번에는 빌드하지 않았고 모델도 적재하지 않았으므로 속도, 메모리 동작, 어떤 버전이 어떤 그래픽 카드에서 도는지는 시험하지 않았습니다. 작성일 기준으로 호스팅 서비스의 저장소 창구에서 읽은 수치는 별 약 11,990개, 포크 789개, AGPL-3.0, 열린 이슈 약 533개, 최신 공개 버전은 v1.122.1로 2026년 9월 26일 공개였습니다. 상류인 llama.cpp는 별 약 130,874개에 MIT입니다. 수치는 움직이고, 공개 기록도 읽지 않았으므로 최근 버전에서 무엇이 바뀌었는지는 알 수 없습니다.