Xinference

Xinference는 Xorbits 프로젝트에서 나온, 공개 모델을 직접 돌리기 위한 서버입니다. 명령 하나로 언어·음성 인식·여러 종류를 합친 모델을 띄우고, OpenAI 사용자가 이미 알아듣는 연결 창구 — 함수 호출도 포함합니다 — 뒤에 두고, 명령 줄과 원격 호출 창구, 적재된 것을 관리하는 웹 화면을 더합니다. 모델 목록이 가중치를 준비해 주므로 직접 찾지 않아도 되고, 그래픽 카드와 프로세서를 한쪽으로 정하지 않고 함께 씁니다. 저장소의 최근 작업은 동시에 들어오는 요청의 자동 묶음 처리, 작업 기계를 넘나드는 분산 추론, 그리고 돌고 있는 모델을 다시 시작하지 않고 설정을 바꾸는 판을 더했습니다.

하나뿐인 로컬 실행 파일이 아니라 사내 모델 플랫폼을 원하는 팀에 맞습니다. 여러 종류의 모델을 여러 프로젝트에 쓸 수 있고, 자기 기계나 사설 클라우드에 배치할 수 있으며, 기업판이 따로 팔립니다. 맞지 않는 쪽은 노트북 한 대에서 모델을 돌리는 가장 작은 방법을 원하는 개인입니다. 거기서는 단일 로컬 실행기가 설치할 것도, 계속 살려 둘 것도 적습니다. 서비스 운영을 떠맡을 뜻이 없는 사람에게도 맞지 않습니다. 작업 기계의 묶음은 서비스이고 배치와 감시가 따라옵니다.

미확인: 이번에는 아무것도 설치하지 않았고 모델도 적재하지 않았으므로 처리량과 묶음 처리 동작, 분산 형태는 실제로 시험하지 않았습니다. 기능 목록과 공개 내용은 저장소 자체 설명에서 왔습니다. 저장소 창구는 별 약 9,608개, 포크 875개, Apache-2.0 라이선스를 보였고 마지막 푸시는 2026년 10월 11일이었습니다. 문서 사이트와 기업판 페이지는 열지 않았으므로 무료판과 유료판의 차이, 그리고 어떤 가격도 알 수 없습니다. 로컬 실행기가 같은 모델에서 가장 빠른 단일 기계 엔진에 견주는지는 측정하지 않았고, 다른 종류의 장비를 함께 쓴다는 말은 프로젝트 자체의 주장입니다.