Petals

Petals는 자기 장비에 절대 들어가지 않을 큰 공개 모델을, 그 일부만 들고 나머지 층을 제공하는 다른 사람들의 네트워크에 합류해 돌립니다. 서로 대등한 상대끼리 파일을 주고받는 방식과 비슷합니다. 프로젝트 사이트는 소비자용 그래픽 카드나 호스팅 노트북으로 405B까지의 Llama 3.1, Mixtral 8x22B, 40B가 넘는 Falcon, 176B의 BLOOM으로 글을 생성할 수 있다고 적고, 뽑아내기뿐 아니라 미세 조정도 가능하며, 글자를 넣어 글자를 받는 것에 그치지 않고 감춰진 상태를 보거나 스스로 정한 실행 경로를 탈 수 있다고 합니다. 거대한 모델을 계산 센터 없이 쓰고 싶은 사람을 겨냥합니다.

실험, 분산 추론 연구, 취미 예산에서의 미세 조정에 맞습니다. 모델의 층을 믿기 어려운 기계로 어떻게 나눌지 살피는 사람에게도 맞습니다. 맞지 않는 쪽은 요청이 오면 곧바로 답해야 하는 대화입니다. 사이트 자체의 숫자는 큰 모델에서 한 번 처리에 초당 몇 개의 토큰이며, 모델이 생각하는 모습을 보기엔 충분해도 사용자에게 제공하기엔 부족합니다. 같은 결과를 되풀이해 얻어야 하는 경우도, 성능이 남의 기계에서 오는 망 위에서는 불안정합니다.

미확인: 프로젝트의 짧은 주소는 이번에 전혀 읽히지 않았고, 가져올 때마다 보안 연결 단계에서 실패했습니다. 그래서 위 설명은 이 프로젝트의 다른 사이트와 호스팅 서비스의 저장소 창구에서 온 것입니다. 그 저장소는 별 약 10,618개, 포크 651개, MIT 라이선스를 보였고 마지막 푸시는 2024년 9월 7일로, 이 항목을 쓴 시점보다 훨씬 앞섰습니다. 망이 지금도 돌아가는지, 그 수준의 활기를 유지하는지는 읽지 않았습니다. 초당 토큰 수는 프로젝트 자체의 주장이고, 사이트의 망 상태 표시도 가져올 때 읽히지 않았습니다. 모델은 하나도 돌리지 않았고 조정 부품도 훈련하지 않았으므로 처리량과 미세 조정 경로는 실제로 시험하지 않았습니다.

상태 안내: 2026-10-12에 읽은 바로는, 프로젝트 저장소 github.com/bigscience-workshop/petals는 여전히 열리지만 GitHub은 이를 보관 상태로 내세우지 않으며, 마지막 푸시는 2024년 9월 7일입니다. petals.dev에 연결된 공개 망 상태 페이지는 이번 조회에 응답하지 않았고, 프로젝트의 짧은 주소도 여전히 보안 연결 단계에서 멈췄습니다. 따라서 위 내용은 Petals가 무엇이었는지의 기록이며, 오늘도 돌아간다고 확인된 서비스가 아닙니다. 항목은 유지하고, 링크는 프로젝트 자체 사이트 petals.dev를 가리킵니다.