Petals

Petals 让人跑起一个绝不可能装进自己硬件的大模型：只持有其中一部分，再加入一个由其他人服务其余层的网络，做法类似点对点传文件。项目站点描述可用消费级显卡或托管笔记本生成文本，模型包括最高 405B 的 Llama 3.1、Mixtral 8x22B、40B 以上的 Falcon，以及 176B 的 BLOOM；除采样外也支持微调，并且不限于「输入文字、输出文字」的接口，还能访问隐藏状态、走自定义执行路径。它面向想要一个超大模型却不想拥有数据中心的人。

它适合实验、分布式推理研究，以及业余预算下的微调；也适合任何研究「如何把模型各层分散到不可靠机器上」的人。必须按需应答的交互场景则不太适合：站点自己的数字是在大模型上单批每秒几个词元，足以看模型思考，不足以服务用户。需要可复现的场景也同样不合适：一个算力来自别人机器的网络，本身就是不稳的。

未核实：项目较短的域名本次完全没能加载——每次抓取都在安全连接阶段失败——因此上面的描述来自该项目的另一个站点与托管服务的仓库接口。该仓库显示约 10,618 星、651 个分支、MIT 许可，最后一次推送日期为 2024 年 9 月 7 日，距本条目撰写已很久；本次没有读到关于该网络是否仍在运行、或是否仍维持这一活跃度的信息。每秒词元数是项目自己的说法；抓取时站点上的网络状态显示也没能加载。本次没有运行任何模型，也没有训练任何适配器，因此吞吐与微调路径都没有实际跑过。

状态说明：在 2026-10-12 读到，项目仓库 github.com/bigscience-workshop/petals 仍可打开，但 GitHub 并未将其呈现为已归档，最后一次推送日期为 2024 年 9 月 7 日。petals.dev 上链接的公共网络状态页本次抓取没有响应，项目较短的域名也仍停在安全连接阶段。因此上文记录的是 Petals 曾经是什么，而不是一个今天确认在运行的服务；条目保留，链接指向项目自己的站点 petals.dev。