Ray

Ray 是一个 Apache-2.0 分布式计算引擎：少量原语——任务、actor 与对象——把普通 Python 函数和类变成跨机调度的工作，其上再叠库：Ray Data 负责摄取与预处理，还有 Train、Tune、RLlib 与做在线推理的 Serve。Serve 与框架无关，PyTorch、TensorFlow、scikit-learn 或纯 Python 业务逻辑都以同样方式部署。它的特色是分数 GPU（多模型共享一张卡）、模型组合（把多模型加代码的管道用 Python 写出，而不是拆成服务去拼线），以及面向 LLM 的响应流式、动态请求批处理与多节点多 GPU 服务。pip install ray[serve] 即可，本地监听 8000 端口；KubeRay 是另一个 Apache-2.0 的 operator，把集群跑在 Kubernetes 上。2.58.0 发布于 2026-08-23。

请把 Ray 当作你要运维的基础设施，而不是买来的服务。它从代码里删掉排队与线程那一层，代价是把一个集群交到你手上，所以「从笔记本到数千张 GPU」为真，前提是你愿意琢磨对象存储内存、溢写与调度。多团队上线前先读 Ray 自己的安全文档：它用 cloudpickle 序列化，预期在受网络隔离的环境里执行受信任代码，单个集群内不隔离作业彼此，也不提供开发者访问控制；令牌认证从 2.52.0 起加入，但文档说它是纵深防御，不替代网络隔离。商业答案是 Ray 创始团队做的托管平台 Anyscale，宣称送 100 美元起始额度，卖的正是在开源版里刻意留给你的治理、控制台加固与支持。