Xinference

Xinference は Xorbits の計画から出た、公開されたモデルを自分で走らせるためのサーバーです。命令ひとつで言語・音声認識・複数の種類を合わせたモデルを立ち上げ、OpenAI の利用側がすでに分かる接続口 — 関数の呼び出しも含みます — の後ろに置き、さらに命令の行、遠隔呼び出しの接続口、読み込み済みのものを管理する閲覧画面を添えます。モデルの目録が重みを用意するので自分で探さずに済み、画像処理装置と処理装置をどちらか一方に決めつけず一緒に使います。倉庫の最近の仕事は、同時に来る要求の自動的なまとめ処理、作業する機械をまたぐ分散した推論、そして動いているモデルを再起動せずに設定し直す版を加えています。

一つだけの手元の実行ファイルではなく、社内のモデル基盤を求めるチームに向きます。いくつもの種類のモデルをいくつもの仕事に使え、自社の機械や私的な雲に配備でき、企業向けの版が別に売られています。向かないのは、一台の計算ノートでモデルを走らせる最も小さい方法を求める一人です。そこでは単一の手元の実行器のほうが入れるものも、動かし続ける手間も少なくて済みます。サービスの運用を引き受ける気のない人にも向きません。作業する機械の集まりはサービスであり、配備と監視が付いてきます。

未確認：今回は何も入れずモデルも読み込んでいないため、処理量、まとめ処理の挙動、分散の形は実際には試していません。機能の一覧と公開の内容は倉庫自身の説明によるものです。倉庫の接続口は星が約 9,608、分岐が 875、許諾が Apache-2.0 を示し、最後の送り込みは 2026 年 10 月 11 日でした。説明の頁と企業向けの版の頁は開いていないため、無料の版と有料の版の違い、および価格は不明です。手元の実行器が同じモデルで最速の単機の引擎に並ぶかは測っておらず、違う種類の機材を一緒に使うという話は計画自身の主張です。