インデックスへスキップ

ExLlamaV2

turboderp (community)

オープンソース

製品の状態: 過去の製品記録

元ExLlamaV2は現在アーカイブ、開発はV3へとREADMEに記載。V2の保守状態のみを示し、既存導入・fork・外部サーバーの不能を断定しません。別世代V3との自動互換性は未確認。 このページは過去の製品情報を保存するもので、現在のおすすめには含まれません。以下の説明、機能、画面、編集評価は過去の提供内容であり、現在購入・利用できるサービスを示すものではありません。

ホステッドサービス:
未確認
ソースコード:
リポジトリはアーカイブ済み。サービスの状態とは別です

状態の出典を確認した日: · 状態の出典

ExLlamaV2 — 過去の製品記録. 元ExLlamaV2は現在アーカイブ、開発はV3へとREADMEに記載。V2の保守状態のみを示し、既存導入・fork・外部サーバーの不能を断定しません。別世代V3との自動互換性は未確認。

過去の製品情報

プロダクトプレビュー

github.com
ExLlamaV2 のプレビュー

選定の判断材料

このページは過去の製品情報を保存するもので、現在のおすすめには含まれません。以下の説明、機能、画面、編集評価は過去の提供内容であり、現在購入・利用できるサービスを示すものではありません。

公式資料に基づく調査

掲載した資料をもとに整理しています。今回、製品の実利用、プランの購入、品質・速度・信頼性の試験は行っていません。

検討に向く用途

  • 互換GPU環境・モデル権を管理できる開発者

別の方法を検討すべき場合

  • V2継続開発・現Tabby互換の想定
  • 完成hostや無料hardwareが必要

料金と利用条件

公開条件を確認

V2 MITは許諾料なし・通知付き販売可ですがcloud/hardware見積ではありません。GPU/CPU・memory/storage・電力・開発・host・model/APIは別。統一通貨税地域・期間枠超過未確認。archiveにsupportや将来互換保証なし。

料金資料の閲覧日:

料金・利用条件の出典

コード・モデル・サービスの許諾範囲

V2 MITは商用・改変・再配布を通知保持と無保証で許可し、重み・基盤モデル・データ・出力・依存全体には及びません。別TabbyAPIはAGPL3で改変network版は遠隔利用者へ対応sourceを提供、現V3範囲も確認します。ローカル推論からdownload・tool・log・remote全体無保存/無送信を推定せず実モデル許諾と運用経路を確認します。

既存スコアの根拠と限界

元の4.5/5を維持。元採点表・実測根拠は未確認で、文書調査による再採点なし。

詳細レビュー

対応LLMをconsumer GPUで実行し、EXL2/4bit GPTQ、動的batchとcache制御を備えます。READMEは現在一時archive、開発はV3継続と記載し、V3形式・機能をV2に移用しません。

実モデル形式・PyTorch/CUDA・拡張ABIを確認。V2はTabbyAPIへlinkしますが現mainはV3 backendで趣味用・非productionと説明します。現mainをV2互換とせず版を選びます。hardware・品質・速度未測定です。

出典

このレビューの事実に関する記述は、以下のページから読み取りました。日付は編集者が最後にその出典を開いた日であり、製品が変更された日ではありません。

長所 / 短所

長所

  • MITローカル推論コード
  • 量子化・batch制御の資料

短所

  • V2はarchive・版管理が必要
  • モデル権・GPU・server互換は別

こんな人におすすめ

01

互換する既存V2運用の保守

02

EXL2・ローカル推論研究

総評

互換stackを固定するarchive庫として扱い、現V3やserver互換を保証しません。

過去の機能

対応モデルのローカル推論
EXL2・4bit GPTQ
動的batch・prompt/KV cache
版を合わせるserver連携

タグ

ローカル推論アーカイブ庫量子化

よくある質問

ExLlamaV2 は現在利用できますか?

元ExLlamaV2は現在アーカイブ、開発はV3へとREADMEに記載。V2の保守状態のみを示し、既存導入・fork・外部サーバーの不能を断定しません。別世代V3との自動互換性は未確認。 このページは過去の製品情報を保存するもので、現在のおすすめには含まれません。以下の説明、機能、画面、編集評価は過去の提供内容であり、現在購入・利用できるサービスを示すものではありません。

ExLlamaV2 とは?

過去の製品情報: アーカイブされたローカルGPU推論・EXL2/GPTQ量子化庫。開発は別のExLlamaV3で継続。 このページは過去の製品情報を保存するもので、現在のおすすめには含まれません。以下の説明、機能、画面、編集評価は過去の提供内容であり、現在購入・利用できるサービスを示すものではありません。

ExLlamaV2 の選定前に確認すべき費用と条件は?

ExLlamaV2 の過去の料金モデルとして「無料」を記録していますが、料金の確認日は未登録です。現在の料金、無料枠、購入可能なプランではありません。終了や過去の経緯は状態の出典を確認してください。 V2 MITは許諾料なし・通知付き販売可ですがcloud/hardware見積ではありません。GPU/CPU・memory/storage・電力・開発・host・model/APIは別。統一通貨税地域・期間枠超過未確認。archiveにsupportや将来互換保証なし。

ExLlamaV2 はオープンソースですか?

ソースコードのリンクは過去の資料またはリポジトリの参照です。以前のホステッドサービスの継続、保守、実行可能性を示すものではありません。リポジトリの状態とライセンスを別途確認してください。 V2 MITは商用・改変・再配布を通知保持と無保証で許可し、重み・基盤モデル・データ・出力・依存全体には及びません。別TabbyAPIはAGPL3で改変network版は遠隔利用者へ対応sourceを提供、現V3範囲も確認します。ローカル推論からdownload・tool・log・remote全体無保存/無送信を推定せず実モデル許諾と運用経路を確認します。

ExLlamaV2 のおすすめの代替ツールは?

注目のAIプラットフォーム代替ツールには Hugging Face、Replicate、Ollama などがあります。カテゴリーページで全 138 件のツールをご覧ください。

このページは役に立ちましたか?

ソースコードを見る →

基本情報

過去の料金モデル
無料

過去の料金の確認日は未登録であり、現在のオファーではありません。

V2 MITは許諾料なし・通知付き販売可ですがcloud/hardware見積ではありません。GPU/CPU・memory/storage・電力・開発・host・model/APIは別。統一通貨税地域・期間枠超過未確認。archiveにsupportや将来互換保証なし。

過去の編集評価
4.5 / 5 評価方法
プラットフォーム
PythonLocal GPU
最終検証日
未記録