インデックスへスキップ

Ragas

Exploding Gradients

オープンソース★ AIプラットフォーム 第 123 位

製品の状態: 状態未登録

この項目にはライフサイクルの確認記録がありません。掲載は現在の利用可否を保証しません。利用前に提供元へ確認してください。

状態の確認日は未登録

LLM と RAG アプリケーションを評価するオープンソースフレームワーク。自動指標、合成テストデータ、本番監視。 この項目にはライフサイクルの確認記録がありません。掲載は現在の利用可否を保証しません。利用前に提供元へ確認してください。

プロダクトプレビュー

ragas.io
Ragas のプレビュー

詳細レビュー

Ragas は検索拡張アプリケーション向けのオープンソース評価フレームワークです。自動指標、合成テストセットの生成、忠実性や文脈関連性といった検索固有の指標を提供し、本番環境の品質監視にも広がります。

これが重要なのは、RAG は通常のテストが見ない場所で失敗するからです。検索パイプラインが誤った段落を取ってくると、流暢で自信ありげな誤答を返します。例外は飛ばず、スタックトレースも出ません。失敗とは、読むと自然だが原典に支持されていない一文です。そうした失敗の形に合わせた指標が要になります。忠実性は答えが取得した文脈に根拠を持つかを問い、文脈関連性はそもそも正しい文脈を取得したかを問い、二つは検索の問題と生成の問題を切り分けます。他の評価器と同様、指標の一部はモデル自身が判定しており、判定モデルの盲点をスコアに持ち込みます。

出典

このレビューの事実に関する記述は、以下のページから読み取りました。日付は編集者が最後にその出典を開いた日であり、製品が変更された日ではありません。

長所 / 短所

長所

  • 汎用のテキスト類似度ではなく検索の失敗に合わせた指標
  • 合成テストデータにより実トラフィック前から評価できる
  • オープンソースで指標の定義を読み変更できる

短所

  • 一部の指標はモデル判定で、判定側の誤りがスコアの誤りになる
  • 指標の選択と閾値はアプリケーションに合わせて調整が必要
  • 品質を評価するもので、失敗の原因である検索は直さない

こんな人におすすめ

01

公開前の RAG パイプラインの評価

02

検索の失敗と生成の失敗の切り分け

03

手作業のラベリングなしでのテストセット生成

04

本番での回答品質の監視

総評

RAG が実際に失敗する形に的を絞った評価。ただし判定の一部はモデルが行う点に留意。

主な機能

自動評価指標
合成テストセットの生成
忠実性や文脈関連性など RAG 固有の指標
本番監視
Python ライブラリ

タグ

評価RAGオープンソース

よくある質問

Ragas は現在利用できますか?

この項目にはライフサイクルの確認記録がありません。掲載は現在の利用可否を保証しません。利用前に提供元へ確認してください。

Ragas とは?

Ragas は Exploding Gradients が開発したAIプラットフォームツールです。LLM と RAG アプリケーションを評価するオープンソースフレームワーク。自動指標、合成テストデータ、本番監視。

Ragas は無料ですか?

はい——Ragas は無料で利用できます。

Ragas はオープンソースですか?

はい——Ragas はオープンソースです。ソースコードは https://github.com/explodinggradients/ragas で公開されています。

Ragas のおすすめの代替ツールは?

注目のAIプラットフォーム代替ツールには Hugging Face、Replicate、Ollama などがあります。カテゴリーページで全 138 件のツールをご覧ください。

このページは役に立ちましたか?

公式サイトを見る →ソースを見る

基本情報

料金
無料
編集スコア
★ 4.3 / 5 評価方法
プラットフォーム
Library
最終検証日
未記録