跳到索引

Ragas

Exploding Gradients

开源★ AI 平台第 123 名

产品状态: 尚未登记状态

本条目尚未登记生命周期复核。被目录收录不代表当前可用,选用前请向厂商确认。

尚未记录状态查看日期

用于评测大模型与 RAG 应用的开源框架:自动指标、合成测试数据与生产监控。 本条目尚未登记生命周期复核。被目录收录不代表当前可用,选用前请向厂商确认。

产品预览

ragas.io
Ragas 的产品预览

深度介绍

Ragas 是面向检索增强应用的开源评测框架。它提供自动指标、生成合成测试集、包含忠实度与上下文相关性这类检索专用指标,并可延伸到生产环境的质量监控。

这件事要紧的原因是:RAG 会栽在常规测试不看的地方。检索管线取错了段落时,它会给出**流畅、自信、错误**的答案——没有抛异常,也没有堆栈,失败就是一句读起来很顺、但源文档并不支持的话。为这种失败形态设计的指标正是关键:忠实度问的是答案有没有落在检索到的上下文里,上下文相关性问的是有没有检索到对的上下文,而这两个指标把「检索问题」和「生成问题」分开了。和任何评测器一样,其中一些指标本身是由模型判定的,这会把判定模型的盲区带进你的分数里。

资料来源

本篇的事实性陈述来自以下页面。日期是编辑最后一次打开该来源的日期,不是产品发生变更的日期。

优点 / 缺点

优点

  • 指标是为检索失败设计的,而不是通用文本相似度
  • 合成测试数据让你在还没有真实流量时就能评测
  • 开源,指标定义可读可改

缺点

  • 部分指标由模型判定,判定模型的错误会变成你分数的错误
  • 指标选择与阈值仍需针对你的应用去调
  • 它评的是质量,并不修复导致失败的检索环节

适合谁用

01

上线前评测 RAG 管线

02

把检索失败与生成失败分开

03

不靠手工标注就生成测试集

04

监控生产环境的回答质量

编辑结论

直指 RAG 真实失败方式的评测框架;但要注意部分判定是由模型做的。

核心功能

自动评测指标
合成测试集生成
面向 RAG 的指标(忠实度、上下文相关性等)
生产环境监控
Python 库

标签

评测RAG开源

常见问题

Ragas 目前还能使用吗?

本条目尚未登记生命周期复核。被目录收录不代表当前可用,选用前请向厂商确认。

Ragas 是什么?

Ragas 是由 Exploding Gradients 开发的AI 平台工具。用于评测大模型与 RAG 应用的开源框架:自动指标、合成测试数据与生产监控。

Ragas 是免费的吗?

是的——Ragas 可以免费使用。

Ragas 是开源的吗?

是的——Ragas 是开源软件,源代码可在 https://github.com/explodinggradients/ragas 公开获取。

Ragas 有哪些最佳替代品?

值得关注的AI 平台替代品包括 Hugging Face、Replicate、Ollama。你可以在我们的AI 平台分类中浏览全部 138 个工具。

这个页面有帮助吗?

访问官方网站 →查看源码

基本信息

定价
免费
编辑评分
★ 4.3 / 5 评分方式
平台
Library
最近核验
尚未记录