ragbits：快速开发GenAI企业应用

banq

我是一名拥有8年以上经验的高级技术主管，在过去的3年里，我一直致力于构建LLM驱动的系统- RAG管道，代理应用程序，text 2SQL引擎。我们已经在制造业、体育分析、非政府组织、法律的等领域推出了真实的的产品。

在一次又一次地这样做之后，我厌倦了同样的故事：从头开始构建摄取，用管道录制矢量DB，处理提示意大利面条，以及在没有适当日志的情况下调试幻觉。

我已经建立了7个商业RAG项目。厌倦了复制粘贴样板，所以我们开源了我们的内部堆栈。

因此，我们构建了ragbits--一个为GenAI应用程序提供可靠、类型安全、模块化构建块的工具箱。最初作为内部加速器的东西现在完全开源（v1.0.0）并准备使用。

我们为什么要建造它：

  • 我们想要可重复性。RAG并不神奇，但每次都要干净地构建它需要努力。
  • 我们需要在不牺牲结构的情况下快速推进POC。
  • 我们讨厌黑盒-- ragbits可以轻松地集成到你的可观测性堆栈中（OpenTelemetry、CLI调试、即时测试）。
  • 最重要的是，我们希望扩展应用程序，而不会将代码库变成垃圾箱火灾。

构建可靠的可扩展GenAI应用

  • 随时交换LLM-通过LiteLLM在100多个LLM之间切换或运行本地模型。
  • 类型安全的LLM调用-使用Python泛型在模型交互中实施严格的类型安全。
  • 自带矢量存储-通过内置支持连接到Qdrant、PgVector等。
  • 包括开发人员工具-从您的终端管理矢量存储、查询管道和测试提示。
  • 模块化安装-仅安装您需要的内容，减少依赖性并提高性能。

快速灵活的RAG加工

  • 摄取20多种格式-处理PDF、HTML、电子表格、演示文稿等。使用Docling、Unstructured或创建自定义解析器处理数据。
  • 处理复杂数据-利用内置VLM支持提取表格、图像和结构化内容。
  • 连接到任何数据源-使用S3、GCS、Azure的预构建连接器或实现您自己的连接器。
  • 规模摄取-使用基于光线的并行处理快速处理大型数据集。

放心地部署监视器

  • 实时可观察性-通过OpenTelemetry和CLI洞察跟踪性能。
  • 内置测试-在部署前使用approximatfoo进行测试提示。
  • 自动优化-持续评估和优化模型性能。
  • 聊天UI -使用API、持久化和用户反馈部署聊天机器人界面。