本周20个Github有趣项目如llmware等

banq
有趣的项目、工具和库


1、llmware
提供企业级基于LLM的开发框架、工具和微调模型。

从快速构建 POC 到适用于企业的可扩展 LLM 应用程序，LLMWare 包含您所需的所有工具。
llmware是一个包含 50 多个模型的集成框架，用于快速开发基于 LLM 的应用程序，包括检索增强生成 (RAG) 和代理工作流的多步骤编排。
该项目提供了一套全面的工具，任何人（从初学者到最成熟的人工智能开发人员）都可以使用它来快速构建工业级、基于知识的企业法学硕士应用程序。
我们的具体重点是轻松集成开源小型专业模型并安全可靠地连接企业知识。


编写代码llmware基于几个主要概念：

  • 模型目录：无论底层实现如何，都可以通过轻松查找的方式访问所有模型。
  • 库包：大规模摄取、组织和索引知识集合 - 解析、文本块和嵌入。
  • 查询：混合了文本、语义、混合、元数据和自定义过滤器的查询库。
  • Prompt with Sources：将知识检索与法学硕士推理相结合的最简单方法。
  • RAG 优化模型- 专为 RAG 工作流程集成和本地运行而设计的 1-7B 参数模型。
  • 易于扩展的数据库选项- 从笔记本电脑到并行集群的集成数据存储。
  • 具有函数调用和 SLIM 模型的代理

模型：

  • SLIM 模型系列：针对函数调用和多步骤、多模型代理工作流程进行微调的小型专用模型。
  • DRAGON 模型系列： 生产级 RAG 优化的 6-7B 参数模型 - “在...上交付 RAG”领先的基础基础模型。
  • BLING 模型系列： 基于 CPU 的小型 RAG 优化、遵循指令的 1B-3B 参数模型。
  • 行业 BERT 模型： 开箱即用的定制训练句子转换器嵌入模型针对以下行业进行了微调：保险、合同、资产管理、SEC。
  • GGUF 量化：我们提供许多 SLIM、DRAGON 和 BLING 模型的“gguf”和“工具”版本，针对 CPU 部署进行了优化。

克隆存储库后，根据您的 IDE 环境，您可能需要执行以下额外步骤：

  1. 安装requirements.txt - 在/llmware路径内 - 例如，pip3 install -r llmware/requirements.txt （如果将requirements.txt文件复制到项目文件夹的根目录中，那么许多IDE将自动安装需求和/或者您可以运行规范pip3 install -r requirements.txt）
  2. 运行示例- 将示例 .py 文件复制到根项目路径中。 （我们已经看到几个 IDE 会尝试从嵌套的 /example 路径以交互方式运行，然后无法访问 /llmware 模块。我们将考虑使用一个小型自动化脚本来修复此问题，但目前，简单的修复方法是只需将要运行的示例复制到根路径中）。
  3. 安装向量数据库- 要使用向量数据库，您需要单独安装该向量数据库的 python 库，例如 、pip3 install pymilvus或pip3 install chromadb。

2、MindNLP
基于MindSpore的易于使用、高性能的NLP和LLM框架，兼容Huggingface的模型和数据集。

MindNLP 目前支持业界领先的大语言模型（LLM），包括Llama、GLM、RWKV等。大语言模型相关的支持，包括预训练、微调、推理演示示例，可以在“llm”目录。

预训练模型支持Huggingface Transformer-like api，包括BERT、Roberta、GPT2、T5等 60 多个模型。

MindNLP 支持语言模型、机器翻译、问答、情感分析、序列标注、摘要等 NLP 任务，您可以通过示例访问它们。

MindNLP是一个基于MindSpore的开源NLP库。它支持解决自然语言处理任务的平台，包含许多 NLP 中的常见方法。它可以帮助研究人员和开发人员更方便、更快速地构建和训练模型。

master 分支与MindSpore master一起使用。
主要特点

  • 数据处理全面：将多个经典NLP数据集打包成友好的模块，方便使用，如Multi30k、SQuAD、CoNLL等。
  • 友好的NLP模型工具集：MindNLP提供各种可配置组件。使用MindNLP来定制模型是很友好的。
  • 易于使用的引擎：MindNLP 简化了 MindSpore 中复杂的训练过程。它支持训练器和评估器接口，可以轻松地训练和评估模型。


3、storm
一个由 LLM 驱动的知识管理系统，用于研究主题并生成带有引文的完整报告。

STORM 是一个大模型系统，可以根据互联网搜索从头开始编写类似维基百科的文章。
虽然该系统无法生成通常需要大量编辑的可发表文章，但经验丰富的维基百科编辑发现它在预写作阶段很有帮助。

STORM 将生成带有引用的长文章分为两个步骤：

  1. 预写阶段：系统进行基于互联网的研究，收集参考资料并生成大纲。
  2. 写作阶段：系统使用大纲和参考文献生成带有引文的全文文章。

STORM 认为研究过程自动化的核心是自动提出好的问题。直接提示语言模型提出问题效果并不好。为了提高问题的深度和广度，STORM 采用了两种策略：

  1. 观点引导提问：给定输入主题，STORM 通过调查类似主题的现有文章来发现不同的观点，并使用它们来控制提问过程。
  2. 模拟对话：STORM 模拟维基百科作者和基于互联网资源的主题专家之间的对话，使语言模型能够更新其对主题的理解并提出后续问题。
基于两个阶段的分离，STORM 使用dspy以高度模块化的方式实现。

STORM 是一个知识管理引擎，由 4 个模块组成：

  1. 知识管理模块：收集有关给定主题的广泛信息。
  2. 大纲生成模块：通过为策划的知识生成分层大纲来组织收集的信息。
  3. 文章生成模块：用收集到的信息填充生成的大纲。
  4. 文章润色模块：完善和增强书面文章，以更好地呈现。

cap
实现即时屏幕共享。开源且跨平台。 

Cap 是 Loom 的开源替代品。它是一款视频消息工具，可让您在几秒钟内录制、编辑和共享视频。

在这个由 Turborepo 驱动的 monorepo 中，我们结合使用了 Rust、React (Next.js)、TypeScript、Tauri、Drizzle (ORM)、MySQL、TailwindCSS。
应用：

套餐：
  • ui：React共享组件库。
  • utils：React共享实用程序库。
  • tsconfig：tsconfig整个 monorepo 使用的共享配置。
  • database：React和Drizzle ORM共享数据库库。
  • config：eslint配置（包括eslint-config-next、eslint-config-prettier整个 monorepo 中使用的其他配置）。

4、Pipecat
用于语音和多模式会话 AI 的开源框架。

pipecat是构建语音（和多模式）对话代理的框架。比如私人教练、会议助理、儿童讲故事玩具、客户支持机器人、摄入流程和尖刻的社交伙伴。


5、PGMQ
轻量级消息队列。类似于 AWS SQS 和 RSMQ，但在 Postgres 上。 

特征

  • 轻量级 - 没有后台工作人员或外部依赖项，只有打包在扩展中的 Postgres 函数
  • 保证在可见性超时内将消息“恰好一次”传递给消费者
  • API 与AWS SQS和RSMQ同等
  • 消息保留在队列中，直到明确删除
  • 消息可以存档，而不是删除，以实现长期保留和可重玩性

pgmq 保证在可见性超时内只传送一次消息。可见性超时是指消息在被消费者读取后对其他消费者不可见的时间量。如果消息在可见性超时内没有被删除或存档，它将再次变得可见并且可以被其他消费者读取。

如果要使用 pgmq 分区队列，则需要安装 pg_partman。

6、Freeter
最智能的计算机工作方式。

Freeter是一个免费的开源组织者，适合那些在计算机上工作的人。将工作所需的一切收集在一个地方，按项目和工作流程进行组织，并通过Ctrl or Cmd+ Shift+F按键或托盘图标快速访问它们。在项目和工作流程之间轻松切换，并专注于当前需要做的事情。

支持的操作系统

  • Linux；大多数发行版；英特尔 64 位。
  • Windows 10 及更高版本；英特尔 64 位。
  • Mac 操作系统 10.15 及更高版本；英特尔和苹果芯片。


7、goldboot
桌面的不可变基础设施！

人们通常不会经常从头开始重新安装操作系统。当他们这样做的时候，一接触到纯净的桌面或终端，混乱就随之而来。设置被更改，应用程序被安装，臃肿的软件被删除，文件被下载到这里或那里。通过手动点击鼠标和按键，系统通常会从原始状态变为新的 "定制 "状态。

这种标准方法就像可变型基础设施，也就是说，你要反复改变系统的状态，直到它最终满足你的需求。一旦出现问题，就必须进行必要的更改，使其恢复正常。

对大多数人来说，可变基础架构一直都很好用，直到出现重大故障或不得不迁移到新电脑上。在这种情况下，他们可能最终会从头开始，重新应用他们的更改（这次可能会略有不同）。

老练的计算机精英们可能会采用不可变基础架构。这意味着，他们每次启动系统时，系统的状态几乎与之前完全相同。运行过程中的任何更改都会在重启时消失。这种方法确实有一些好处，但需要用户付出相当大的努力。

goldboot 是一款为真实硬件构建机器映像的工具，它可以帮助你实现接近不可变的基础架构，而无需为自己增加大量额外工作。

在 goldboot 方法中，你要为每台要部署的机器创建一个声明式配置文件。使用该配置，goldboot 会在本地机器或 Github Actions 等 CI 平台上构建一个镜像。生成的映像可以通过 USB 驱动器或 PXE 启动部署到真实硬件上。

警告：该工具完全未编译，只能用于测试！请自行承担风险！

8、Kaytu 
Kaytu CLI 通过找到完美的服务器大小来帮助您节省云成本。 Kaytu 分析历史使用情况并提供量身定制的建议，确保您只需为所需的资源付费。

概述

  • 易于使用：一行命令。无需修改工作负载或更改配置即可使用。
  • 基于实际使用情况：通过云原生监控 (CloudWatch) 分析过去 7 天的使用情况，包括高级 AWS CloudWatch 指标（如果可用）。
  • 自定义：针对区域、CPU、内存、网络性能、存储、许可证等进行优化，以满足您的特定要求。
  • 安全——无需共享凭证；从客户端提取所需的指标
  • 开放核心理念使用时无需担心锁定。 CLI已经开源，Server端也即将开源。
  • 即将推出：非交互模式、Azure 支持、GPU 优化、Burst 实例的信用利用率以及来自 Prometheus 的可观测性数据


9、Greenmask
PostgreSQL 数据库匿名工具。

Greenmask是一个功能强大的开源实用程序，专为逻辑数据库备份转储、混淆和恢复而设计。它提供了广泛的备份、匿名化和数据屏蔽功能。

Greenmask 完全用纯 Go 编写，并包含移植的 PostgreSQL 库，使其独立于平台。该工具是无状态的，不需要对数据库架构进行任何更改。它被设计为高度可定制并向后兼容现有的 PostgreSQL 实用程序。

特征

  • 跨平台- 由于其基于 Go 的架构消除了平台依赖性，因此可以在任何平台上轻松构建和执行。
  • 数据库类型安全- 通过验证数据并利用数据库驱动程序进行编码和解码操作，确保数据完整性。这种方法保证了数据格式的保存。
  • 转换验证和易于维护- 在混淆开发过程中，Greenmask 提供验证警告和转换差异功能，使您能够在整个软件生命周期中有效地监控和维护转换。
  • 分区表转换继承- 定义一次转换配置并将其应用于分区表中的所有分区，从而简化了混淆过程。
  • 无状态- Greenmask 作为逻辑转储运行，不会影响现有的数据库架构。
  • 向后兼容- 它完全支持与现有普通 PostgreSQL 实用程序相同的功能和协议。 Greenmask 创建的转储可以使用 pg_restore 实用程序成功恢复。
  • 可扩展- 用户可以灵活地以任何编程语言实现基于域的转换或使用预定义的模板。
  • 声明式- Greenmask 允许您以结构化、易于解析和可识别的格式定义配置。
  • 可集成- 将 Greenmask 无缝集成到您的 CI/CD 系统中，以实现自动数据库混淆和恢复。
  • 并行执行- 利用并行转储和恢复，显着减少交付结果所需的时间。
  • 提供多种存储- Greenmask 为本地和远程数据存储提供多种存储选项，包括目录和类似 S3 的存储解决方案。


10、llm-ui
LLM 的 React 库。

特征

  • 删除损坏的 Markdown 语法
  • 将您自己的自定义组件添加到 LLM 输出。
  • 节流可以消除 LLM 流式输出中的暂停
  • 以本机帧速率渲染输出
  • Shiki适用于每种语言的代码块
  • 无头：带来你自己的风格


11、mactop
mactop 是一个基于终端的监控工具“top”，旨​​在显示 Apple Silicon 芯片的实时指标。 

它提供了一种简单有效的方法来直接从您的终端监控 CPU 和 GPU 使用情况、E 核和 P 核、功耗以及其他系统指标！

兼容性

  • 仅限 Apple Silicon (ARM64)
  • macOS 蒙特利 12.3+
特征
  • 用 Go Lang 编写的 Apple Silicon Monitor Top（代码少于 1,000 行）
  • 实时CPU和GPU电量使用情况显示。
  • 不同 CPU 集群（E 核和 P 核）的详细指标。
  • 内存使用情况和交换信息。
  • 网络使用信息
  • 磁盘活动读/写
  • 易于阅读的终端用户界面
  • 两种布局：默认布局和替代布局
  • 可自定义的 UI 颜色（绿色、红色、蓝色、青色、洋红色、黄色和白色）
  • 可自定义更新间隔（默认为1000ms）
  • 支持所有 Apple Silicon 型号。


12、Glance
一个自托管仪表板，可将您的所有源放在一个位置。

各种小部件

  • RSS订阅
  • Reddit 子版块帖子
  • 天气
  • 书签
  • 来自特定频道的最新 YouTube 视频
  • 日历
  • 股票
  • iframe
  • Twitch 频道和热门游戏
  • GitHub 发布
  • 存储库概述
  • 网站监控
快速且轻便
  • 最少的 JS，没有臃肿的框架
  • 依赖很少
  • 单个、易于分发的 <15mb 二进制文件，就像小型 docker 容器一样
  • 所有请求都是并行的，未缓存的页面通常在约 1 秒内加载（取决于互联网速度和小部件的数量）


13、Frame
Frame 是一种 Markdown 语言，用于在 Python 中创建状态机（自动机）以及生成 UML 文档。

该项目包含用于构建框架语言转译器 - Framepiler的代码。 Framepiler 用 Rust 编写，并将 Frame 规范文档转换为 Python（即将推出更多语言）以及 UML 状态图。


14、UXsim
UXsim是一个用 Python 编写的免费、开源的宏观和细观网络流量模拟器。它模拟汽车旅行者的运动和道路网络中的交通拥堵。它适合模拟大规模（例如城市规模）的交通现象。 UXsim 由于其简单、轻量级和可定制的功能，对于科学和教育目的特别有用，但用户可以自由地将 UXsim 用于任何目的。

15、itrm
该库提供了多个函数，可以将数据很好地打印到终端。 

该库提供了多个函数，用于将数据很好地打印到终端。MatPlotLib 是一个非常不错的库，但有时可能有点繁琐，因为你需要的只是一些快速而肮脏的东西。

  • 每个独立的图都需要用 plt.figure() 语句来引入。
  • 大型数据集的渲染速度会很慢。
  • 如果在终端上以全屏方式工作，绘图可能会把你拉到另一个窗口，这可能会令人讨厌。
  • 执行任何 plt.show() 命令后，整个 python 程序和终端都会被锁定，直到关闭所有图形窗口。
  • 除非将图形保存到单独的文件中，否则没有缓冲区来显示过去运行的图形。
  • 有时也无法使用缓冲区，例如通过 SSH 在服务器上运行代码时。

16、drf-api-action
drf-api-action 使用 action_api 夹具提升了 Django Rest Framework 测试，将 REST 端点测试简化为无缝、类似函数的体验。
借助 api_action ，该包使您能够轻松测试 REST 端点，就像它们是常规函数一样。
特征：

  • 简化测试：使用 api_action 插件测试 DRF REST 端点，将它们视为常规函数。
  • 无缝集成：您不需要在现有服务器代码中执行任何操作。
  • 轻松调试：client获取导致错误的真实回溯，而不是使用默认的 drf 测试对象获取带有错误代码的响应。
  • 分页支持：通过使用参数轻松地分页page。


17、TimesFM
TimesFM（时间序列基础模型）是 Google Research 开发的用于时间序列预测的预训练时间序列基础模型。

18、piko
Ngrok 的开源替代品，旨在服务生产流量并且易于托管（特别是在 Kubernetes 上）

例如，您可以使用 Piko 在客户网络中公开服务、自带云 (BYOC) 服务或连接到 IoT 设备。

代理服务器可以托管为节点集群，以实现容错、扩展和零停机部署。

上游服务连接到 Piko 并注册端点。然后，Piko 将通过其仅出站连接将对端点的请求路由到已注册的上游服务。这意味着您可以在不打开公共端口的情况下公开您的服务。

Piko 旨在服务生产流量，而不是作为测试和开发工具。例如您可以使用 Piko 来：

  • 访问客户网络
  • 构建自带云 (BYOC) 解决方案
  • 访问物联网设备
为了支持这一点，Piko 可以作为节点集群运行，以实现容错、水平扩展并支持零停机部署。它还具有用于监视和调试的可观察性工具。

Piko 旨在轻松托管在 Kubernetes 上。 Piko 集群可以作为 Kubernetes StatefulSet 托管在 HTTP 负载均衡器或 Kubernetes 网关后面。
上游服务连接和代理客户端请求可以负载平衡到集群中的任何节点，Piko 将管理将请求路由到正确的上游。

19、Snaker
用 Go 编写的在线多人经典贪吃蛇游戏
您可以与机器人一起玩双人或单人游戏

20、logdy-core
基于网络的实时日志查看器。使用自动生成的过滤器将任何内容流式传输到 Web UI。使用 TypeScript 解析任何格式。

Logdy 是一个单二进制文件，您可以将其添加到 PATH 中，因此它就像任何其他工具一样可用：grep、awk、sed、jq。无需安装、无需部署、无需编译。