本周17个Github有趣项目如Panza等

有趣的项目、工具和库

1、secret-llama
完全私人化的 LLM 聊天机器人,完全通过浏览器运行,无需服务器。支持 Mistral 和 LLama 3.x;

2、VILA
视觉语言模型的预训练,具有训练、推理和评估配方,可从云端部署到边缘(Jetson Orin 和笔记本电脑)。

VILA 推出了吸引人的功能,包括:视频推理、情境学习、视觉思维链和更好的世界知识。

VILA(Visual Language model family)是一个视觉语言模型家族:

  • 在多个基准测试中一致性地超越了现有的最先进模型,例如LLaVA1.5。
  • VILA不仅在视觉语言任务上表现出色,而且还具有多图像推理、增强的上下文学习和更好的世界知识等吸引人的特性。
  • 此外,VILA还可以部署在Jetson Orin上,实现在设备上的VLM。

3、prometheus-eval
使用 Prometheus 评估您的大模型的反应。

  • Prometheus 2 (8x7B)是一个开源的最先进的评估器语言模型!
  • Prometheus 2 (7B)是 Prometheus 2 (8x7B) 模型的轻型版本,具有合理的性能(优于 Llama-2-70B 并与 Mixtral-8x7B 相当)。
    • 达到 Prometheus 2 (8x7B) 至少 80% 的评估统计或性能
    • 它仅需要 16 GB VRAM,适合在消费级 GPU 上运行。

4、LeRobot
适用于现实世界机器人的最先进的机器学习。

  •  LeRobot 旨在为 PyTorch 中的现实世界机器人提供模型、数据集和工具。目标是降低进入机器人技术的门槛,以便每个人都可以做出贡献并从共享数据集和预训练模型中受益。
  • LeRobot 包含最先进的方法,这些方法已被证明可以转移到现实世界,重点是模仿学习和强化学习。
  • LeRobot 已经提供了一组预训练模型、包含人类收集演示的数据集以及无需组装机器人即可开始使用的模拟环境。在接下来的几周内,该计划将在最实惠、功能最强大的机器人上增加对现实世界机器人技术的越来越多的支持。
  • LeRobot 在这个 Hugging Face 社区页面上托管预训练的模型和数据集:huggingface.co/lerobot


5、Panza
个人电子邮件助理,经过培训并在设备上运行。

Panza 是一款根据您的写作风格和过去的电子邮件历史记录定制的自动电子邮件助手。其主要特点如下:

  • Panza 会生成一个与您的写作风格相匹配的微调 LLM,并将其与检索增强生成 (RAG) 组件配对,帮助其生成相关电子邮件。
  • Panza可以完全在本地进行培训和运行。目前,它需要具有 16-24 GiB 内存的单个 GPU,但我们还计划发布仅 CPU 的版本。在培训或执行过程中,您的数据绝不会与培训原始法学硕士的实体、Huggingface 等法学硕士分发服务或我们共享。
  • 训练和执行也很快 - 对于包含 1000 封电子邮件的数据集,训练 Panza 需要不到一个小时,而生成一封新电子邮件最多只需要几秒钟。

先决条件

  • 您的电子邮件已导出为mbox格式。
  • 一台计算机,最好配备 NVIDIA GPU,内存至少为 24 GiB(。
  • 用于下载模型的Hugging Face帐户(免费)。
  • [可选] Hugging Face 帐户,用于在训练期间记录指标(免费)。
  • 基础Python和Unix知识,例如构建环境和运行python脚本。
  • 无需拥有大模型经验。

Panza 的一个关键部分是我们称之为数据回放的数据集生成技术:给定您过去的一些 .mbox 格式的电子邮件,我们通过使用预训练的 LLM 以指令形式总结电子邮件,自动为 Panza 创建训练集;每封电子邮件都会成为一(synthetic instruction, real email)对。给定一个由所有对组成的数据集,我们使用这些对来“回放”您发送的电子邮件:LLM 仅接收指令,并且必须生成“真实情况”电子邮件作为训练目标。

然后,我们使用参数高效的微调在该数据集上本地训练 LLM。我们发现使用RoSA 方法获得了最佳结果,该方法结合了低秩 (LoRA) 和稀疏微调。

一旦我们有了自定义用户模型,Panza 就可以与检索增强生成 (RAG) 模块一起在本地运行。具体来说,此功能将过去的电子邮件存储在数据库中,并提供一些相关电子邮件作为每个新查询的上下文。这使得 Panza 能够更好地插入特定的详细信息,例如作者的联系信息或常用的 Zoom 链接。


6、DrEureka
英伟达的语言模型引导模拟到真实的迁移。

将在模拟中学习到的策略转移到现实世界中,是大规模获取机器人技能的一种有前途的策略。然而,"模拟到现实 "的方法通常依赖于人工设计和调整任务奖励函数以及模拟物理参数,因此过程缓慢且耗费大量人力。

在本文中,我们研究了使用大型语言模型(LLM)来自动加速模拟到现实的设计。我们的 LLM 引导模拟到现实方法只需要目标任务的物理模拟,并自动构建合适的奖励函数和领域随机化分布,以支持现实世界的转移。

我们首先展示了我们的方法可以发现模拟到现实的配置,这些配置在四足运动和灵巧操作任务上与现有的人类设计的配置具有竞争力。然后,我们展示了我们的方法能够解决新颖的机器人任务,例如四足平衡和在瑜伽球上行走,而无需反复的人工设计。


7、SATO
稳定的文本转动画框架。

稳定文本到运动框架(SATO) 由三个模块组成,每个模块致力于稳定注意力、稳定预测以及保持准确性和鲁棒性权衡之间的平衡。

  • 文本到运动模型的一个重大问题:它的预测经常表现出不一致的输出,当呈现语义相似或相同的文本输入时,会导致截然不同甚至不正确的姿势。
  • SATO 对于同义词和其他轻微扰动明显更加稳定,同时保持其高精度性能。

8、LlamaParse
解析文件以获得最佳 RAG:LlamaParse 是由 LlamaIndex 创建的 API,用于使用 LlamaIndex 框架高效地解析和表示文件,以实现高效检索和上下文增强。

9、Opengist
由 Git 支持的自托管 pastebin,Github Gist 的开源替代方案。支持 Mistral 和 LLama 3. 

10、gpt-home
一个类似免费开源的家庭助理。使用 OpenAI API 在 Raspberry Pi 上构建。

11、PgQueuer
PgQueuer 是一个利用 PostgreSQL 实现高效作业排队的 Python 库。

PgQueuer 是一个简约的、高性能的 Python 作业队列库,利用了 PostgreSQL 的稳健性。 PgQueuer 专为简单和高效而设计,使用 PostgreSQL 的 LISTEN/NOTIFY 轻松管理作业队列。
特征

  • 简单集成:使用 PostgreSQL 轻松与现有 Python 应用程序集成。
  • 高效的并发处理:利用 PostgreSQLFOR UPDATE SKIP LOCKED进行可靠的并发作业处理。
  • 实时通知:利用LISTEN并NOTIFY实时更新工作状态变化。

12、relax-py
用于 htmx 和 tailwindcss 的 Python Web 开发框架,具有热模块替换、URL 定位器、依赖项注入,由静态类型支持,构建在 Starlette 之上。


13、OpenUI
OpenUI 可让您用想象力描述用户界面,然后看到它的实时呈现。

14、Snaker

  • 用 Go 编写的在线多人经典贪吃蛇游戏
  • 您可以与机器人一起玩双人或单人游戏

15、Logfire 
适用于 Python 及其他领域的简单可观察性!

来自 Pydantic 背后的团队,Logfire是一个可观察性平台,其构建与我们的开源库有着相同的信念——最强大的工具应该易于使用。
Logfire 的与众不同之处在于:

  • 简单而强大: Logfire 的仪表板相对于它提供的功能来说很简单,确保您的整个工程团队都会真正使用它。
  • 以 Python 为中心的见解:从丰富的 Python 对象显示到事件循环遥测,再到分析 Python 代码和数据库查询,Logfire 为您提供了对 Python 应用程序行为的无与伦比的可见性。
  • SQL:使用标准 SQL 查询数据 — 所有控制,(对于许多人来说)没有什么新东西需要学习。使用 SQL 还意味着您可以使用现有 BI 工具和数据库查询库查询数据。
  • OpenTelemetry: Logfire 是 OpenTelemetry 的一个固定包装器,允许您利用许多常见 Python 包的现有工具、基础设施和仪器,并支持几乎任何语言。
  • Pydantic 集成:了解流经 Pydantic 模型的数据并获得内置的验证分析。


16、Bytewax
Bytewax 是一个简化事件和流处理的 Python 框架。

Bytewax 是一个简化事件和流处理的 Python 框架。由于 Bytewax 将 Flink、Spark 和 Kafka Streams 的流和事件处理功能与 Python 友好且熟悉的界面结合在一起,因此您可以重复使用您已经了解和喜爱的 Python 库。连接数据源、运行有状态转换并使用内置连接器或现有 Python 库写入各种不同的下游系统。

Bytewax 是一个 Python 框架和 Rust 分布式处理引擎,使用数据流计算模型提供类似于 Flink、Spark 和 Kafka Streams 的可并行流处理和事件处理能力。您可以将 Bytewax 用于各种工作负载,从 Kafka Connect 风格的数据移动一直到高级在线机器学习工作负载。 Bytewax 不仅限于流应用程序,而且在数据可以在输入和输出处分发的任何地方都表现出色。

Bytewax 有一个附带的命令行界面,waxctl,它支持在云服务器或 Kubernetes 上部署数据流。你可以在这里下载。

17、django-harlequin
使用 Django 数据库配置启动 Harlequin,终端的 SQL IDE。

  • 支持 Python 3.8 至 3.12。
  • 支持 Django 3.2 至 5.0。
  • 支持的数据库后端:MariaDB/MySQL、PostgreSQL、SQLite。