15个本周Github上大模型等有趣项目

15个本周Github上大模型等有趣的项目、工具和库

1、Aider
在终端中进行 AI 配对编程

  • Aider 是一个命令行工具，可让您将程序与 LLM 配对，以编辑存储在本地 git 存储库中的代码。
  • Aider 将直接编辑本地源文件中的代码，并 使用合理的提交消息git 提交更改。
  • 您可以开始一个新项目或使用现有的 git 存储库。
  • Aider 的独特之处在于它允许您请求对现有的更大的代码库进行更改。
  • Aider 与 GPT 3.5、GPT-4、GPT-4 Turbo with Vision 和 Claude 3 Opus 配合良好。它还支持连接到几乎任何 LLM。

以下是一些示例记录，展示了如何通过聊天来aider使用 GPT-4 编写和编辑代码。

2、Morphic
具有生成式用户界面的人工智能驱动的搜索引擎。

请注意，该存储库与官方网站morphic.sh之间存在差异。官方网站是该存储库的一个分支，具有身份验证等附加功能，这是提供在线服务所必需的。 Morphic 的核心源代码位于此存储库中，它的设计目的是轻松构建和部署。使用 Morphic 时，请记住存储库和网站的不同角色。

技术：


3、CoreNet
苹果公司用于训练深度神经网络的库。

CoreNet 是一个深度神经网络工具包，允许研究人员和工程师为各种任务训练标准和新颖的小型和大型模型，包括基础模型（例如 CLIP 和 LLM）、对象分类、对象检测和语义分割。


4、Cria
在本地运行大模型，尽可能减少摩擦。

Cria 是一个通过 Python 以编程方式运行大型语言模型的库。 Cria 的构建使您需要尽可能少的配置 - 即使具有更高级的功能。

  • 简单：开箱即用，无需配置。入门只需五行代码。
  • 简洁：编写更少的代码以节省时间并避免重复。
  • 高效：在您自己的ollama实例或子流程中使用高级功能。

5、lunatik
Lunatik 是一个使用 Lua 编写 Linux 内核脚本的框架。

Lunatik 是一个用 Lua 编写 Linux 内核脚本的框架。它由以下部分组成：

  • 一个设备驱动程序（用 Lua 编写 =）为在内核中运行而修改的 Lua 解释器；
  • 一个命令行工具，用于从用户空间加载和运行脚本以及管理运行时环境；
  • 一个 C API，用于从内核加载和运行脚本以及管理运行时环境；
  • 以及 Lua API，用于将内核设施与 Lua 脚本绑定。


6、Captable
开源 Captable，Carta、Pully、Angelist 等的替代品。

Captable（股权结构表）、Carta、Pully和Angelist都是与初创公司和股权管理相关的工具或平台。

  1. Captable（股权结构表）：一份股权结构表是一份记录了公司所有股东、股东所持股份、每轮融资后的股权结构等信息的文档。这种表格是公司管理者和投资者用来了解公司股权分布的重要工具。
  2. Carta：Carta是一家提供股权管理和投资者服务的公司。它提供了一个在线平台，帮助公司管理其股权结构、员工持股、融资信息等。通过Carta，公司可以方便地进行股权发放、管理股票期权计划、跟踪投资者持股等。
  3. Pully：Pully是一种股权管理工具，旨在帮助初创公司更轻松地管理其股权结构和股东信息。它提供了一套工具，让公司能够追踪股权变化、管理股权发放和转让等。
  4. Angelist：Angelist是一个连接初创公司和投资者的平台，它提供了一系列工具，帮助初创公司进行融资、招募人才等。在Angelist上，投资者可以浏览各种投资机会，而初创公司则可以通过该平台寻找投资者、发布招聘信息等。

Captable, Inc.将遵循 "Open Cap Table Coalition "格式，这是一种开源标准，旨在防止锁定并降低律师费。不作承诺。

  • 数据可移植性：每个联盟成员都将努力遵守开放资本表格式 (OCF)，以便创始人和初创企业运营商可以通过单一资本表格式使用 OCF 提供商、投资者和公司。简而言之，这意味着律师事务所、风险投资公司和其他利益相关者之间不再有混乱的股权结构表交换。
  • 访问格式：看一下开放资本表格式的第一次迭代，这是一种开源格式，旨在开启资本数据管理领域更具协作性的新时代，旨在优先考虑公司不断变化的需求并帮助生态系统变得更加高效

7、Tiron
Tiron是一种易于使用且速度尽可能快的自动化工具。它使用 SSH 实现无代理，并具有用于任务输出的 TUI。这里有一个 Tiron 配置示例。

特征

  • 无 YAML： Tiron 使用HCL作为配置语言。
  • 无代理：通过使用 SSH，Tiron 连接到远程计算机，无需先安装代理。
  • TUI： Tiron 有一个内置的终端用户界面来显示正在运行的任务的输出。
  • 正确性： Tiron 会预先验证所有 Runbook 文件，并在任务开始执行之前抛出错误。
  • 速度：在验证所有输入时，Tiron 还会预先填充任务的所有数据，并将它们一次性发送到远程计算机，以节省客户端和远程计算机之间的往返时间。
  • LSP： Tiron 提供了一个 LSP 服务器，可以提供语法高亮、linting、格式化、代码跳转、补全等功能。


8、bridge
Django 的自动化基础设施。

Bridge 使您能够无缝运行和部署完整 Django 项目所需的所有基础设施。

  • 两行复制粘贴配置
  • 自动配置并连接本地Postgres数据库
  • 本地Redis实例自动配置并连接
  • 本地 Celery 和 Celery Flower 实例自动配置和连接
  • 轻松使用一命令将配置部署到渲染

9、Penzai
用于构建、编辑和可视化神经网络的 JAX 研究工具包。

Penzai 是一个 JAX 库，用于将模型编写为清晰的函数式 pytree 数据结构，以及用于可视化、修改和分析模型的工具。 Penzai 专注于让经过训练的模型变得更容易进行操作，使其成为涉及逆向工程或消融模型组件、检查和探测内部激活、执行模型手术、调试架构等研究的绝佳选择。 （但如果您只想构建和训练模型，您也可以这样做！）

盆（“笔”，托盘） 栽（“在”，种植） -一种古老的中国艺术，以微型方式形成树木和景观，也称为盆景，是日本盆景艺术的祖先。

Penzai 的结构是模块化工具的集合，这些工具一起设计，但每个工具都可以独立使用：

  • penzai.nn( pz.nn)：一个基于组合器的声明性神经网络库，也是 Flax、Haiku、Keras 或 Equinox 等其他神经网络库的替代方案，它公开了模型 pytree 中模型前向传递的完整结构。这意味着您可以通过漂亮地打印模型来查看模型所做的一切，并使用jax.tree_util.与 Equinox 一样，没有什么魔力：模型只是底层可调用的 pytree。
  • penzai.treescope( pz.ts)：一个超级强大的交互式 Python 漂亮打印机，它可以作为普通 IPython/Colab 渲染器的直接替代品。它旨在帮助理解 Penzai 模型和其他深度嵌套的 JAX pytree，并内置对可视化任意维 NDArray 的支持。
  • penzai.core.selectors( pz.select)：pytree 瑞士军刀，将 JAX 的.at[...].set(...)语法推广到任意类型驱动的 pytree 遍历，并且可以轻松地对 Penzai 模型和其他数据结构进行复杂的重写或即时修补。
  • penzai.core.named_axes( pz.nx)：一个轻量级的命名轴系统，它将普通的 JAX 函数提升为对命名轴进行矢量化，并允许您在命名和位置编程风格之间无缝切换，而无需学习新的数组 API。
  • penzai.data_effects( pz.de)：一个用于辅助参数、随机数和状态变量的选择系统，它基于 pytree 遍历而构建，让您能够掌控一切，而不会妨碍编写或使用模型。


10、BeyondLLM
构建、评估和观察 LLM 应用程序。

Beyond LLM 提供了一个用于实验、评估和部署检索增强生成 (RAG) 系统的一体化工具包，通过自动集成、可定制的评估指标以及对各种大型语言模型 (LLM) 的支持来简化流程特定需求，最终旨在减少法学硕士幻觉风险并提高可靠性。

演示如何使用 Beyond LLM 以不到 8 行的代码创建 Chat with YouTube 视频 RAG 应用程序。这8行代码包括：

  • 获取自定义数据源
  • 检索文件
  • 生成 LLM 回复
  • 评估嵌入
  • 评估 LLM 回复


11、Hashquery
用于定义和查询数据仓库中的 BI 模型的 Python 框架。

Hashquery 是一个用于定义和查询数据仓库中的 BI 模型的 Python 框架。
Hashquery 表达式在 Python 中定义，编译为 SQL，并直接针对数据仓库运行。它能够表达复杂的、多层的数据查询，远远超出了标准 SQL 的能力。它本身与上游语义层集成，并且可以与Hashboard一起用作无头 BI 接口。

  • hashquery如何获取数据？ Hashquery 模型被编译为 SQL 并直接针对您的数据仓库运行。后端缓存结果以提高性能，但没有中间数据存储 - 计算全部发生在您自己的基础设施上。
  • 这与 LookML 或 Malloy 等其他分析 DSL 有何不同？ 我们构建 hashquery 是因为我们喜欢 Malloy 等数据建模语言的表达能力和强大功能，但希望避免自定义 DSL 的可移植性和开发人员体验缺陷。 Hashquery 是一个可以在任何地方运行的 Python 包，它可以用作查询语言、语义层或无头 BI API，或者同时用作三者。
  • 我需要成为 Hashboard 用户才能使用 hashquery 吗？ 在测试期间，hashquery SQL 编译器无法在本地运行，因此您需要在 Hashboard 内部定义数据连接并使用其 API 来执行查询。但我们确实计划在不久的将来使完整的 hashquery 堆栈可在本地运行。


12、torchtune
用于 LLM 微调的 Native-PyTorch 库。

torchtune 是一个 PyTorch 原生库，可以轻松地使用 LLM 进行创作、微调和实验。我们很高兴地宣布我们的 alpha 版本！
torchtune 提供：

  • 使用可组合和模块化构建块对流行的 LLM 进行本机 PyTorch 实现
  • 针对流行微调技术（LoRA、QLoRA）的易于使用且可破解的培训方案 - 没有培训师，没有框架，只有 PyTorch！
  • YAML 配置可轻松配置训练、评估、量化或推理方法
  • 内置支持多种流行的数据集格式和提示模板，帮助您快速开始训练

torchtune 专注于与生态系统中的流行工具和库集成。这些只是一些示例，更多示例正在开发中：


13、InstructLab
命令行界面。使用它与模型聊天或训练模型（训练消耗分类数据）

InstructLab 为大型语言模型 (LLM) 使用了一种新颖的基于合成数据的对齐调整方法。Instruct Lab 中的“ lab ”代表聊天机器人 的大型对齐。

ilab是一个命令行界面 (CLI) 工具，允许您：

  1. 下载预先训练的大型语言模型 (LLM)。
  2. 与 LLM 聊天。

要向预训练的法学硕士添加新知识和技能，您必须向配套分类库添加新信息。完成后，您可以：
  1. 用于ilab根据本地taxonomy存储库中的更改生成新的综合训练数据。
  2. 使用新的训练数据重新训练法学硕士。
  3. 与重新培训的法学硕士聊天以查看结果。

整个过程在工作流程图中以图形方式描述。


14、Portr
专为团队设计的开源 ngrok 替代方案

Portr 是一种隧道解决方案，允许您将本地 http、tcp 或 websocket 连接公开到公共互联网。它在底层利用 SSH 远程端口转发来安全地建立隧道连接。

Portr 主要是为希望在公共 URL 上公开开发服务器的小型团队而设计的。不建议与生产服务器一起使用。

15、anthropic-cookbook
展示了使用 Claude 的一些有趣且有效的方法。

Anthropic Cookbook 提供了旨在帮助开发人员使用 Claude 进行构建的代码和指南，并提供了可复制的代码片段，您可以轻松地将其集成到自己的项目中。

要充分利用本食谱中的示例，您需要一个 Anthropic API 密钥（在此处免费注册）。
虽然代码示例主要是用 Python 编写的，但这些概念可以适用于任何支持与 Anthropic API 交互的编程语言。