本周Github上17款有趣项目LLocalSearch等

本周Github上有趣的项目、工具和库

1、LLocalSearch
LLocalSearch 是一个使用 LLM 代理的完全本地运行的搜索聚合器。用户可以提出问题，系统将使用一系列大模型来找到答案。用户可以看到代理的进度和最终的答案。
不需要 OpenAI 或 Google API 密钥。 

特征

•  完全本地化（无需 API 密钥）
•  在“低端”LLM 硬件上运行（演示视频使用 7b 模型）
•  进度日志，可以更好地了解搜索过程
•  后续问题
•  移动友好界面
•  使用 Docker Compose 快速轻松地部署
•  Web 界面，允许从任何设备轻松访问
•  手工制作的 UI，具有浅色和深色模式

2、ClangQL
Clang AST Query Language：ClangQL 是一个工具，允许您使用 GitQL SDK 对 C/C++ 代码而不是数据库文件运行类似 SQL 的查询。

请注意，ClangQL 中的所有关键字都不区分大小写，与 SQL 类似。

SELECT 1
SELECT 1 + 2
SELECT LEN("File Query Language")
SELECT "One" IN ("One", "Two", "Three")
SELECT "File Query Language" LIKE "%Query%"

SELECT * FROM functions
SELECT COUNT(name) from functions WHERE return_type = "int"
SELECT DISTINCT name AS function_name FROM functions

3、llm.c
使用简单、原始的 C/CUDA 进行大模型培训。

不需要 245MB 的 PyTorch 或 107MB 的 cPython。例如，训练 GPT-2（CPU，fp32）的单个文件中就有 ~1,000 行简洁的代码。它能立即编译和运行，与 PyTorch 的参考实现完全一致。

我之所以选择 GPT-2 作为第一个工作示例，是因为它是 LLM 的鼻祖，是现代堆栈的首次组合。

在doc/layernorm/layernorm.md中附加了一个非常小的教程。这是一个简单的分步指南，用于实现 GPT-2 模型的单层（layernorm 层）。这是理解如何在 C 中实现层的一个很好的起点。

目前，正在研究

• 直接使用 CUDA 实现，这将大大提高速度，并可能接近 PyTorch。
• 使用 SIMD 指令加速 CPU 版本，X86 上的 AVX2 / ARM 上的 NEON（如 Apple Silicon）。
• 更现代的架构，如 Llama2、Gemma 等。
• 对于 repo，我希望同时维护干净、简单的参考实现，以及更优化的版本，这些版本可以接近 PyTorch，但代码和依赖性只占很小一部分。

4、uncch
隐藏带有不可见 Unicode 字符的消息。

unch允许您使用 VARIATION SELECTOR-17 ( E0100) 到 VARIATION SELECTOR-25 ( E01EF) 将一个字符串隐藏在另一个字符串中。它支持对包含超出标准 ASCII 范围的字符的字符串进行编码。

5、gram
Gram 是 Klarna 自己的威胁模型图表工具。

由 Klarna 的安全开发团队内部开发。它是一个 Web 应用程序，可供工程师协作为其系统创建威胁模型，提供一种易于理解的方式将系统记录为附加威胁/控制的数据流图。

特点

• 专门用于威胁建模的全功能图表工具。
• 通过 websocket 与多个用户协作编辑
• 与您的系统/资产库存紧密结合
• 根据您的技术堆栈自动提出威胁和控制建议
• 审查安全冠军使用的系统并确保模型质量
• 集成 Jira 和 SSO (Okta) 等无聊的企业内容

6、AutoMQ
Apache Kafka 的云原生实现，可将您的云基础设施费用减少高达 90%。 

手动在云上运行 AutoMQ：使用云上发布的tgz文件手动部署AutoMQ，目前兼容AWS、阿里云、腾讯云、华为云、百度云。

AutoMQ 使用 logSegment 作为 Apache Kafka 的代码方面来融入我们的功能。该架构包括以下主要组件：

• S3Stream：AutoMQ 提供的基于对象存储的流媒体库。它是AutoMQ的核心组件，负责向对象存储读写数据。了解更多。
• Stream：Stream 是映射 Apache Kafka 的 logSegment 的抽象。 LogSegment的数据、索引和其他元数据将映射到不同类型的流。了解更多
• 持久缓存层：AutoMQ使用AWS EBS等小型云块存储作为持久缓存层来加速写入。请注意，这不是分层存储，AutoMQ 代理可以与持久缓存层完全解耦。了解更多
• 流对象：AutoMQ的数据是按流对象组织的。通过索引通过流对象id读取数据。一个流有一个流对象。了解更多
• 流集对象：流集对象是小流对象的集合，旨在减少 API 调用时间和元数据大小。了解更多

7、pgmock
pgmock是一个内存中的 PostgreSQL 模拟服务器，用于单元和 E2E 测试。它不需要外部依赖项，并且完全在 Node.js 和浏览器上的 WebAssembly 中运行。

可以像这样运行内存服务器：

import { PostgresMock } from "pgmock";

const mock = await PostgresMock.create();
const connectionString = await mock.listen(5432);

它是如何工作的？

在 WebAssembly 中运行 Postgres 有两种方法；

• 通过分叉它来原生支持 WASM
• 通过在 x86 模拟器中模拟 Postgres 服务器。

为了防止测试和生产之间的差异，并且由于性能通常不是测试中关注的问题，pgmock目前使用后一种方法。在中期，一旦原生 Postgres WASM 分支成熟，我们计划提供这两个选项，并最终默认切换到原生 WASM。除了内部的 API 之外，我们预计不会有太多重大更改PostgresMock.subtle。

pgmock与之前的浏览器中的 Postgres 项目不同，它完全在 JavaScript 运行时内提供完整的功能兼容性，而不依赖于网络代理进行通信。我们通过在 JavaScript 中模拟网络堆栈来实现这一点，该堆栈的行为类似于真实网络，即使在不允许原始套接字访问的平台上也可以模拟 TCP 连接。

8、Plandex
一个用于复杂任务的开源、基于终端的人工智能编码引擎。

Plandex 使用长时间运行的代理来完成跨多个文件且需要多个步骤的任务。它将大任务分解为更小的子任务，然后实现每一个子任务，一直持续到完成工作为止。它可以帮助您处理积压的工作，使用不熟悉的技术，摆脱困境，并花更少的时间在无聊的事情上。

使用大模型构建复杂的软件

•  更改会累积在受保护的沙箱中，以便您可以在自动将它们应用到项目文件之前对其进行查看。内置版本控制允许您轻松返回并尝试不同的方法。分支允许您尝试多种方法并比较结果。
•  在终端中有效管理上下文。轻松将文件或整个目录添加到上下文中，并在工作时自动更新它们，以便模型始终具有项目的最新状态。
•  Plandex 依赖于 OpenAI API，需要OPENAI_API_KEY环境变量。对开源模型、Google Gemini 和 Anthropic Claude 的支持即将推出。使用OPENAI_ENDPOINT 自定义 OpenAI 端点的环境变量。
•  Plandex 支持 Mac、Linux、FreeBSD 和 Windows。它从没有依赖关系的单个二进制文件运行。

特点：

• 超越自动完成功能，利用人工智能构建复杂的功能。
• 使用 ChatGPT 停止以鼠标为中心、复制粘贴的疯狂编码。
• 在终端中有效管理上下文。
• 确保 AI 模型始终在上下文中拥有最新版本的文件。
• 保持对上下文内容以及您使用的令牌数量的精细控制。
• 在应用更改之前，在受保护的沙箱中进行实验、修改和审查。
• 根据需要倒回并重试。
• 探索分支的多种方法。
• 在后台运行任务或并行处理多个任务。
• 尝试不同的模型和模型设置，然后比较结果。

类似的工具：

• Aider
• Mentat
• Pythagora Gpt-pilot
• Sourcegraph Cody
• Continue.dev
• Sweep.dev
• Cursor
• Github Copilot
• Replit Ghostwriter
• Grimoire

9、Kuto
Kuto 使您网站的 JS 更新更好、更快、更难、更强。它通过重复使用您已经发送的代码来减少您的下载大小。    

是一种在网络上传输代码的新颖方法。它允许您重复使用客户已有的代码来发布更新。

Kuto 没有专注于最小化输出或任何幂等的东西，而是采取了不同的路线。

1. 在第一次构建时：
   • Kuto 将源 JS 分成“主要”部分和通常较大的代码“语料库”，该代码没有副作用。
   • 该语料库可以永久缓存，并且其输出名称中包含哈希时间戳。

1. 在每一个进一步的构建中：
   • Kuto还是把JS源码拆出来了
   • 它识别任何现有语料库中可用于“满足”源 JS 的代码
     • 每个语料库要么保持不变，要么随着函数、语句等的变化而缩小