本周11个大语言模型工具如MindGraph

本周大模型、AIGC和数据科学的有趣项目、工具：

1、Grok-1
马斯克的Grok 公开发布。

Grok-1 目前设计有以下规格：

  • 参数： 314B
  • 架构： 8 名专家的组合 (MoE)
  • 专家利用率：每个token使用 2 名专家
  • 层数： 64
  • 注意头： 48 个用于查询，8 个用于键/值
  • 嵌入大小： 6,144
  • 标记化：具有 131,072 个标记的 SentencePiece 标记生成器
  • 附加功能：
    • 旋转嵌入 (RoPE)
    • 支持激活分片和8位量化
  • 最大序列长度（上下文）： 8,192 个标记

2、Skyvern
利用 LLM 和计算机视觉实现基于浏览器的工作流程自动化。

Skyvern使用大模型和计算机视觉自动化基于浏览器的工作流程。它提供了一个简单的 API 端点来完全自动化手动工作流程，取代脆弱或不可靠的自动化解决方案。

传统的浏览器自动化方法需要为网站编写自定义脚本，通常依赖 DOM 解析和基于 XPath 的交互，只要网站布局发生变化，这些脚本就会中断。

Skyvern 不仅仅依赖于代码定义的 XPath 交互，而是添加了计算机视觉和 LLM，以实时解析视口中的项目、创建交互计划并与它们进行交互。

这种方法给我们带来了一些优势：

  1. Skyvern 可以在以前从未见过的网站上运行，因为它能够将视觉元素映射到完成工作流程所需的操作，而无需任何自定义代码
  2. Skyvern 能够抵抗网站布局更改，因为我们的系统在尝试导航时没有预先确定的 XPath 或其他选择器
  3. Skyvern 利用法学硕士通过交互进行推理，以确保我们能够应对复杂的情况。示例包括：[list=1]
  4. 如果您想从 Geico 获得汽车保险报价，请参阅常见问题“您有资格在 18 岁时开车吗？”的答案。可以从 16 岁时获得驾照的驾驶员推断出
  5. 如果您进行竞争对手分析，就会发现 7/11 的 Arnold Palmer 22 盎司罐头几乎肯定与 Gopuff 的 23 盎司罐头产品相同（尽管尺寸略有不同，这可能是舍入误差！）

Skyvern 的灵感来自于BabyAGI和AutoGPT流行的任务驱动自主代理设计——它有一个主要好处：我们让 Skyvern 能够使用Playwright等浏览器自动化库与网站进行交互。

3、MindGraph
利用人工智能生成和查询不断扩展的知识图谱的概念验证原型。

这是一个概念验证、开源、API 优先、基于图形的项目，专为自然语言交互（输入和输出）而设计。该原型可作为构建和定制您自己的 CRM 解决方案的模板，重点关注易于集成和可扩展性。

特点：

  • 实体管理：实体存储在内存图表中，以便快速访问和操作，允许对人员、组织及其相互关系进行 CRUD 操作。
  • 集成触发器：可以通过 HTTP 请求触发自定义集成功能，使 CRM 能够与外部系统交互或运行其他处理。
  • 搜索功能：可以使用自定义查询参数轻松搜索实体及其关系。
  • 人工智能就绪：设计时考虑了人工智能集成，促进智能数据处理和决策的结合。

前端：

  • 图形可视化：使用 Cytoscape.js 进行交互式图形渲染。
  • 动态数据交互：支持实时数据获取、添加和图形更新，无需重新加载页面。
  • 搜索和突出显示：允许用户搜索节点、突出显示和列出匹配项。搜索表单现在被双重用于自然语言查询，这实际上没有意义，但却是展示功能的快速方法。 （这旨在用作 API，前端用于演示目的）
  • 数据提交表单：包括自然语言、URL 输入和 CSV 文件上传的表单。
  • 响应式设计：适应各种设备和屏幕尺寸。

工作流程

  • 初始化：在页面加载时，使用样式和布局初始化图表。
  • 用户交互：通过界面，用户可以：
  • 搜索节点，结果在图表中突出显示并在侧栏中列出。
  • 使用支持各种输入方法的表单添加数据。
  • 刷新图表以反映最新的后端数据。
  • 数据处理：用户输入被发送到后端，进行处理和集成，并相应更新前端图形可视化。

模式驱动的知识图谱创建
MindGraph 利用schema.json文件来定义其知识图中实体的结构和关系。该模式充当将自然语言输入解释和构建为连贯图形格式的蓝图。它详细说明了节点的类型（例如，人员、组织、概念）以及它​​们之间可能的关系，确保生成的知识图遵循一致的格式。这种方法允许对自然语言输入进行自动化、人工智能驱动的处理，以生成反映输入文本中固有的复杂相互关系的结构化数据。

  • 一致性：确保自然语言输入生成的所有知识图都遵循相同的结构规则，使数据集成和解释更加简单。
  • 灵活性：允许通过修改轻松更新和扩展知识图谱结构schema.json，而不需要更改代码库。
  • AI 集成：通过为预期输出提供清晰的结构，促进使用先进的 AI 模型进行自然语言处理，从而增强应用程序从非结构化数据中获取有意义的见解的能力。

数据库集成和使用
MindGraph支持灵活的数据库集成，增强其数据存储和检索能力。 MindGraph 开箱即用，支持内存数据库和更强大的基于云的选项 NexusDB。这种灵活性可以轻松适应不同的部署环境和用例。
支持的数据库

  • InMemoryDatabase：一种简单的内存中图形数据结构，用于快速原型设计和测试。由于其非持久性，不建议用于生产用途。
  • NexusDB：一款一体化云数据库，设计用于存储图形、表格、文档、文件、矢量等。提供共享知识图谱以进行全面的数据管理和分析。配置数据库
  • NebulaGraph：分布式、可扩展、快如闪电的图形数据库，支持实时查询和分析。非常适合大规模图形数据存储和处理。

4、Chronos
Chronos 是一系列基于语言模型架构的预训练时间序列预测模型。用于时间序列概率预测的预训练（语言）模型。

  • 通过缩放和量化将时间序列转换为标记序列，并使用交叉熵损失对这些标记进行语言模型的训练。
  • 经过训练后，可以通过在给定历史背景下对多个未来轨迹进行采样来获得概率预测。
  • Chronos 模型已经在大量公开的时间序列数据以及使用高斯过程生成的合成数据上进行了训练。


5、LaVague
通过将自然语言指令转换为无缝的浏览器交互来重新定义互联网冲浪。利用大型行动模型框架实现自动化。

LaVague 旨在代表用户自动执行琐碎的任务。其中许多任务都是重复性的、耗时的，并且几乎不需要认知努力。通过自动化这些任务，LaVague 旨在腾出时间来做更有意义的事情，让用户专注于对他们真正重要的事情。

通过提供将自然语言查询转换为 Selenium 代码的引擎，LaVague 旨在使用户或其他 AI 能够轻松地自动化轻松表达的 Web 工作流程并在浏览器上执行它们。

我们看到的关键用途之一是自动执行用户个人需要登录的任务，例如自动化支付账单、填写表格或从特定网站提取数据的过程。

LaVague 基于开源项目构建，并利用本地或远程的开源模型，以确保代理的透明度并确保其符合用户的利益。

特点

  • 自然语言处理：理解自然语言指令以执行浏览器交互。
  • Selenium 集成：与 Selenium 无缝集成，以实现 Web 浏览器自动化。
  • 开源：基于 Transformer 和 llama-index 等开源项目构建，并利用本地或远程的开源模型，以确保代理的透明度并确保其符合用户的利益。
  • 隐私和控制的本地模型：支持本地模型，Gemma-7b以便用户可以完全控制他们的AI助手并有隐私保障。
  • 高级 AI 技术：首先使用本地嵌入 ( bge-small-en-v1.5) 执行 RAG 来提取最相关的 HTML 片段，以提供回答查询的 LLM，因为直接删除完整的 HTML 代码不适合上下文。然后利用少样本学习和思想链来引出最相关的 Selenium 代码来执行操作，而无需微调 LLM ( Nous-Hermes-2-Mixtral-8x7B-DPO) 来生成代码。

6、DarkGPT
DarkGPT 是一款基于 GPT-4-200K（推荐使用）的开源情报助手，旨在对泄露的数据库执行查询，从而提供可在传统开源情报流程中发挥作用的人工智能助手。

7、phospho
Phospho 是 LLM 应用程序的文本分析平台。检测问题并从用户或应用程序的短信中提取见解。收集用户反馈并衡量成功。迭代您的应用程序，为您的用户创造最佳的对话体验。

用于 LLM 应用程序的文本分析。用于提示的 PostHog。phospho 利用 LLM（OpenAI、MistralAI、Ollama 等）。

特点：

  • 灵活的日志记录
  • 自动评价
  • 洞察提取
  • 数据可视化

该存储库包含平台前端、API 后端和见解提取管道的实现。

  • phospho-python：带有分析引擎的Python客户端
  • extractor：包装分析引擎的FastAPI分析服务
  • backend：FastAPI后端
  • platform: NextJS 前端
  • internal-tools：平台管理工具


8、LLM4Decompile
使用大型语言模型反编译二进制代码。

  • LLM4Decompile是致力于反编译的开创性开源大型语言模型。其当前版本支持将 Linux x86_64 二进制文件（从 GCC 的 O0 到 O3 优化级别）反编译为人类可读的 C 源代码。我们的团队致力于扩展该工具的功能，并不断努力纳入更广泛的架构和配置。
  • Decompile-Eval是第一个反编译基准测试，重点评估反编译代码的可重编译性和可重执行性方面。它是 HumanEval 数据集的 C 语言改编版，提供了一套 C 解决方案和断言来评估反编译代码的实际效用。

指标

  • 可重新编译性评估反编译代码是否可以使用原始编译器设置和配置成功重新编译。
  • 可重执行性评估反编译后的代码是否可以正确执行并通过所有预定义的测试用例。

可重编译性和可重执行性是验证反编译过程有效性的关键指标。当反编译的代码可以重新编译时，它提供了语法完整性的有力证据。它确保反编译的代码不仅可读，而且遵守编译器期望的结构和语法标准。然而，语法本身并不能保证与原始预编译程序的语义等效。可重执行性提供了语义正确性的关键衡量标准。通过重新编译反编译的输出并运行测试用例，我们评估反编译是否保留了程序逻辑和行为。可重编译性和可重执行性共同表明语法恢复和语义保留——这对于可用和健壮的反编译来说都是至关重要的。


9、sqlelf
一个利用 SQLite 虚拟表功能的工具，允许您通过 SQL 探索 Linux ELF 对象。

传统上探索 ELF 文件仅限于objdump或 等工具readelf。虽然这些工具的解析功能功能齐全，但输出格式和提出探索性问题的能力有限。

SQL是以陈述性方式提出问题的通用语言。让我们增强内省二进制文件的能力！


10、Magix
Magix 是一个简约的工具包，用于通过灵活的数据和模型并行训练 LLM。

利用模型并行性为 huggingface 转换器增效。

特点：

  • 在 GPU 和 TPU 上训练数十亿规模的大模型。
  • 熟悉的 Huggingface 模型接口和生态系统（数据集、集线器等）。
  • 适用于 Llama、Mistral、Gemma 等流行模型的预定义模型并行（分片）规则。
  • 通过闪光注意力和操作融合进行加速。
  • 通过任意设备和并行设计快速检查点保存/恢复。

11、generator-jhipster-llm
这是一个使用 LLM 快速轻松生成 Spring Boot 应用程序代码的工具。对于代码生成，它利用JHipster，它可以输出 Spring Boot 应用程序代码的各种变体。 LLM的代码生成是通过使用Blueprint功能来实现的，它扩展了JHipster的代码生成功能。
该工具输出以下代码：

  • Spring Boot应用服务器的代码，包括构建工具等开发环境（JHipster的一项功能）
  • OpenAI API 兼容服务器的代码
    • 使用OpenAPI 规范和OpenAPI 生成器的[url=https://platform.openai.com/docs/api-reference/chat]OpenAI 聊天完成 API[/url]的代码
      • 根据用户选择 Flux 还是 Spring MVC，它使用服务器发送事件进行流式传输来输出聊天响应代码
  • 使用Spring AI支持的 LLM 库进行代码。目前，它支持以下内容：
  • 下载所选的LLM模型
  • 聊天 UI 客户端简介