利用快速C++数据处理的Python API


ArcticDB 是一个为 Python 数据科学生态系统构建的高性能、无服务器 DataFrame 数据库。

ArcticDB by Man Group

一个Python API,利用快速C++数据处理

产品特点:

  • - 跨数十亿行高效查询时间序列数据
  • - 40万种证券可以存储在一个符号中
  • - 针对流数据进行优化

ArcticDB是一个为 Python 数据科学生态系统构建的高性能、无服务器DataFrame 数据库。它于 2023 年 3 月推出,是Arctic的继任者。

ArcticDB 提供直观的以 Python 为中心的 API,使您能够利用快速 C++ 数据处理和压缩引擎将 Pandas DataFrame 读取和写入 S3 或 LMDB。

ArcticDB 允许您:

  • Pandas in, Pandas out:无需离开 Python,即可将 Pandas DataFrame、NumPy 数组和本机类型读写到 S3 和 LMDB。
  • 专为时间序列数据而构建:跨数十亿行高效索引和查询时间序列数据
  • 时间旅行:回到过去查看数据的先前版本并创建可自定义的数据库快照
  • 无模式数据库:附加、更新和修改数据而不受现有模式的约束
  • 针对流数据进行优化:内置对高效稀疏数据存储的支持
  • 强大的处理能力:使用类似 Pandas 的语法即时过滤、聚合和创建新列
  • C++ 效率:通过 C++ 数据处理引擎中的并发性加速分析

ArcticDB 处理的行数和列数都很大的数据,因此可以将超过 400,000 种独特证券的 20 年历史存储在单个交易品种中。每个符号都作为一个单独的实体进行维护,没有共享数据,这意味着 ArcticDB 可以跨符号水平扩展,从而最大限度地提高计算、存储和网络的性能潜力。

ArcticDB 从一开始就被设计为具有弹性;不存在单点故障,存储中的持久数据结构意味着一旦写入符号版本,它就永远不会被后续更新破坏。将压缩数据直接从存储拉取到客户端意味着服务器不会过载,因此您的数据在需要时始终可用。