ArcticDB 是一个为 Python 数据科学生态系统构建的高性能、无服务器 DataFrame 数据库。
ArcticDB by Man Group
一个Python API,利用快速C++数据处理
产品特点:
- - 跨数十亿行高效查询时间序列数据
- - 40万种证券可以存储在一个符号中
- - 针对流数据进行优化
ArcticDB是一个为 Python 数据科学生态系统构建的高性能、无服务器DataFrame 数据库。它于 2023 年 3 月推出,是Arctic的继任者。
ArcticDB 提供直观的以 Python 为中心的 API,使您能够利用快速 C++ 数据处理和压缩引擎将 Pandas DataFrame 读取和写入 S3 或 LMDB。
ArcticDB 允许您:
- Pandas in, Pandas out:无需离开 Python,即可将 Pandas DataFrame、NumPy 数组和本机类型读写到 S3 和 LMDB。
- 专为时间序列数据而构建:跨数十亿行高效索引和查询时间序列数据
- 时间旅行:回到过去查看数据的先前版本并创建可自定义的数据库快照
- 无模式数据库:附加、更新和修改数据而不受现有模式的约束
- 针对流数据进行优化:内置对高效稀疏数据存储的支持
- 强大的处理能力:使用类似 Pandas 的语法即时过滤、聚合和创建新列
- C++ 效率:通过 C++ 数据处理引擎中的并发性加速分析
ArcticDB 处理的行数和列数都很大的数据,因此可以将超过 400,000 种独特证券的 20 年历史存储在单个交易品种中。每个符号都作为一个单独的实体进行维护,没有共享数据,这意味着 ArcticDB 可以跨符号水平扩展,从而最大限度地提高计算、存储和网络的性能潜力。
ArcticDB 从一开始就被设计为具有弹性;不存在单点故障,存储中的持久数据结构意味着一旦写入符号版本,它就永远不会被后续更新破坏。将压缩数据直接从存储拉取到客户端意味着服务器不会过载,因此您的数据在需要时始终可用。