juicefs:一个基于Redis和云对象存储的分布式POSIX文件系统


JuiceFS是基于Redis和云对象存储构建的开源POSIX文件系统,针对云本机环境进行了设计和优化。通过使用广泛采用的Redis和S3作为持久性存储,JuiceFS可以用作无状态中间件,以使许多应用程序轻松共享数据。
突出的功能是:

  • 完全兼容POSIX:JuiceFS是完全兼容POSIX的文件系统。现有的应用程序可以直接使用它。请参阅下面的pjdfstest结果
  • 出色的性能:延迟可以低至几毫秒,并且吞吐量可以扩展到几乎无限。请参阅下面的基准测试结果
  • Cloud Native:通过利用云对象存储,您可以扩展存储和独立计算(也称为分解存储和计算架构)。
  • 共享:JuiceFS是一个共享文件存储,可以由许多客户端读取和写入。
  • 全局文件锁:JuiceFS支持BSD锁(flock)和POSIX记录锁(fcntl)。
  • 数据压缩:默认情况下,JuiceFS使用LZ4压缩所有数据,也可以使用Zstandard

JuiceFS依靠Redis来存储文件系统元数据。Redis是一种快速的开源内存中键值数据存储,非常适合存储元数据。所有数据将通过JuiceFS客户端存储到对象存储中。

支持的对象存储

  • 亚马逊S3
  • 谷歌云存储
  • Azure Blob存储
  • 阿里云对象存储服务(OSS)
  • 腾讯云对象存储(COS)
  • QingStor对象存储
  • Ceph RGW
  • MinIO
  • 本地磁盘
  • redis