cdc-file-transfer:从Windows同步文件到Linux的传输工具


这个存储库包含用于将文件从 Windows 同步和流式传输到 Linux 的工具。它们基于内容定义分块 (CDC),特别是 FastCDC,将文件分成块。
谷歌开发了两个工具cdc_rsync和cdc_stream,它们使开发人员能够快速迭代他们的游戏,而无需重复承担传输数十 GB 的成本。

cdc_rsync
cdc_rsync是一个将文件从 Windows 机器同步到 Linux 设备的工具,类似于标准的 Linux rsync。它基本上是一个复制工具,但针对目标目录中已有旧版本文件的情况进行了优化。

  • 如果时间戳和文件大小匹配,它会快速跳过文件。
  • 它对所有数据传输使用快速压缩。
  • 如果文件发生更改,它会确定更改了哪些部分并仅传输差异部分。

cdc_stream
cdc_stream是一种将文件和目录从 Windows 机器流式传输到 Linux 设备的工具。从概念上讲,它类似于sshfs,但针对读取速度进行了优化。

  • 它在 Linux 设备上缓存流数据。
  • 如果文件在 Windows 上更改后在 Linux 上重新读取,则只会再次流式传输差异。其余的从缓存中读取。
  • 由于目录元数据(文件名、权限等)以流式友好的方式提供,因此统计操作非常快。
为了有效地确定文件的哪些部分发生了更改,该工具使用与cdc_rsync. Windows 文件的更改几乎会立即反映在 Linux 上,延迟大约为(0.5s + 0.7sx 更改文件的总大小(以 GB 为单位))。

从 最新版本下载预编译的二进制文件。我们目前提供在 Github 的最新 Ubuntu版本上编译的 Linux 二进制文件。如果二进制文件适合您,您可以跳过以下两节。
或者,可以从源代码构建项目。一些二进制文件必须在 Windows 上构建,一些在 Linux 上构建。

​​​​​​​项目点击标题