Java中读取文件6种内存安全方式

Java 提供了强大的文件处理工具。但在处理海量文件时，传统方法很快就会遇到内存限制。这可能会导致程序崩溃并影响性能。本指南探讨了在 Java 中读取大文件而不占用系统内存的技术。

我们将深入研究分块处理数据的策略，避免一次加载整个文件的需要。到最后，您将能够有效地处理最庞大的文件！

1、使用 BufferedReader 进行逐行处理：
这种经典方法使用 a BufferedReader 逐行读取文件。它会处理遇到的每一行，避免一次加载整个文件。这是一个例子：

public void processLargeFile(String filePath) throws IOException {
  try (BufferedReader reader = new BufferedReader(new FileReader(filePath))) {
    String line;
    while ((line = reader.readLine()) != null) {
      // Process each line here
    }
  }
}

2、使用InputStream 进行分块：
该技术利用 InputStream 固定大小的块读取文件。您可以根据可用内存定义块大小。这是一个例子

public void processLargeFileChunked(String filePath) throws IOException {
  int chunkSize = 1024; // 根据内存可用性进行调整
  byte[] buffer = new byte[chunkSize];
  try (InputStream inputStream = new FileInputStream(filePath)) {
    int bytesRead;
    while ((bytesRead = inputStream.read(buffer)) > 0) {
      // Process the chunk of data here
    }
  }
}

3、Apache Commons IO – FileUtils.lines：
该库提供了一种方便的FileUtils.lines方法，可以在有效处理内存的同时逐行读取文件。它内部使用类似于BufferedReader.

4、Java NIO – Files.lines：
Java NIO 提供了一种现代的方法Files.lines。它使用流逐行读取文件，减少内存使用。

5、内存映射文件：
此技术利用内存映射文件，它允许您访问文件的一部分，就好像它直接映射到内存一样。这种方法可以有效地访问文件的特定部分，而无需加载整个文件。但是，它需要仔细的内存管理，并且可能并不适合所有场景。

这里有一个需要记住的关键点：内存映射文件实际上并不将整个文件加载到内存中。相反，它们在文件区域和内存缓冲区之间创建映射。该缓冲区就像一个窗口，允许您按需访问文件的特定部分。

6、使用 Apache Commons IO 或 Java NIO 进行流式传输：
Apache Commons IO 和 Java NIO 都提供将文件作为流处理的功能。这使您能够以块的形式读取和处理数据，而无需将整个文件一次保存在内存中。

Apache Commons IO：像 FileUtils.lines(File file) 这样的库提供了一种使用流逐行处理文件的便捷方法。
Java NIO： Java NIO 中的 Files 类提供了像lines(Path path)这样的方法来使用流从文件中读取行。这种方法对于处理大型文本文件特别有效。

选择正确的技术
针对您的具体情况的最佳技术取决于几个因素：

文件大小和格式：对于非常大的二进制文件，使用 InputStream 进行分块可能是理想的选择。逐行处理适用于文本文件。
处理需求：如果您只需要访问文件的特定部分，内存映射文件可能是一个选择。
性能要求：对不同的技术进行基准测试，看看哪种技术能够为您的用例提供最佳性能。