发帖  主题  评论  推荐  标签 用户 查搜   用户 密码 自动 注册  
 
面向对象 设计模式 领域驱动设计 云架构 框架 开发教程 SOA 大数据 扩展性 并发编程 EDA 分布式 函数编程

在Node.js中如何实现异步文件处理?

  本文演示如何使用Node.js和原生Node模块在处理文件等I/O操作中的最佳实践。主要涉及Promise等异步操作语法,文件处理分读操作和写操作两个部分:

读操作

读操作分为读取小文件和大文件两种办法:

首先读取大部分小文件的操作:

  • 所有文件读操作都是读取到内存中
  • 最大文件大小不能超过2g,任何超过此大小会抛出错误:
    is greater than possible Buffer: 0x7fffffff bytes at FSReqWrap.readFileAfterStat [as oncomplete] (fs.js:386:11)
  • 代码如下:
// imports at top
 var fs = require('fs');
// Modern approach
function readFile(fileName, options) {
    return new Promise(function(resolve, reject) {
      var cb = function cb(err, data) {
          if (err) {
              return reject(err);
          }
          resolve(data);
      };
      fs.readFile.call(fs, fileName, options, cb);
    });
}      
// example:
readFile(__dirname + "/file.txt").then(function(data) {
   // data = the whole file
     console.log(data.length);
}).catch(function(err) {
  console.log(err);
}) 

 

其次,如果是读取更大的文件:

  • 使用下述方法可以读取任何大小的文件,因为它能实时变成字节流。

  • 我们设置highWaterMark 为我们希望设置的Buffer大小,一般是512k大小,对于内存存储比较有效。

  • 回调会有大量一次性512Kb大小的数据。增加更多字节不会对性能有任何帮助。
  • 下面案例演示在三分钟内(212秒)读取7gb大小文件(https://dumps.wikimedia.org/other/wikibase/wikidatawiki/ - latest-all.json.gz)
  • 注意: 上述案例的数据是被压缩gzipped ,不能被转为可读格式,为了能解压和流化可读数据可参考下面代码
// imports at top  
var fs = require('fs');
// Modern approach
function readFileStream(fileName, cb, options) {
      return new Promise(function(resolve, reject) {
          var readable = fs.createReadStream(fileName, options);
          readable.on('data', function(data) {
              cb(data);
          })
          readable.on('end', function() {
              resolve();
          })
          readable.on('error', function(err) {
              return reject(err);
          })
      })
}
 
// example:
function printDataAsItComesIn(data) {
  // Data will be null when it reaches the end.
  if (!data) return;
  // type of data = Buffer
  var stringData = data.toString('utf8', 0, data.length);
  console.log(stringData.length);
}
readFileStream(__dirname + "/latest-all.json.gz", printDataAsItComesIn, {highWaterMark: 512 * 1024}).then(function() {
  console.log("\nDone reading");
}).catch(function(err) {
  console.log(err);
}) 

 

  • 读取和解压大型文件(7gb file fize)
// imports at top
var fs = require('fs');
var zlib = require('zlib'); 
function unzipFileStream(fileName, cb, options) {
  return new Promise(function(resolve, reject) {
      var readable = fs.createReadStream(fileName, options);
      var unzip = zlib.createGunzip({chunkSize: 512 * 1024})
      readable.pipe(unzip)
      unzip.on('data', function(data) {
          cb(data);
      })
      unzip.on('end', function() {
          resolve();
      })
      unzip.on('error', function(err) {
          return reject(err);
      })
  })
}
 
// callback that lets us transform the data as it comes in
function printDataAsItComesIn(data) {
  if (!data) return;
  // data = Buffer
  // here we can actually read the data in the zip file
  var stringData = data.toString('utf8', 0, data.length);
  console.log(stringData);
}
 
// example:
unzipFileStream(__dirname + "/latest-all.json.gzip", printDataAsItComesIn, {highWaterMark: 512 * 1024}).then(function() {
  console.log("\nDone reading");
}).catch(function(err) {
  console.log(err);
}) 

 

Node.JS专题

 

解道移动版 | 关注解道 | 联系解道 | 关于解道 | 广告联系 | 网站地图 | 设为首页

沪ICP证12033263 如有意见请与我们联系 Powered by JdonFramework
返回顶部