压缩格式

zip 和 gzip 是两种我们最常见到的压缩格式，当然，gzip 在 Windows 下很少有人接触。
tar 是一种归档格式，它默认不会压缩，需要结合 gzip 来将最终的 tar 文件以 gzip 格式压缩成为一个 tar.gz 文件，通常我们会缩写为 tgz。

为什么没有提到 rar？因为它是专利保护的算法，你可以免费获得解压工具，而压缩工具是需要付费的。所以我们一般应用场景下，很少会提供 rar 压缩文件。

本文将分别介绍 gzip，tar，tgz 和 zip 的压缩和解压缩在 Node.js 下如何实现。

未压缩文件库

本文所使用的未压缩文件库来自于 urllib ，需要先 clone 它下来到指定目录。

  1. git clone https://github.com/node-modules/urllib.git nodejs-compressing-demo

gzip

在 Linux 的世界，每个工具的职责会很纯粹，非常单一，如 gzip，它只会对文件进行压缩，至于文件夹如何打包压缩，跟它没关系，那是 tar 要去负责的事情。

gzip 命令行压缩一个文件

例如我们要将 nodejs-compressing-demo/lib/urllib.js 文件进行 gzip 压缩，会得到一个 urllib.js.gz 文件，源文件会被删除。

  1. $ ls -l nodejs-compressing-demo/lib/urllib.js 
  2. -rw-r--r--  1 a  a  31318 Feb 12 11:27 nodejs-compressing-demo/lib/urllib.js
  4. $ gzip nodejs-compressing-demo/lib/urllib.js
  6. $ ls -l nodejs-compressing-demo/lib/urllib.js.gz 
  7. -rw-r--r--  1 a  a  8909 Feb 12 11:27 nodejs-compressing-demo/lib/urllib.js.gz
  9. # 还原压缩文件
  10. $ gunzip nodejs-compressing-demo/lib/urllib.js.gz

文件大小从 31318 字节减少到 8909 字节，超过 3.5 倍的压缩效果。

还可以通过 pipe 方式，结合 cat 命令，将文件压缩并保存为任意文件：

  1. $ ls -l nodejs-compressing-demo/README.md
  2. -rw-r--r--  1 a  a  13747 Feb 12 11:27 nodejs-compressing-demo/README.md
  4. $ cat nodejs-compressing-demo/README.md | gzip > README.md.gz
  6. $ ls -l README.md.gz 
  7. -rw-r--r--  1 a  a  4903 Feb 12 11:50 README.md.gz

Node.js 实现 gzip

当然，我们不会真的从零开始实现一个 gzip 算法和工具，在 Node.js 的世界，早已有人为你准备好这些基础库，我们只需要开箱即用。
本文将会使用 compressing 模块，实现所有压缩和解压缩代码。

为什么会选择 compressing？因为它有足够充分的代码质量和单元测试保证，处于活跃的维护状态，API 非常友好，而且还支持流式接口。

Promise 接口

  1. const compressing = require('compressing');
  3. // 选择 gzip 格式，然后调用 compressFile 方法
  4. compressing.gzip.compressFile('nodejs-compressing-demo/lib/urllib.js', 'nodejs-compressing-demo/lib/urllib.js.gz')
  5.   .then(() => {
  6.     console.log('success');
  7.   })
  8.   .catch(err => {
  9.     console.error(err);
  10.   });
  12. // 解压缩是反响过程，接口都统一为 uncompress
  13. compressing.gzip.uncompress('nodejs-compressing-demo/lib/urllib.js.gz', 'nodejs-compressing-demo/lib/urllib.js2')
  14.   .then(() => {
  15.     console.log('success');
  16.   })
  17.   .catch(err => {
  18.     console.error(err);
  19.   });

结合 async/await 的编程模型，代码写起来就是一个普通的异步 io 操作。

  1. const compressing = require('compressing');
  3. async function main() {
  4.   try {
  5.     await compressing.gzip.compressFile('nodejs-compressing-demo/lib/urllib.js', 
  6.       'nodejs-compressing-demo/lib/urllib.js.gz');
  7.     console.log('success');
  8.   } catch (err) {
  9.     console.error(err);
  10.   }
  12.   // 解压缩
  13.   try {
  14.     await compressing.gzip.uncompress('nodejs-compressing-demo/lib/urllib.js.gz', 
  15.       'nodejs-compressing-demo/lib/urllib.js2');
  16.     console.log('success');
  17.   } catch (err) {
  18.     console.error(err);
  19.   }
  20. }
  22. main();

Stream 接口

需要特别注意的是，使用 Stream 模式编程，需要处理每个 stream 的 error 事件，并且要手动销毁所有 stream。

  1. fs.createReadStream('nodejs-compressing-demo/lib/urllib.js')
  2.   .on('error', handleError)
  3.   .pipe(new compressing.gzip.FileStream()) // It's a transform stream
  4.   .on('error', handleError)
  5.   .pipe(fs.createWriteStream('nodejs-compressing-demo/lib/urllib.js.gz2'))
  6.   .on('error', handleError);
  8. // 解压缩，就是 pipe 的方向倒转过来
  9. fs.createReadStream('nodejs-compressing-demo/lib/urllib.js.gz2')
  10.   .on('error', handleError)
  11.   .pipe(new compressing.gzip.UncompressStream()) // It's a transform stream
  12.   .on('error', handleError)
  13.   .pipe(fs.createWriteStream('nodejs-compressing-demo/lib/urllib.js3'))
  14.   .on('error', handleError);

根据官方的 Backpressuring in Streams 推荐，我们应该使用 pump 模块来配合 Stream 模式编程，由 pump 来完成这些 Stream 的清理工作。

  1. const pump = require('pump');
  3. const source = fs.createReadStream('nodejs-compressing-demo/lib/urllib.js');
  4. const target = fs.createWriteStream('nodejs-compressing-demo/lib/urllib.js.gz2');
  6. pump(source, new compressing.gzip.FileStream(), target, err => {
  7.   if (err) {
  8.     console.error(err);
  9.   } else {
  10.     console.log('success');
  11.   }
  12. });
  14. // 解压缩
  15. pump(fs.createReadStream('nodejs-compressing-demo/lib/urllib.js.gz2'), 
  16.     new compressing.gzip.FileStream(), 
  17.     fs.createWriteStream('nodejs-compressing-demo/lib/urllib.js3'), 
  18.     err => {
  19.   if (err) {
  20.     console.error(err);
  21.   } else {
  22.     console.log('success');
  23.   }
  24. });

Stream 接口的优势

Stream 接口看起来比 Promise 接口复杂多了，为何还会有这种应用场景呢？
其实在 HTTP 服务领域，Stream 模型会有更大的优势，因为 HTTP 请求本身就是一个 Request Stream，如要将一个上传文件以 gzip 压缩返回，使用 Stream 接口不需要将上传文件保存到本地磁盘，而是直接消费这个文件流。

使用 egg 文件上传的示例代码，我们稍微改造一下，就能实现 gzip 压缩然后返回。

  1. const pump = require('pump');
  3. class UploadFormController extends Controller {
  4.   // ... other codes
  6.   async upload() {
  7.     const stream = await this.ctx.getFileStream();
  8.     // 直接将压缩流赋值给 ctx.body，实现边压缩边返回的流式响应
  9.     this.ctx.body = pump(stream, new compressing.gzip.FileStream());
  10.   }
  11. }

tar | gzip > tgz

gzip 章节可以提前知道，tar 是负责对文件夹进行打包📦的。
例如要对 nodejs-compressing-demo 整个文件夹打包成一个文件发送给别人，可以通过 tar 命令完成。

  1. $ tar -c -f nodejs-compressing-demo.tar nodejs-compressing-demo/
  3. $ ls -l nodejs-compressing-demo.tar
  4. -rw-r--r--  1 a  a  206336 Feb 12 14:01 nodejs-compressing-demo.tar

如大家所见，tar 打包出来的文件一般都比较大，因为它是未压缩的，大小跟实际文件夹总大小接近。所以我们都会在打包同时进行压缩。

  1. $ tar -c -z -f nodejs-compressing-demo.tgz nodejs-compressing-demo/
  3. $ ls -l nodejs-compressing-demo.tgz
  4. -rw-r--r--  1 a  a  39808 Feb 12 14:07 nodejs-compressing-demo.tgz

tar 和 tgz 超过 5 倍大小的差异，可以大大减少网络传输带宽。

Node.js 实现 tgz

Promise 接口

先使用 compressing.tar.compressDir(sourceDir, targetFile) 将一个文件夹打包到一个 tar 文件，然后使用上文的 gzip 压缩方式，将 tar 文件压缩为 tgz 文件。

  1. const compressing = require('compressing');
  3. compressing.tar.compressDir('nodejs-compressing-demo', 'nodejs-compressing-demo.tar')
  4.   .then(() => {
  5.     return compressing.gzip.compressFile('nodejs-compressing-demo.tar', 
  6.       'nodejs-compressing-demo.tgz');
  7.   });
  8.   .then(() => {
  9.     console.log('success');
  10.   })
  11.   .catch(err => {
  12.     console.error(err);
  13.   });
  15. // 解压缩
  16. compressing.gzip.uncompress('nodejs-compressing-demo.tgz', 'nodejs-compressing-demo.tar')
  17.   .then(() => {
  18.     return compressing.tar.uncompress('nodejs-compressing-demo.tar', 
  19.       'nodejs-compressing-demo2');
  20.   });
  21.   .then(() => {
  22.     console.log('success');
  23.   })
  24.   .catch(err => {
  25.     console.error(err);
  26.   });

结合 async/await 的编程模型，代码写起来会更加容易阅读：

  1. const compressing = require('compressing');
  3. async function main() {
  4.   try {
  5.     await compressing.tar.compressDir('nodejs-compressing-demo', 
  6.       'nodejs-compressing-demo.tar');
  7.     await compressing.gzip.compressFile('nodejs-compressing-demo.tar', 
  8.       'nodejs-compressing-demo.tgz');
  9.     console.log('success');
  10.   } catch (err) {
  11.     console.error(err);
  12.   }
  14.   // 解压缩
  15.   try {
  16.     await compressing.gzip.uncompress('nodejs-compressing-demo.tgz', 
  17.       'nodejs-compressing-demo.tar');
  18.     await compressing.tar.uncompress('nodejs-compressing-demo.tar', 
  19.       'nodejs-compressing-demo2');
  20.     console.log('success');
  21.   } catch (err) {
  22.     console.error(err);
  23.   }
  24. }
  26. main();

Stream 接口

通过 compressing.tar.Stream 类，可以动态添加任意文件、文件夹到一个 tar stream 对象中，非常灵活。

  1. const tarStream = new compressing.tar.Stream();
  2. // dir
  3. tarStream.addEntry('dir/path/to/compress');
  4. // file
  5. tarStream.addEntry('file/path/to/compress');
  6. // buffer
  7. tarStream.addEntry(buffer);
  8. // stream
  9. tarStream.addEntry(stream);
  11. const destStream = fs.createWriteStream('path/to/destination.tgz');
  12. pump(tarStream, new compressing.gzip.FileStream(), destStream, err => {
  13.   if (err) {
  14.     console.error(err);
  15.   } else {
  16.     console.log('success');
  17.   }
  18. });

zip

zip 其实可以看作是 tar + gzip 的「商业化」结合，它让使用者不需要区分是压缩文件还是压缩文件夹，反正用我 zip 就对了。

使用 zip 命令行工具压缩一个文件夹的例子：

  1. $ zip -r nodejs-compressing-demo.zip nodejs-compressing-demo/
  2.   adding: nodejs-compressing-demo/ (stored 0%)
  3.   adding: nodejs-compressing-demo/test/ (stored 0%)
  4.   ...
  5.   adding: nodejs-compressing-demo/.travis.yml (deflated 36%)
  7. $ ls -l nodejs-compressing-demo.*
  8. -rw-r--r--  1 a  a  206336 Feb 12 14:06 nodejs-compressing-demo.tar
  9. -rw-r--r--  1 a  a   39808 Feb 12 14:07 nodejs-compressing-demo.tgz
  10. -rw-r--r--  1 a  a   55484 Feb 12 14:34 nodejs-compressing-demo.zip

通过 tgz 和 zip 文件大小对比，可以看出默认的压缩参数下，gzip 的效果会比 zip 好。

Node.js 实现 zip

实现代码跟 tar 类似，只不过默认是压缩的，不需要再添加 gzip 的过程。

  1. const compressing = require('compressing');
  3. compressing.zip.compressDir('nodejs-compressing-demo', 'nodejs-compressing-demo.zip')
  4.   .then(() => {
  5.     console.log('success');
  6.   })
  7.   .catch(err => {
  8.     console.error(err);
  9.   });
  11. // 解压缩
  12. compressing.zip.uncompress('nodejs-compressing-demo.zip', 'nodejs-compressing-demo3')
  13.   .then(() => {
  14.     console.log('success');
  15.   })
  16.   .catch(err => {
  17.     console.error(err);
  18.   });

总结

基于 Node.js 实现的压缩和解压缩是否比想象中简单？感谢 npm 这个巨人，让我们编程也能拥有命令行工具那样简单的体验。
无论是 Promise 接口，还是 Stream 接口，都有它最合适的场景，你会选择了吗？

到此，你拥有的压缩和解压缩能力，你能够做什么样的服务和功能呢？

希望本文对你有用❤️