同步遍历器的问题

《遍历器》一章说过,Iterator 接口是一种数据遍历的协议,只要调用遍历器对象的next方法,就会得到一个对象,表示当前遍历指针所在的那个位置的信息。next方法返回的对象的结构是{value, done},其中value表示当前的数据的值,done是一个布尔值,表示遍历是否结束。

  1. function idMaker() {
  2. let index = 0;
  3. return {
  4. next: function() {
  5. return { value: index++, done: false };
  6. }
  7. };
  8. }
  9. const it = idMaker();
  10. it.next().value // 0
  11. it.next().value // 1
  12. it.next().value // 2
  13. // ...

上面代码中,变量it是一个遍历器(iterator)。每次调用it.next()方法,就返回一个对象,表示当前遍历位置的信息。

这里隐含着一个规定,it.next()方法必须是同步的,只要调用就必须立刻返回值。也就是说,一旦执行it.next()方法,就必须同步地得到valuedone这两个属性。如果遍历指针正好指向同步操作,当然没有问题,但对于异步操作,就不太合适了。

  1. function idMaker() {
  2. let index = 0;
  3. return {
  4. next: function() {
  5. return new Promise(function (resolve, reject) {
  6. setTimeout(() => {
  7. resolve({ value: index++, done: false });
  8. }, 1000);
  9. });
  10. }
  11. };
  12. }

上面代码中,next()方法返回的是一个 Promise 对象,这样就不行,不符合 Iterator 协议,只要代码里面包含异步操作都不行。也就是说,Iterator 协议里面next()方法只能包含同步操作。

目前的解决方法是,将异步操作包装成 Thunk 函数或者 Promise 对象,即next()方法返回值的value属性是一个 Thunk 函数或者 Promise 对象,等待以后返回真正的值,而done属性则还是同步产生的。

  1. function idMaker() {
  2. let index = 0;
  3. return {
  4. next: function() {
  5. return {
  6. value: new Promise(resolve => setTimeout(() => resolve(index++), 1000)),
  7. done: false
  8. };
  9. }
  10. };
  11. }
  12. const it = idMaker();
  13. it.next().value.then(o => console.log(o)) // 0
  14. it.next().value.then(o => console.log(o)) // 1
  15. it.next().value.then(o => console.log(o)) // 2
  16. // ...

上面代码中,value属性的返回值是一个 Promise 对象,用来放置异步操作。但是这样写很麻烦,不太符合直觉,语义也比较绕。

ES2018 引入了“异步遍历器”(Async Iterator),为异步操作提供原生的遍历器接口,即valuedone这两个属性都是异步产生。

异步遍历的接口

异步遍历器的最大的语法特点,就是调用遍历器的next方法,返回的是一个 Promise 对象。

  1. asyncIterator
  2. .next()
  3. .then(
  4. ({ value, done }) => /* ... */
  5. );

上面代码中,asyncIterator是一个异步遍历器,调用next方法以后,返回一个 Promise 对象。因此,可以使用then方法指定,这个 Promise 对象的状态变为resolve以后的回调函数。回调函数的参数,则是一个具有valuedone两个属性的对象,这个跟同步遍历器是一样的。

我们知道,一个对象的同步遍历器的接口,部署在Symbol.iterator属性上面。同样地,对象的异步遍历器接口,部署在Symbol.asyncIterator属性上面。不管是什么样的对象,只要它的Symbol.asyncIterator属性有值,就表示应该对它进行异步遍历。

下面是一个异步遍历器的例子。

  1. const asyncIterable = createAsyncIterable(['a', 'b']);
  2. const asyncIterator = asyncIterable[Symbol.asyncIterator]();
  3. asyncIterator
  4. .next()
  5. .then(iterResult1 => {
  6. console.log(iterResult1); // { value: 'a', done: false }
  7. return asyncIterator.next();
  8. })
  9. .then(iterResult2 => {
  10. console.log(iterResult2); // { value: 'b', done: false }
  11. return asyncIterator.next();
  12. })
  13. .then(iterResult3 => {
  14. console.log(iterResult3); // { value: undefined, done: true }
  15. });

上面代码中,异步遍历器其实返回了两次值。第一次调用的时候,返回一个 Promise 对象;等到 Promise 对象resolve了,再返回一个表示当前数据成员信息的对象。这就是说,异步遍历器与同步遍历器最终行为是一致的,只是会先返回 Promise 对象,作为中介。

由于异步遍历器的next方法,返回的是一个 Promise 对象。因此,可以把它放在await命令后面。

  1. async function f() {
  2. const asyncIterable = createAsyncIterable(['a', 'b']);
  3. const asyncIterator = asyncIterable[Symbol.asyncIterator]();
  4. console.log(await asyncIterator.next());
  5. // { value: 'a', done: false }
  6. console.log(await asyncIterator.next());
  7. // { value: 'b', done: false }
  8. console.log(await asyncIterator.next());
  9. // { value: undefined, done: true }
  10. }

上面代码中,next方法用await处理以后,就不必使用then方法了。整个流程已经很接近同步处理了。

注意,异步遍历器的next方法是可以连续调用的,不必等到上一步产生的 Promise 对象resolve以后再调用。这种情况下,next方法会累积起来,自动按照每一步的顺序运行下去。下面是一个例子,把所有的next方法放在Promise.all方法里面。

  1. const asyncIterable = createAsyncIterable(['a', 'b']);
  2. const asyncIterator = asyncIterable[Symbol.asyncIterator]();
  3. const [{value: v1}, {value: v2}] = await Promise.all([
  4. asyncIterator.next(), asyncIterator.next()
  5. ]);
  6. console.log(v1, v2); // a b

另一种用法是一次性调用所有的next方法,然后await最后一步操作。

  1. async function runner() {
  2. const writer = openFile('someFile.txt');
  3. writer.next('hello');
  4. writer.next('world');
  5. await writer.return();
  6. }
  7. runner();

for await…of

前面介绍过,for...of循环用于遍历同步的 Iterator 接口。新引入的for await...of循环,则是用于遍历异步的 Iterator 接口。

  1. async function f() {
  2. for await (const x of createAsyncIterable(['a', 'b'])) {
  3. console.log(x);
  4. }
  5. }
  6. // a
  7. // b

上面代码中,createAsyncIterable()返回一个拥有异步遍历器接口的对象,for...of循环自动调用这个对象的异步遍历器的next方法,会得到一个 Promise 对象。await用来处理这个 Promise 对象,一旦resolve,就把得到的值(x)传入for...of的循环体。

for await...of循环的一个用途,是部署了 asyncIterable 操作的异步接口,可以直接放入这个循环。

  1. let body = '';
  2. async function f() {
  3. for await(const data of req) body += data;
  4. const parsed = JSON.parse(body);
  5. console.log('got', parsed);
  6. }

上面代码中,req是一个 asyncIterable 对象,用来异步读取数据。可以看到,使用for await...of循环以后,代码会非常简洁。

如果next方法返回的 Promise 对象被rejectfor await...of就会报错,要用try...catch捕捉。

  1. async function () {
  2. try {
  3. for await (const x of createRejectingIterable()) {
  4. console.log(x);
  5. }
  6. } catch (e) {
  7. console.error(e);
  8. }
  9. }

注意,for await...of循环也可以用于同步遍历器。

  1. (async function () {
  2. for await (const x of ['a', 'b']) {
  3. console.log(x);
  4. }
  5. })();
  6. // a
  7. // b

Node v10 支持异步遍历器,Stream 就部署了这个接口。下面是读取文件的传统写法与异步遍历器写法的差异。

  1. // 传统写法
  2. function main(inputFilePath) {
  3. const readStream = fs.createReadStream(
  4. inputFilePath,
  5. { encoding: 'utf8', highWaterMark: 1024 }
  6. );
  7. readStream.on('data', (chunk) => {
  8. console.log('>>> '+chunk);
  9. });
  10. readStream.on('end', () => {
  11. console.log('### DONE ###');
  12. });
  13. }
  14. // 异步遍历器写法
  15. async function main(inputFilePath) {
  16. const readStream = fs.createReadStream(
  17. inputFilePath,
  18. { encoding: 'utf8', highWaterMark: 1024 }
  19. );
  20. for await (const chunk of readStream) {
  21. console.log('>>> '+chunk);
  22. }
  23. console.log('### DONE ###');
  24. }

异步 Generator 函数

就像 Generator 函数返回一个同步遍历器对象一样,异步 Generator 函数的作用,是返回一个异步遍历器对象。

在语法上,异步 Generator 函数就是async函数与 Generator 函数的结合。

  1. async function* gen() {
  2. yield 'hello';
  3. }
  4. const genObj = gen();
  5. genObj.next().then(x => console.log(x));
  6. // { value: 'hello', done: false }

上面代码中,gen是一个异步 Generator 函数,执行后返回一个异步 Iterator 对象。对该对象调用next方法,返回一个 Promise 对象。

异步遍历器的设计目的之一,就是 Generator 函数处理同步操作和异步操作时,能够使用同一套接口。

  1. // 同步 Generator 函数
  2. function* map(iterable, func) {
  3. const iter = iterable[Symbol.iterator]();
  4. while (true) {
  5. const {value, done} = iter.next();
  6. if (done) break;
  7. yield func(value);
  8. }
  9. }
  10. // 异步 Generator 函数
  11. async function* map(iterable, func) {
  12. const iter = iterable[Symbol.asyncIterator]();
  13. while (true) {
  14. const {value, done} = await iter.next();
  15. if (done) break;
  16. yield func(value);
  17. }
  18. }

上面代码中,map是一个 Generator 函数,第一个参数是可遍历对象iterable,第二个参数是一个回调函数funcmap的作用是将iterable每一步返回的值,使用func进行处理。上面有两个版本的map,前一个处理同步遍历器,后一个处理异步遍历器,可以看到两个版本的写法基本上是一致的。

下面是另一个异步 Generator 函数的例子。

  1. async function* readLines(path) {
  2. let file = await fileOpen(path);
  3. try {
  4. while (!file.EOF) {
  5. yield await file.readLine();
  6. }
  7. } finally {
  8. await file.close();
  9. }
  10. }

上面代码中,异步操作前面使用await关键字标明,即await后面的操作,应该返回 Promise 对象。凡是使用yield关键字的地方,就是next方法停下来的地方,它后面的表达式的值(即await file.readLine()的值),会作为next()返回对象的value属性,这一点是与同步 Generator 函数一致的。

异步 Generator 函数内部,能够同时使用awaityield命令。可以这样理解,await命令用于将外部操作产生的值输入函数内部,yield命令用于将函数内部的值输出。

上面代码定义的异步 Generator 函数的用法如下。

  1. (async function () {
  2. for await (const line of readLines(filePath)) {
  3. console.log(line);
  4. }
  5. })()

异步 Generator 函数可以与for await...of循环结合起来使用。

  1. async function* prefixLines(asyncIterable) {
  2. for await (const line of asyncIterable) {
  3. yield '> ' + line;
  4. }
  5. }

异步 Generator 函数的返回值是一个异步 Iterator,即每次调用它的next方法,会返回一个 Promise 对象,也就是说,跟在yield命令后面的,应该是一个 Promise 对象。如果像上面那个例子那样,yield命令后面是一个字符串,会被自动包装成一个 Promise 对象。

  1. function fetchRandom() {
  2. const url = 'https://www.random.org/decimal-fractions/'
  3. + '?num=1&dec=10&col=1&format=plain&rnd=new';
  4. return fetch(url);
  5. }
  6. async function* asyncGenerator() {
  7. console.log('Start');
  8. const result = await fetchRandom(); // (A)
  9. yield 'Result: ' + await result.text(); // (B)
  10. console.log('Done');
  11. }
  12. const ag = asyncGenerator();
  13. ag.next().then(({value, done}) => {
  14. console.log(value);
  15. })

上面代码中,agasyncGenerator函数返回的异步遍历器对象。调用ag.next()以后,上面代码的执行顺序如下。

  1. ag.next()立刻返回一个 Promise 对象。
  2. asyncGenerator函数开始执行,打印出Start
  3. await命令返回一个 Promise 对象,asyncGenerator函数停在这里。
  4. A 处变成 fulfilled 状态,产生的值放入result变量,asyncGenerator函数继续往下执行。
  5. 函数在 B 处的yield暂停执行,一旦yield命令取到值,ag.next()返回的那个 Promise 对象变成 fulfilled 状态。
  6. ag.next()后面的then方法指定的回调函数开始执行。该回调函数的参数是一个对象{value, done},其中value的值是yield命令后面的那个表达式的值,done的值是false

A 和 B 两行的作用类似于下面的代码。

  1. return new Promise((resolve, reject) => {
  2. fetchRandom()
  3. .then(result => result.text())
  4. .then(result => {
  5. resolve({
  6. value: 'Result: ' + result,
  7. done: false,
  8. });
  9. });
  10. });

如果异步 Generator 函数抛出错误,会导致 Promise 对象的状态变为reject,然后抛出的错误被catch方法捕获。

  1. async function* asyncGenerator() {
  2. throw new Error('Problem!');
  3. }
  4. asyncGenerator()
  5. .next()
  6. .catch(err => console.log(err)); // Error: Problem!

注意,普通的 async 函数返回的是一个 Promise 对象,而异步 Generator 函数返回的是一个异步 Iterator 对象。可以这样理解,async 函数和异步 Generator 函数,是封装异步操作的两种方法,都用来达到同一种目的。区别在于,前者自带执行器,后者通过for await...of执行,或者自己编写执行器。下面就是一个异步 Generator 函数的执行器。

  1. async function takeAsync(asyncIterable, count = Infinity) {
  2. const result = [];
  3. const iterator = asyncIterable[Symbol.asyncIterator]();
  4. while (result.length < count) {
  5. const {value, done} = await iterator.next();
  6. if (done) break;
  7. result.push(value);
  8. }
  9. return result;
  10. }

上面代码中,异步 Generator 函数产生的异步遍历器,会通过while循环自动执行,每当await iterator.next()完成,就会进入下一轮循环。一旦done属性变为true,就会跳出循环,异步遍历器执行结束。

下面是这个自动执行器的一个使用实例。

  1. async function f() {
  2. async function* gen() {
  3. yield 'a';
  4. yield 'b';
  5. yield 'c';
  6. }
  7. return await takeAsync(gen());
  8. }
  9. f().then(function (result) {
  10. console.log(result); // ['a', 'b', 'c']
  11. })

异步 Generator 函数出现以后,JavaScript 就有了四种函数形式:普通函数、async 函数、Generator 函数和异步 Generator 函数。请注意区分每种函数的不同之处。基本上,如果是一系列按照顺序执行的异步操作(比如读取文件,然后写入新内容,再存入硬盘),可以使用 async 函数;如果是一系列产生相同数据结构的异步操作(比如一行一行读取文件),可以使用异步 Generator 函数。

异步 Generator 函数也可以通过next方法的参数,接收外部传入的数据。

  1. const writer = openFile('someFile.txt');
  2. writer.next('hello'); // 立即执行
  3. writer.next('world'); // 立即执行
  4. await writer.return(); // 等待写入结束

上面代码中,openFile是一个异步 Generator 函数。next方法的参数,向该函数内部的操作传入数据。每次next方法都是同步执行的,最后的await命令用于等待整个写入操作结束。

最后,同步的数据结构,也可以使用异步 Generator 函数。

  1. async function* createAsyncIterable(syncIterable) {
  2. for (const elem of syncIterable) {
  3. yield elem;
  4. }
  5. }

上面代码中,由于没有异步操作,所以也就没有使用await关键字。

yield* 语句

yield*语句也可以跟一个异步遍历器。

  1. async function* gen1() {
  2. yield 'a';
  3. yield 'b';
  4. return 2;
  5. }
  6. async function* gen2() {
  7. // result 最终会等于 2
  8. const result = yield* gen1();
  9. }

上面代码中,gen2函数里面的result变量,最后的值是2

与同步 Generator 函数一样,for await...of循环会展开yield*

  1. (async function () {
  2. for await (const x of gen2()) {
  3. console.log(x);
  4. }
  5. })();
  6. // a
  7. // b