遍历海量文件

像 file_get_contents() 和 file() 这样的函数使用起来非常方便快捷，但是由于内存的限制，当处理大量的文件时，它们很快就会产生问题。php.ini 内存限制的默认设置是128兆字节。因此，任何大于这个值的文件都不会被加载。

在解析海量文件时，另一个需要考虑的问题是函数或类方法产出的速度有多快？ 例如，在生成用户输出时，尽管乍一看似乎可以将输出累加到数组中。 然后，您将立即输出所有内容以提高效率。 不幸的是，这可能会对用户体验产生不利影响。 创建一个生成器，并使用 yield 关键字产生即时结果可能会更好。

如何做…

如前文所述， file* 函数（即 file_get_contents() ），不适合大文件。原因很简单，这些函数，在某一点上，文件的全部内容都会写入到内存中。因此，本示例的重点是 f* 函数（即 fopen() ）。

然而，稍有变化的是，我们将不直接使用 f* 函数，而是使用SPL（标准PHP库）中包含的 SplFileObject 类。

1.首先，我们定义一个 Application\Iterator\LargeFile 类，并赋予相应的属性和常量：

  1. namespace Application\Iterator;
  3. use Exception;
  4. use InvalidArgumentException;
  5. use SplFileObject;
  6. use NoRewindIterator;
  8. class LargeFile
  9. {
  10.   const ERROR_UNABLE = 'ERROR: Unable to open file';
  11.   const ERROR_TYPE   = 'ERROR: Type must be "ByLength", "ByLine" or "Csv"';     
  12.   protected $file;
  13.   protected $allowedTypes = ['ByLine', 'ByLength', 'Csv'];

2.然后我们定义了一个 __construct() 方法，它接受一个文件名作为参数，并用一个 SplFileObject 实例填充 $file 属性。如果文件不存在，这也是一个抛出异常的好地方：

  1. public function __construct($filename, $mode = 'r')
  2. {
  3.   if (!file_exists($filename)) {
  4.     $message = __METHOD__ . ' : ' . self::ERROR_UNABLE . PHP_EOL;
  5.     $message .= strip_tags($filename) . PHP_EOL;
  6.     throw new Exception($message);
  7.   }
  8.   $this->file = new SplFileObject($filename, $mode);
  9. }

3.接下来我们定义一个 fileIteratorByLine() 方法，该方法使用 fgets() 一次读取文件的一行。另创建一个 fileIteratorByLength() 方法，它可以做同样的事情，但使用 fread() 来代替。使用 fgets() 的方法适用于包含换行的文本文件。如果解析一个大的二进制文件，可以使用另一个方法：

  1. protected function fileIteratorByLine()
  2. {
  3.   $count = 0;
  4.   while (!$this->file->eof()) {
  5.     yield $this->file->fgets();
  6.     $count++;
  7.   }
  8.   return $count;
  9. }
  11. protected function fileIteratorByLength($numBytes = 1024)
  12. {
  13.   $count = 0;
  14.   while (!$this->file->eof()) {
  15.     yield $this->file->fread($numBytes);
  16.     $count++;
  17.   }
  18.   return $count; 
  19. }

4.最后，我们定义一个 getIterator() 方法，返回一个 NoRewindIterator() 实例。这个方法接受 ByLine 或 ByLength 作为参数，它们指的是上一步定义的两个方法。在调用 ByLength 的情况下，这个方法还需要接受 $numBytes。我们需要 NoRewindIterator() 实例的原因是，在这个例子中，我们只从一个方向读取文件：

  1. public function getIterator($type = 'ByLine', $numBytes = NULL)
  2. {
  3.   if(!in_array($type, $this->allowedTypes)) {
  4.     $message = __METHOD__ . ' : ' . self::ERROR_TYPE . PHP_EOL;
  5.     throw new InvalidArgumentException($message);
  6.   }
  7.   $iterator = 'fileIterator' . $type;
  8.   return new NoRewindIterator($this->$iterator($numBytes));
  9. }

如何运行…

首先，我们利用第一章《建立基础》中定义的自动加载类，在调用程序中获取 Application\Iterator\LargeFile 的实例， chap_02_iterating_through_a_massive_file.php ：

  1. define('MASSIVE_FILE', '/../data/files/war_and_peace.txt');
  2. require __DIR__ . '/../Application/Autoload/Loader.php';
  3. Application\Autoload\Loader::init(__DIR__ . '/..');

接下来，在 try {...} catch () {...} 块里面，我们得到一个 ByLine 迭代器的实例：

  1. try {
  2.   $largeFile = new Application\Iterator\LargeFile(__DIR__ . MASSIVE_FILE);
  3.   $iterator = $largeFile->getIterator('ByLine');

然后，我们提供一个有用的示例，在这种情况下，定义每行平均单词数：

  1. $words = 0;
  2. foreach ($iterator as $line) {
  3.   echo $line;
  4.   $words += str_word_count($line);
  5. }
  6. echo str_repeat('-', 52) . PHP_EOL;
  7. printf("%-40s : %8d\n", 'Total Words', $words);
  8. printf("%-40s : %8d\n", 'Average Words Per Line', 
  9. ($words / $iterator->getReturn()));
  10. echo str_repeat('-', 52) . PHP_EOL;

然后，我们结束catch块：

  1. } catch (Throwable $e) {
  2.   echo $e->getMessage();
  3. }

预期的输出（太大了，这里就不显示了！）在本示例中我们采用了古腾堡版的《战争与和平》其中有566,095个字。另外，我们发现每行的平均字数是8个。