Colly有一个内存存储后端来存储cookie和访问过的url,但是它可以被任何实现colly/storage. storage的自定义存储后端覆盖。

现有存储后端

In-Memory Backend

Colly的默认后端。使用collection . setstorage()覆盖。

Redis backend

See redis example for details.

boltdb backend

SQLite3 backend

MongoDB backend

PostgreSQL backend