PostgreSQL :::danger 使用以下导出时注意当前系统的编码环境，否则会遇到编码不一致导致无法导入的问题。 :::

1、pg_dump

  • pg_dump — 将一个PostgreSQL数据库导出到一个脚本文件或者其它归档文件中。
  • pg_dump是一个用于备份PostgreSQL数据库的实用工具，即使当前数据库正在使用，也能够生成一致性的备份，且不会阻塞其他用户访问数据库(包括读、写)。
  • PostgreSQL提供的一个工具pg_dump,逻辑导出数据，生成sql文件或其他格式文件。
  • pg_dump是一个客户端工具，可以远程或本地导出逻辑数据，恢复数据至导出时间点。
  • pg_dump只能备份一个数据库
  • pg_dump 一次只转储一个数据库，并不会转储有关角色或表空间的信息 (因为那些是群集范围而不是每个数据库)。

    1.pg_dump导出整个数据库

    ```bash pg_dump -h localhost -U postgres(用户名) -d DBNAME（数据库名(缺省时同用户名)） > /data/dum.sql

use

[postgres@vmonline postgres]$ pg_dump -h localhost -U postgres -d pgtest > ~/dum.sql

  1. **其它导出示例：**
  2. ```bash
  3. # 操作系统平面文件格式
  4. $ pg_dump -h 192.168.6.16 -U highgo -p 5433 -Fp -t test_dump > /tmp/test_dump1.dmp highgo
  5. #自定义格式
  6. $ pg_dump -h 192.168.6.16 -U highgo -p 5433 -Fc -t test_dump > /tmp/test_dump2.dmp highgo
  7. #tar包格式
  8. $ pg_dump -h 192.168.6.16 -U highgo -p 5433 -Ft -t test_dump > /tmp/test_dump3.dmp highgo
  9. #自定义、0级压缩格式
  10. $ pg_dump -h 192.168.6.16 -U highgo -p 5433 -Fc -Z 0 -t test_dump > /tmp/test_dump4.dmp highgo
  11. #自定义、9级压缩格式
  12. $ pg_dump -h 192.168.6.16 -U highgo -p 5433 -Fc -Z 9 -t test_dump > /tmp/test_dump5.dmp highgo
  13. #显示信息内容
  14. $ pg_dump -h 192.168.6.16 -U highgo -p 5433 -Fc -v -t test_dump > /tmp/test_dump6.dmp highgo

验证不同格式的文件：

  1. # ll
  2. -rw-rw-r-- 1 pg   pg   379738 Nov  1 15:05 test_dump1.dmp
  3. -rw-rw-r-- 1 pg   pg   217142 Nov  1 15:05 test_dump2.dmp
  4. -rw-rw-r-- 1 pg   pg   384512 Nov  1 15:05 test_dump3.dmp
  5. -rw-rw-r-- 1 pg   pg   429852 Nov  1 15:08 test_dump4.dmp
  6. -rw-rw-r-- 1 pg   pg   217142 Nov  1 15:07 test_dump5.dmp
  7. 压缩格式的文件明显较小
  9. 不同格式的文件
  10. # file test_dump1.dmp
  11. test_dump1.dmp: ASCII text
  12. # file test_dump2.dmp
  13. test_dump2.dmp: PostgreSQL custom database dump - v1.13-0
  14. # file test_dump3.dmp
  15. test_dump3.dmp: POSIX tar archive
  16. # file test_dump4.dmp
  17. test_dump4.dmp: PostgreSQL custom database dump - v1.13-0
  18. 注意1：默认是-Fp格式（操作系统平面文件）
  19. 注意2：并行导出只支持-Fd 目录格式
  21. $ pg_dump -h 192.168.6.16 -U highgo -p 5433 -Fc -v -Z 1 -t test_dump > /tmp/test_dump3.dmp highgo
  22. pg_dump: parallel backup only supported by the directory format

2.pg_dump导出某个表

  1. pg_dump -h localhost -U postgres(用户名) 数据库名(缺省时同用户名) -t table(表名) >/data/dum.sql
  3. #use
  4. pg_dump -h localhost -U postgres pgtest -t public.test_table> ~/dum_test_table.sql
  6. #注意：public.test_table中, 'public'是模式名称, 'test_table'是模式中的表名称

3.pg_dump导出某个模式

  1. pg_dump导出public模式:  
  2. pg_dump -h localhost -U postgres(用户名) 数据库名(缺省时同用户名) -s public(模式名称) >/data/dum.sql  
  3. [postgres@vmonline ~]$pg_dump -h localhost -U postgres pgtest -s public> /home/lpf/public.sql

4.pg_dump 及pgsql配置密码导出数据

  1. # 数据库导出 -- 
  2. psql "host=XX.XX.XX.XX port=5432  user=XXX password=XXX dbname=XXX" -f table_name.sql
  4. #use
  5. pg_dump "host=localhost port=5432 user=postgres password=123456 dbname=pgtest" -f ~/table_name.sql
  7. # ---------------------------------------------------- #
  8. # 数据库表导出
  9. pg_dump "host=XX.XX.XX.XX port=5432 user=XXXX password=XXXX dbname=XXXXX" -t table_name -f table_name.sql

5.pgsql导入整个数据库

  1. psql -U postgres(用户名)  数据库名(缺省时同用户名) < /data/dum.sql
  3. #use
  4. [postgres@vmonline ~]$ psql -U postgres pgtest < ~/dum.sql
  6. .\psql.exe -h 127.71.160.31 -U postgres -d business -f D:\LinkSpace\Work\WorkFiles\Fcant\business.sql
  8. #pg_restore导入数据库
  9. pg_restore -h 192.168.0.100 -p 5432 -U postgres -W -d us2011 -v "/root/us2010.backup"

image.png

2、pg_dumpall

  • 如果要备份Cluster中数据库共有的全局对象，例如角色和表空间，需要使用pg_dumpall。
  • 备份文件以文本或存档文件格式输出。
  • Script dumps是一个普通文本文件，包含将数据库重构到保存时的状态所需的SQL命令。
  • 要从这样的脚本恢复，需要将其提供给psql。脚本文件甚至可以用来在其他机器或者其他架构上重构数据库;进行一些必要的修改，甚至可以在其他数据库上使用。
  • pg_dumpall 在给定的群集中备份每个数据库, 并保留群集范围内的数据, 如角色和表空间定义。

    pg_dumpall导出及psql恢复

    ```bash

    pg_dumpall导出

    su postgres #（需要切换到系统的postgres用户来进行备份） pg_dumpall > /backup/all_the_data.backup #（备份整个数据库集群）

psql恢复

su postgres psql -f /backup/all_the_data.backup postgres exit

  1. <a name="Y7foN"></a>
  2. ## 3、pg_restore
  3. PostgreSQL提供的一个工具pg_restore用来导入数据
  4. <a name="QRVeL"></a>
  5. ### pg_restore恢复
  6. ```bash
  7. #pg_restore恢复示例
  8. pg_restore -h 192.168.0.100 -p 5432 -U postgres -W -d us2011 -v "/root/us2010.backup"

4、压缩方法

一般用dump导出数据会比较大，推荐使用xz压缩
压缩方法： 

  1. xz dum.sql

压缩后会生成 dum.sql.xz 的文件

xz压缩数据导入数据库方法

  1. xzcat /data/dum.sql.xz | psql -h localhost -U postgres(用户名) 数据库名(缺省时同用户名)

5、附录

1.pg_dump工具参数

  1. ❯ .\pg_dump.exe --help
  2. pg_dump 把一个数据库转储为纯文本文件或者是其它格式.
  4. 用法:
  5.   pg_dump [选项]... [数据库名字]
  7. 一般选项:
  8.   -f, --file=FILENAME          输出文件或目录名
  9.   -F, --format=c|d|t|p         输出文件格式 (定制, 目录, tar
  10.                                明文 (默认值))
  11.   -j, --jobs=NUM               执行多个并行任务进行备份转储工作
  12.   -v, --verbose                详细模式
  13.   -V, --version                输出版本信息，然后退出
  14.   -Z, --compress=0-9           被压缩格式的压缩级别
  15.   --lock-wait-timeout=TIMEOUT  在等待表锁超时后操作失败
  16.   --no-sync                    不用等待变化安全写入磁盘
  17.   -?, --help                   显示此帮助, 然后退出
  19. 控制输出内容选项:
  20.   -a, --data-only              只转储数据,不包括模式
  21.   -b, --blobs                  在转储中包括大对象
  22.   -B, --no-blobs               排除转储中的大型对象
  23.   -c, --clean                  在重新创建之前，先清除（删除）数据库对象
  24.   -C, --create                 在转储中包括命令,以便创建数据库
  25.   -E, --encoding=ENCODING      转储以ENCODING形式编码的数据
  26.   -n, --schema=PATTERN         dump the specified schema(s) only
  27.   -N, --exclude-schema=PATTERN do NOT dump the specified schema(s)
  28.   -O, --no-owner               在明文格式中, 忽略恢复对象所属者
  29.   -s, --schema-only            只转储模式, 不包括数据
  30.   -S, --superuser=NAME         在明文格式中使用指定的超级用户名
  31.   -t, --table=PATTERN          dump the specified table(s) only
  32.   -T, --exclude-table=PATTERN  do NOT dump the specified table(s)
  33.   -x, --no-privileges          不要转储权限 (grant/revoke)
  34.   --binary-upgrade             只能由升级工具使用
  35.   --column-inserts             以带有列名的INSERT命令形式转储数据
  36.   --disable-dollar-quoting     取消美元 (符号) 引号, 使用 SQL 标准引号
  37.   --disable-triggers           在只恢复数据的过程中禁用触发器
  38.   --enable-row-security        启用行安全性（只转储用户能够访问的内容）
  39.   --exclude-table-data=PATTERN do NOT dump data for the specified table(s)
  40.   --extra-float-digits=NUM     覆盖extra_float_digits的默认设置
  41.   --if-exists                  当删除对象时使用IF EXISTS
  42.   --include-foreign-data=PATTERN
  43.                                include data of foreign tables on foreign
  44.                                servers matching PATTERN
  45.   --inserts                    以INSERT命令，而不是COPY命令的形式转储数据
  46.   --load-via-partition-root    通过根表加载分区
  47.   --no-comments                不转储注释
  48.   --no-publications            不转储发布
  49.   --no-security-labels         不转储安全标签的分配
  50.   --no-subscriptions           不转储订阅
  51.   --no-synchronized-snapshots  在并行工作集中不使用同步快照
  52.   --no-tablespaces             不转储表空间分配信息
  53.   --no-unlogged-table-data     不转储没有日志的表数据
  54.   --on-conflict-do-nothing     将ON CONFLICT DO NOTHING添加到INSERT命令
  55.   --quote-all-identifiers      所有标识符加引号，即使不是关键字
  56.   --rows-per-insert=NROWS      每个插入的行数；意味着--inserts
  57.   --section=SECTION            备份命名的节 (数据前, 数据, 及 数据后)
  58.   --serializable-deferrable    等到备份可以无异常运行
  59.   --snapshot=SNAPSHOT          为转储使用给定的快照
  60.   --strict-names               要求每个表和(或)schema包括模式以匹配至少一个实体
  61.   --use-set-session-authorization
  62.                                使用 SESSION AUTHORIZATION 命令代替
  63.                                ALTER OWNER 命令来设置所有权
  65. 联接选项:
  66.   -d, --dbname=DBNAME      对数据库 DBNAME备份
  67.   -h, --host=主机名        数据库服务器的主机名或套接字目录
  68.   -p, --port=端口号        数据库服务器的端口号
  69.   -U, --username=名字      以指定的数据库用户联接
  70.   -w, --no-password        永远不提示输入口令
  71.   -W, --password           强制口令提示 (自动)
  72.   --role=ROLENAME          在转储前运行SET ROLE
  74. 如果没有提供数据库名字, 那么使用 PGDATABASE 环境变量
  75. 的数值.
  77. Report bugs to <pgsql-bugs@lists.postgresql.org>.
  78. PostgreSQL home page: <https://www.postgresql.org/>

2.pg_dumpall工具参数

  1. ❯ .\pg_dumpall.exe --help
  2. pg_dumpall 抽取一个 PostgreSQL 数据库簇进一个 SQL 脚本文件.
  4. 用法:
  5.   pg_dumpall [选项]...
  7. 一般选项:
  8.   -f, --file=FILENAME          输出文件名
  9.   -v, --verbose                详细模式
  10.   -V, --version                输出版本信息，然后退出
  11.   --lock-wait-timeout=TIMEOUT  在等待表锁超时后操作失败
  12.   -?, --help                   显示此帮助, 然后退出
  14. 控制输出内容选项:
  15.   -a, --data-only              只转储数据,不包括模式
  16.   -c, --clean                  在重新创建数据库前先清除(删除)数据库
  17.   -E, --encoding=ENCODING      转储以ENCODING形式编码的数据
  18.   -g, --globals-only           只转储全局对象, 不包括数据库
  19.   -O, --no-owner               不恢复对象所属者
  20.   -r, --roles-only             只转储角色，不包括数据库或表空间
  21.   -s, --schema-only            只转储模式, 不包括数据
  22.   -S, --superuser=NAME         在转储中, 指定的超级用户名
  23.   -t, --tablespaces-only       只转储表空间，而不转储数据库或角色
  24.   -x, --no-privileges          不要转储权限 (grant/revoke)
  25.   --binary-upgrade             只能由升级工具使用
  26.   --column-inserts             以带有列名的INSERT命令形式转储数据
  27.   --disable-dollar-quoting     取消美元 (符号) 引号, 使用 SQL 标准引号
  28.   --disable-triggers           在只恢复数据的过程中禁用触发器
  29.   --exclude-database=PATTERN   排除名称与PATTERN匹配的数据库
  30.   --extra-float-digits=NUM     覆盖extra_float_digits的默认设置
  31.   --if-exists                  当删除对象时使用IF EXISTS
  32.   --inserts                    以INSERT命令，而不是COPY命令的形式转储数据
  33.   --load-via-partition-root    通过根表加载分区
  34.   --no-comments                不转储注释
  35.   --no-publications            不转储发布
  36.   --no-role-passwords          不转储角色的密码
  37.   --no-security-labels         不转储安全标签的分配
  38.   --no-subscriptions           不转储订阅
  39.   --no-sync                    不用等待变化安全写入磁盘
  40.   --no-tablespaces             不转储表空间分配信息
  41.   --no-unlogged-table-data     不转储没有日志的表数据
  42.   --on-conflict-do-nothing     将ON CONFLICT DO NOTHING添加到INSERT命令
  43.   --quote-all-identifiers      所有标识符加引号，即使不是关键字
  44.   --rows-per-insert=NROWS      每个插入的行数；意味着--inserts
  45.   --use-set-session-authorization
  46.                                使用 SESSION AUTHORIZATION 命令代替
  47.                                ALTER OWNER 命令来设置所有权
  49. 联接选项:
  50.   -d, --dbname=CONNSTR     连接数据库使用的连接串
  51.   -h, --host=主机名        数据库服务器的主机名或套接字目录
  52.   -l, --database=DBNAME    另一个缺省数据库
  53.   -p, --port=端口号        数据库服务器的端口号
  54.   -U, --username=名字      以指定的数据库用户联接
  55.   -w, --no-password        永远不提示输入口令
  56.   -W, --password           强制口令提示 (自动)
  57.   --role=ROLENAME          在转储前运行SET ROLE
  59. 如果没有使用 -f/--file，那么将把SQL脚本写到标准输出.
  61. Report bugs to <pgsql-bugs@lists.postgresql.org>.
  62. PostgreSQL home page: <https://www.postgresql.org/>

3.pg_restore工具参数

  1. ❯ .\pg_restore.exe --help
  2. pg_restore 从一个归档中恢复一个由 pg_dump 创建的 PostgreSQL 数据库.
  4. 用法:
  5.   pg_restore [选项]... [文件名]
  7. 一般选项:
  8.   -d, --dbname=名字        连接数据库名字
  9.   -f, --file=文件名       输出文件名(- 对于stdout)
  10.   -F, --format=c|d|t       备份文件格式(应该自动进行)
  11.   -l, --list               打印归档文件的 TOC 概述
  12.   -v, --verbose            详细模式
  13.   -V, --version            输出版本信息, 然后退出
  14.   -?, --help               显示此帮助, 然后退出
  16. 恢复控制选项:
  17.   -a, --data-only              只恢复数据, 不包括模式
  18.   -c, --clean                  在重新创建之前，先清除（删除）数据库对象
  19.   -C, --create                 创建目标数据库
  20.   -e, --exit-on-error          发生错误退出, 默认为继续
  21.   -I, --index=NAME             恢复指定名称的索引
  22.   -j, --jobs=NUM               执行多个并行任务进行恢复工作
  23.   -L, --use-list=FILENAME      从这个文件中使用指定的内容表排序
  24.                                输出
  25.   -n, --schema=NAME            在这个模式中只恢复对象
  26.   -N, --exclude-schema=NAME    不恢复此模式中的对象
  27.   -O, --no-owner               不恢复对象所属者
  28.   -P, --function=NAME(args)    恢复指定名字的函数
  29.   -s, --schema-only            只恢复模式, 不包括数据
  30.   -S, --superuser=NAME         使用指定的超级用户来禁用触发器
  31.   -t, --table=NAME             恢复命名关系（表、视图等）
  32.   -T, --trigger=NAME           恢复指定名字的触发器
  33.   -x, --no-privileges          跳过处理权限的恢复 (grant/revoke)
  34.   -1, --single-transaction     作为单个事务恢复
  35.   --disable-triggers           在只恢复数据的过程中禁用触发器
  36.   --enable-row-security        启用行安全性
  37.   --if-exists                  当删除对象时使用IF EXISTS
  38.   --no-comments                不恢复注释
  39.   --no-data-for-failed-tables  对那些无法创建的表不进行
  40.                                数据恢复
  41.   --no-publications            不恢复发行
  42.   --no-security-labels         不恢复安全标签信息
  43.   --no-subscriptions           不恢复订阅
  44.   --no-tablespaces             不恢复表空间的分配信息
  45.   --section=SECTION            恢复命名节 (数据前、数据及数据后)
  46.   --strict-names               要求每个表和(或)schema包括模式以匹配至少一个实体
  47.   --use-set-session-authorization
  48.                                使用 SESSION AUTHORIZATION 命令代替
  49.                                ALTER OWNER 命令来设置所有权
  51. 联接选项:
  52.   -h, --host=主机名        数据库服务器的主机名或套接字目录
  53.   -p, --port=端口号        数据库服务器的端口号
  54.   -U, --username=名字      以指定的数据库用户联接
  55.   -w, --no-password        永远不提示输入口令
  56.   -W, --password           强制口令提示 (自动)
  57.   --role=ROLENAME          在恢复前执行SET ROLE操作
  59. 选项 -I, -n, -N, -P, -t, -T, 以及 --section 可以组合使用和指定
  60. 多次用于选择多个对象.
  62. 如果没有提供输入文件名, 则使用标准输入.
  64. Report bugs to <pgsql-bugs@lists.postgresql.org>.
  65. PostgreSQL home page: <https://www.postgresql.org/>

6、POSTGRES数据库导出导入的问题

A.编码问题

基础知识

需要关心3个字符集
1）一个是执行命令所在系统环境的字符集，如果是cygdrive，查看LANG默认是utf8，如果是powershell，用chcp命令结果为936，代表gbk。
image.png
2）一个是数据库server编码，在psql中运行 show server_encoding，结果为utf8。这个编码不太好改，而且官方文档说了不支持gbk（https://www.postgresql.org/docs/12/multibyte.html）。
3）一个是client编码，show client_encoding，结果是gbk。这个可以通过set client_encoding=xx来改变。
image.png

遇到的问题及解释

在powershell里使用pg_dump命令导出全库，然后再使用psql命令导入，遇到了gbk字符在utf8没有对应值的报错。
原因：通过vim查看导出文件编码，显示为utf-161e，不是utf8。虽然client编码是gbk，与文件一致，但是导入是要先经过server，因为与server编码不一致，所以报错。
image.png

解决方法及经验总结

将导出文件转码为utf8就可以导入了，但是数据的某些行导入时还有问题，会导致整个表数据不会插入。但这已经是最好的结果了。 :::tips 经验总结：以后导出文件时，应关注环境编码，在utf8环境下导出，比如使用cygdrive，或者将powershell的编码改成utf8（chcp 65001），这样导出文件编码就是utf8，与server编码相同，server又会将数据转码为client编码，导入时就不会有任何问题了。 :::