加载大数据

  1. 使用 load data 命令导入数据
    1. source xxx.sql
      1. 是执行一条条 insert 语句,很慢;适合 10w 以下数据量
    2. load data local infile "xxx.txt" into table <table_name>
      1. 适合 10w 以上的数据量
      2. 如果数据量达到 1000w
        1. 可以切分文本
        2. 多线程加载文本
  2. pxc 集群单节点加载数据,避免集群加载速度出现流控
    1. 单节点启动、加载数据后,需要使用专业工具进行数据拷贝到其他节点

pxc 加载数据节点配置修改

  • 为了加快 pxc 加载数据节点的加载速率,进行配置文件修改 ```json [mysqld] …

    快速加载数据

    innodb_flush_log_at_trx_commit=0 innodb_flush_method=O_DIRECT innodb_buffer_pool_size=200M
  1. - **记得重启集群时候,这些配置需要删除**
  2. **
  3. ---
  4. <a name="ycEIf"></a>
  5. ### 一些小问题
  6. - 使用 `load data` 加载数据时候,提示 ` The MySQL server is running with the --secure-file-priv option so it cannot execute this statement`
  7. - 使用指令 `SHOW VARIABLES LIKE "secure_file_priv";` 查看
  8. - NULL,表示禁止。
  9. - 如果value值有文件夹目录,则表示只允许该目录下文件(PS:测试子目录也不行)。
  10. - 如果为空,则表示不限制目录。
  11. ```json
  12. [mysqld]
  13. # 关闭 load data 限制,即设置为空
  14. secure_file_priv=