加载大数据
- 使用 load data 命令导入数据
source xxx.sql
- 是执行一条条 insert 语句,很慢;适合 10w 以下数据量
load data local infile "xxx.txt" into table <table_name>
- 适合 10w 以上的数据量
- 如果数据量达到 1000w
- 可以切分文本
- 多线程加载文本
- pxc 集群单节点加载数据,避免集群加载速度出现流控
- 单节点启动、加载数据后,需要使用专业工具进行数据拷贝到其他节点
pxc 加载数据节点配置修改
- 为了加快 pxc 加载数据节点的加载速率,进行配置文件修改
```json
[mysqld]
…
快速加载数据
innodb_flush_log_at_trx_commit=0
innodb_flush_method=O_DIRECT
innodb_buffer_pool_size=200M
- **记得重启集群时候,这些配置需要删除**
**
---
<a name="ycEIf"></a>
### 一些小问题
- 使用 `load data` 加载数据时候,提示 ` The MySQL server is running with the --secure-file-priv option so it cannot execute this statement`
- 使用指令 `SHOW VARIABLES LIKE "secure_file_priv";` 查看
- NULL,表示禁止。
- 如果value值有文件夹目录,则表示只允许该目录下文件(PS:测试子目录也不行)。
- 如果为空,则表示不限制目录。
```json
[mysqld]
# 关闭 load data 限制,即设置为空
secure_file_priv=