1.系统环境

  • 系统版本：Win10 64位
  • Mysql版本： 8.0.15 MySQL Community Server - GPL

  • Mysql Workbench版本：Version 8.0.15 build(64bits) Community

    2.准备工作

    不管是使用Workbench还是命令行来加载本地数据，都可以先使用Workbench进行数据库、表的创建工作。

    3.使用Workbench进行加载

  • 当数据量不是很大时(万级以内）时，可以使用Workbench进行加载，优点是可以根据引导一步一步操作。

  • 操作过程中碰到的问题：进入引导界面并选择待加载的文件后，软件提示Unhandled exception:(“Incorrect database name””,1102），直接指示数据库名为空，并且报错。原因是将需要将当前数据库设置为默认数据库(右键当前数据库然后选择Set as Default Scheme)，不然Workbench会找不到默认数据库，从而报一个数据库名为空的错误。

  • 剩下的步骤根据指示完成即可。

    4.使用命令行进行加载

    4.1 命令语法

    1. LOAD DATA [LOW_PRIORITY | CONCURRENT] [LOCAL] INFILE 'file_name.txt'
    2.   [REPLACE | IGNORE]
    3.   INTO TABLE tbl_name
    4.   [FIELDS
    5.       [TERMINATED BY 'string']
    6.       [[OPTIONALLY] ENCLOSED BY 'char']
    7.       [ESCAPED BY 'char' ]
    8.   ]
    9.   [LINES
    10.       [STARTING BY 'string']
    11.       [TERMINATED BY 'string']
    12.   ]
    13.   [IGNORE number LINES]
    14.   [(col_name_or_user_var,...)]
    15.   [SET col_name = expr,...)]

    load data infile语句从一个文本文件中以很高的速度读入一个表中。使用这个命令之前，mysqld进程（服务）必须已经在运行。由于安全原因，当读取位于服务器上的文件时，文件必须处于数据库目录或可被所有人读取。另外，为了对服务器上文件使用load data infile，在服务器主机上必须有file的权限。

  • 如果指定关键词low_priority，那么MySQL将会等到没有其他人读这个表的时候，才把数据插入。可以使用如下的命令： 

    1. load data  low_priority infile "/home/mark/data sql" into table Orders;

  • 如果指定local关键词，则表明从客户主机读文件。如果local没指定，文件必须位于服务器上。

  • replace和ignore关键词控制对现有的唯一键记录的重复的处理。如果你指定replace，新行将代替有相同的唯一键值的现有行。如果你指定ignore，跳过有唯一键的现有行的重复行的输入。如果你不指定任何一个选项，当找到重复键时，出现一个错误，并且文本文件的余下部分被忽略。例如：

    1. load data  low_priority infile "/home/mark/data sql" replace into table Orders;

  • 分隔符：

    • fields关键字指定了文件字段的分割格式，如果用到这个关键字，MySQL剖析器希望看到至少有下面的一个选项：
      • terminated by：以什么字符作为分隔符
      • enclosed by：字段闭合标签
      • escaped by：转义字符
      • terminated by：描述字段的分隔符，默认情况下是tab字符（\t）
      • enclosed by：描述的是字段的括起字符
      • escaped by：描述的转义字符。默认的是反斜杠（backslash：\ ）
    • lines关键字指定了每条记录的分隔符默认为’\n’即为换行符：
      • 如果两个字段都指定了，那fields必须在lines之前。如果不指定fields关键字，缺省值与这样写相同：fields terminated by’\t’ enclosed by ’ ‘’ ‘ escaped by’\‘
      • 如果你不指定一个lines子句，缺省值与这样写的相同： lines terminated by’\n’
    • [IGNORE number LINES] 忽略特定行数，CSV文件可以忽略掉第一行标题

      4.2 操作过程中的问题

      运行如下代码：
      1. mysql> LOAD DATA LOCAL INFILE 'D:/XXX.csv' INTO TABLE database.tablename FIELDS TERMINATED BY ',';
      出现如下错误：
      1. ERROR 1148 (42000): The used command is not allowed with this MySQL version
      原因是服务器端，local_infile默认开启；客户端，local_infile默认关闭，因此用的时候需要打开。
      查看local_infile变量的状态：
      1. mysql> show global variables like 'local_infile';
      2. +---------------+-------+
      3. | Variable_name | Value |
      4. +---------------+-------+
      5. | local_infile  | OFF   |
      6. +---------------+-------+
      显示为关闭状态，使用如下命令打开：
      1. mysql> set global local_infile = 'ON';
      并再次查看：
      1. mysql> show global variables like 'local_infile';
      2. +---------------+-------+
      3. | Variable_name | Value |
      4. +---------------+-------+
      5. | local_infile  | ON    |
      6. +---------------+-------+
      然后再进行导入工作：
      1. mysql> LOAD DATA LOCAL INFILE 'D:/XXX.csv' INTO TABLE database.tablename FIELDS TERMINATED BY ',';
      仍然报同样的错误：
      1. ERROR 1148 (42000): The used command is not allowed with this MySQL version
      退出mysql，用如下命令进行登陆：
      1. $ mysql --local-infile=1 -u root -p
      然后就能够正常进行正常加载了：
      1. mysql> load data local infile 'E:/Documents/user_utf.csv' into table data.user fields terminated by ',';
      2. Query OK, 101535 rows affected, 65535 warnings (1.08 sec)
      3. Records: 101535  Deleted: 0  Skipped: 0  Warnings: 69457

      5.参考资料

  • load data infile语法详解

  • load data infile参数详解
  • windows下MySQL8中LOAD DATA INFILE出现The used command is not allowed with this MySQL version问题