源数据处理

假如要处理csv数据，只取某些列，可以使用cut命令：
从order.csv里读取，以逗号（-d,）为分隔符，取1、3列输出到geo.csv里 

  1. cut -d, -f1,3 < order.csv > geo.csv

建表

  1. CREATE TABLE `default`.idinfo (
  2.   id UInt64 COMMENT '自增ID',
  3.   IDENTITY String,    
  4.   NAME    String ,
  5.   PHONE    String,
  6.   AUT_TIME DateTime 
  7. )
  8. engine =ReplacingMergeTree(AUT_TIME)
  9. primary key (id)
  10. order by (id, IDENTITY);

导入

  1. clickhouse-client -h 127.0.0.1 -format_csv_delimiter=',' -q 'insert into default.idinfo FORMAT CSVWithNames ' < /opt/data.csv

实测600w数据10s导入完毕，不得不说是真的快。
image.png

clickhouse之数据写入问题