example 案例

import

常用

  1. sqoop import
  3. --connect "jdbc:mysql://${mysql_host}:3306/${mysql_database}?useUnicode=true&tinyInt1isBit=false&characterEncoding=utf-8" \
  4. --username '${mysql_user}' \
  5. --password '${mysql_password}' \
  6. --table '${mysql_table}' \
  7. --hive-table '${hive_database}.${hive_table}' \
  8. --hive-import \
  10. --hive-delims-replacement '%n&' \
  11. --fields-terminated-by '\001' \
  12. --lines-terminated-by '\n' \
  14. --input-null-string '\\N' \
  15. --input-null-non-string '\\N' \
  16. --null-string '\\N' \
  17. --null-non-string '\\N' \
  19. --outdir /home/dwadmin/test/jason/uba/scripts/shell/tool/../.tmp \
  20. --target-dir /umr-jdlg4d/temp/sqoop-target/agent_team \
  21. --delete-target-dir \
  23. --num-mappers 1;

1、按照最大 id 之后的数据抽取

  1. sqoop import \
  2. --connect "jdbc:mysql://192.168.160.54:3306/angejia?useUnicode=true&tinyInt1isBit=false&characterEncoding=utf-8" \
  3. --username angejia \
  4. --password angejia123 \
  5. \
  6. #导入执行参数
  7. --target-dir /user/temp/sqoop-target/user_msg \
  8. --num-mappers 4 \
  9. --table user_msg \
  10. --hive-table jason_test.user_msg \
  11. --hive-import \
  12. --hive-delims-replacement '%n&' \
  13. \
  14. #列行分隔符
  15. --fields-terminated-by '\t' \
  16. --lines-terminated-by '\n' \
  17. \
  18. --input-null-string '\\N' \
  19. --input-null-non-string '\\N' \
  20. --null-string '\\N'
  21. --null-non-string '\\N'
  22. --outdir /home/hadoop/test/jason/uba/scripts/shell/tool/../.tmp \
  23. \
  24. #抽取主键
  25. --check-column 'msg_id' \
  26. --incremental 'append' \
  27. --last-value '10' \
  28. \
  29. #分区字段
  30. --hive-partition-key 'p_dt' \
  31. --hive-partition-value '2015-07-16'

2、按照 id 范围抽取

  2. 把查询结果写入到 mysql 中，格式如下
  3. table_name | primary_id | min_num | max_num | p_dt
  5. 每次导入前，查询上一天的 max_num 数量,作为当天 min_num 的值,查询当天 max_num 写入到数据库
  6. 当天 拼接 min_num 和 max_num 作为查询条件,去 mysql 查询这个边界的数据，写入到 hive 中
  8. sqoop import \
  9. --connect "jdbc:mysql://192.168.160.54:3306/angejia?useUnicode=true&tinyInt1isBit=false&characterEncoding=utf-8" \
  10. --username angejia \
  11. --password angejia123 \
  12. \
  13. --target-dir /user/temp/sqoop-target/user_msg \
  14. --delete-target-dir \
  15. --num-mappers 1 \
  16. --table user_msg \
  17. --hive-table jason_test.user_msg \
  18. --hive-import \
  19. --hive-delims-replacement '%n&' \
  20. --split-by 'msg_id' \
  21. #获取最小最大 ID
  22. --boundary-query "select 11, 30" \
  23. \
  24. --fields-terminated-by '\001' \
  25. --lines-terminated-by '\n' \
  26. \
  27. --input-null-string '\\N' \
  28. --input-null-non-string '\\N' \
  29. --null-string '\\N'
  30. --null-non-string '\\N'
  31. --outdir /home/hadoop/test/jason/uba/scripts/shell/tool/../.tmp \
  32. \
  33. --hive-partition-key 'p_dt' \
  34. --hive-partition-value '2015-07-17'