2021-05-01

问题：Sqoop运行报错

  • 问题1、Job的Map任务执行到40%报错

image-20201201105456198.png

  • 问题2、Job的Map直接无法执行报错

image-20201201102632455.png

  • 问题3、无法连接报错

image-20201201102719591.png

  • 问题4、无权限报错

image-20201201102907988.png

  • 报错原因及解决方式：

    • 无权限报错：当前登录的Kerberos用户无HDFS的权限，切换Kerberos的hive用户

    • 无法连接报错：登录Mysql的用户（root）未开启远程登录权限，换有远程登录和连接的用户（cm），或者修改root用户可远程连接

      1. grant all privileges on *.* to root@IP地址 identified by '密码';
      2. flush privileges;

    • Job无法运行报错或运行40%报错：map任务被yarn分配部分任务到其他节点运行，而脚本的MySQL IP地址为localhost或127.0.0.1，导致其他节点无法连接到本机MySQL运行任务。修改脚本内的MySQL连接地址为本机IP，user选择有连接权限的MySQL用户

image-20201201105250890.png