要配置log4j.properties文件,不能只写第一行,还要有对应它的配置,比如下面写的console,就要对console配置
log4j.rootLogger=OFF, console
log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.target=System.err
log4j.appender.console.layout=org.apache.log4j.PatternLayout
log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n
然后还要让这个文件被spark-submit的配置读到
--conf spark.driver.extraJavaOptions=-Dlog4j.configuration=file:log4j_OFF.properties
如果文件在classpath中,可以直接写文件名,如果不在,要写上file:
然后,driver端就只剩下一行INFO的log了,就是说找不到nativecodeloader
参考:
https://stackoverflow.com/questions/778933/log4j-configuration-via-jvm-arguments#answer-7927278