高级设置参数

  • 高级设置参数

    高级设置参数

  • 常用作业参数 | 属性 | 值 | 默认值 | 说明 | 支持版本 | | —- | —- | —- | —- | —- | | ndi.show-argument | boolean | FALSE | 日志中打印作业配置。 | 1.0.0+ | | ndi.spark.spark-argument.executor-memory | | 调度节点Spark client使用的值，具体值请咨询技术支持 | 作业运行时，单个节点使用的内存，单位为g。 | 1.0.0+ | | ndi.spark.spark-conf.spark.sql.hive.convertMetastoreParquet | boolean值 | TRUE | 值为false时，将使用读写hive表时使用hive的serde。官方参考文档 | 1.0.0+ | | ndi.enableColumnQuote | boolean值 | | 默认false。部分表在创建时列名使用了数据库关键字或特殊符号，在作业运行过程中，会报语法错误。如果表中使用了数据库关键字可以将该值设置为true，会根据来源库类型给列名添加引号 | 1.8.3+ | | ndi.spark.spark-conf.spark.sql.parquet.compression.codec | none, uncompressed, snappy, gzip, lzo, brotli, lz4, zstd | snappy | 写入parquet文件时使用的压缩编码。
    当Hive表为parquet时生效。
    Hive表属性中指定的压缩编码具有更高的优先级。官方参考文档 | 1.0.0+ | | ndi.spark.spark-conf.spark.sql.parquet.writeLegacyFormat | boolean值 | FALSE | 写入parquet文件使用的格式。
    当设置为true时，会兼容hive和impala使用的parquet格式。
    当值为false时，可能会导致写入hive后，在查询时报错。官方参考文档 | 1.0.0+ | | ndi.spark.spark-conf.spark.task.maxFailures | | 4 | Task重启次数超过spark.task.maxFailures，则taskSet会失败，即一个stage失败。stage失败导致整个Job就失败了，spark会取消该stage对应的job包含的所有 task，并返回用户任务执行失败。 | 1.0.0+ | | ndi.spark.spark-conf.spark.stage.maxConsecutiveAttempts | | 4 | 在一个stage被中止之前，允许的连续stage重试的次数。 | 1.0.0+ | | ndi.spark.spark-conf.spark.yarn.max.executor.failures | | | 作业重试次数。不支持幂等写入的数据源会在重试时会导致数据重复。 | 1.0.0+ | | ndi.spark.spark-conf.spark.yarn.maxAppAttempts | int值 | yarn.resourcemanager.am.max-attempts的值 | 默认为yarn.resourcemanager.am.max-attempts的值，如果要设置，需小于它的值。
    yarn.resourcemanager.am.max-attempts：默认为2。 | 1.0.0+ | | ndi.spark.spark-conf.spark.hadoop.hive.exec.max.dynamic.partitions | | | hive动态分区的最大分区数。默认值为hive-site.xml中的配置。 | 1.8.0+ | | ndi.analyzeTableStatistics | boolean值 | FALSE | 是否计算hive的统计信息写入到metastore。 | 1.8.3+ | | ndi.spark.spark-conf.XXX | | | XXX为Spark_2.3.2支持的配置项。 | 1.0.0+ | | ndi.spark.spark-argument.YYY | | | YYY为spark-submit脚本支持的argument。ddb的读写任务会使用该参数上传认证文件，如果需要在ddb任务使用该files时，请联系技术支持。 | |

  • 数据来源端参数 | 数据源类型 | 属性 | 值 | 默认值 | 说明 | 支持版本 | | —- | —- | —- | —- | —- | —- | | 关系型数据库
    （MySQL, DDB(DBI), DDB(QS), Oracle, 达梦, PostgreSQL, SQLServer, HANA, TiDB, DB2） | source.urlSuffix | 数据源支持的jdbc属性值 | | jdbc属性后缀。任务运行时该属性会追加在登记的jdbc url上。 | 1.0.0+ | | | source.enableColumnQuote | true, false | false | 是否开启列引用。表的字段名使用关键字时会导致任务报错，开启此选项，会在字段名上添加引号。 | 1.8.0+ | | | source.partitionSize | | 1024m | 分区大小。默认1024m，用于计算分区数和是否切分时使用。
    当information_schema.tables表中的DATA_LENGTH字段的值大于partitionSize的bytes值时，自动开启切分。 | 1.0.0+ | | | source.mustSplit | true, false | false | 是否开启切分。设置并行度大于1时，自动开启切分。 | 1.0.0+ | | | source.splitNum | int值 | snappy | 切分数，默认为切分字段的最大值和最小值的差值除以splitSize的值。 | 1.0.0+ | | | source.splitSize | long值 | 1000000 | 切分步长（默认1000000）。 | 1.0.0+ | | | source.maxSplitNum | int值 | 10000 | 最大切分数（默认10000）。 | 1.0.0+ | | | source.forbiddenSplit | true, false | false | 是否禁用切分。 | 1.8.3+ | | | source.fetchSize | int值 | 1000 | JDBC默认每执行一次检索，会从游标中提取的记录数。 | 1.0.0+ | | Doris | source.doris.request.retries | | 3 | 向Doris发送请求的重试次数 | 1.8.0+ | | | source.doris.request.connect.timeout.ms | | 30000 | 向Doris发送请求的连接超时时间。 | | | | source.doris.request.read.timeout.ms | | 30000 | 向Doris发送请求的读取超时时间。 | | | | source.doris.request.query.timeout.s | | 3600 | 查询Doris的超时时间，默认值为1小时，-1表示无超时限制。 | | | | source.doris.request.tablet.size | | integer.MAX_VALUE | 一个RDD Partition对应的Doris Tablet个数。
    此数值设置越小，则会生成越多的Partition。从而提升Spark侧的并行度，但同时会对Doris造成更大的压力。 | | | | source.doris.batch.size | | 1024 | 一次从BE读取数据的最大行数。增大此数值可减少Spark与Doris之间建立连接的次数。
    从而减轻网络延迟所带来的的额外时间开销。 | | | | source.doris.exec.mem.limit | | 2147483648 | 单个查询的内存限制。默认为 2GB，单位为字节。 | | | | source.doris.deserialize.arrow.async | | false | 是否支持异步转换Arrow格式到spark-doris-connector迭代所需的RowBatch。 | | | | source.doris.deserialize.queue.size | | 64 | 异步转换Arrow格式的内部处理队列，当doris.deserialize.arrow.async为true时生效。 | | | MongoDB | source.spark.mongodb.input.batchSize | | | 每次检索时，会从游标中读取的行数。 | 1.5.0+ | | | 更多参数 | | | 更多参数请参考官方文档
    。 | 1.5.0+ | | Elasticsearch | source.es.read.field.as.array.include | | | array类型的字段名，多个字段之间使用英文逗号分隔。 | 1.5.0+ | | | 更多参数 | | | 更多参数请参考官方文档
    。 | 1.5.0+ |

  • 数据去向端参数 | 数据源类型 | 属性 | 值 | 默认值 | 说明 | 支持版本 | | —- | —- | —- | —- | —- | —- | | 关系型数据库
    （MySQL, DDB(DBI), DDB(QS), Oracle, 达梦, PostgreSQL, SQLServer, HANA, TiDB, DB2） | target.urlSuffix | 数据源支持的jdbc属性值 | | jdbc属性后缀。任务运行时该属性会追加在登记的jdbc url上。 | 1.0.0+ | | | target.batchSize | int值 | 1000 | 批量写入的条数。 | 1.0.0+ | | Doris | target.batchSize | int值 | 1000 | 批量写入的条数。 | 1.7.5+ | | HBase | target.conf.hadoop.hbase.fs.tmp.dir | 具有写权限的HDFS目录 | “/user/“ + System.getProperty(“user.name”) + “/hbase-staging” | bulkload使用的临时目录。 | 1.5.0+ | | | target.fileNumber | | | buldload写入时的重分区个数。 | 1.5.0+ | | FTP | target.fileMerge | true，false | true | 是否对文件进行合并。 | 1.8.3+ | | | target.fileMergeNum | int值 | 1 | 合并后的文件数量。 | 1.8.3+ | | Vertica | target.handlingOptions.i | | | 支持Vertica官方Copy Parameters文档中Handling Options和Parser-Specific Options包含的参数，i为属性添加的顺序，从0开始递增。
    示例：target.handlingOptions.0=NO ESCAPE | | | | target.columnOptions.i | | | 支持Vertica官方Copy Parameters文档中Column OPTION包含的参数，可以指定列的属性，i为属性添加的顺序，从0开始递增。
    示例：target.columnOptions.0=id NULL ‘xxx’ | |