如果在运行python脚本时需要传入一些参数,例如gpus与batch_size,可以使用如下三种方式。
python script.py 0,1,2 10
python script.py -gpus=0,1,2 —batch-size=10
python script.py -gpus=0,1,2 —batch_size=10
这三种格式对应不同的参数解析方式,分别为sys.argv、argparse、 tf.app.run, 前两者是python自带的功能,后者是tensorflow提供的便捷方式。

1.sys.argv

sys模块是很常用的模块, 它封装了与python解释器相关的数据,例如sys.modules里面有已经加载了的所有模块信息,sys.path里面是PYTHONPATH的内容,而sys.argv则封装了传入的参数数据。
使用sys.argv接收上面第一个命令中包含的参数方式如下:

  1. import sys
  2. gpus = sys.argv[1]
  3. #gpus = [int(gpus.split(','))]
  4. batch_size = sys.argv[2]
  5. print(gpus)
  6. print(batch_size)

实验

image.png

2.argparse

  1. import argparse
  2. parser = argparse.ArgumentParser(description='test')
  3. parser.add_argument("--gpus",type=str,default="0")
  4. parser.add_argument("--batch-size",type=int,default=32)
  5. args = parser.parse_args()
  6. print(args.gpus)
  7. print(args.batch_size)

实验:

image.png

需要注意的是,脚本运行命令python script.py -gpus=0,1,2 —batch-size=11中的—batch-size会被自动解析成batch_size.
parser.add_argument 方法的type参数理论上可以是任何合法的类型, 但有些参数传入格式比较麻烦,例如list,所以一般使用bool, int, str, float这些基本类型就行了,更复杂的需求可以通过str传入,然后手动解析。bool类型的解析比较特殊,传入任何值都会被解析成True,传入空值时才为False
通过这个方法还能指定命令的帮助信息。具体请看API文档:https://docs.python.org/2/library/argparse.html
其它说明:parser.add_argument(‘—model’, type=str, required=True, help=’choose a model: Bert, ERNIE’)
required为必须项,help为解释项。还有些其它的

3.tf.app.run

  1. import tensorflow as tf
  2. tf.app.flags.DEFINE_string('gpus', None, 'gpus to use')
  3. tf.app.flags.DEFINE_integer('batch_size', 5, 'batch size')
  4. FLAGS = tf.app.flags.FLAGS
  5. def main(_):
  6. print(FLAGS.gpus)
  7. print(FLAGS.batch_size)
  8. if __name__=="__main__":
  9. tf.app.run()

有几点需要注意:
1、tensorflow只提供以下几种方法:
tf.app.flags.DEFINEstring,
tf.app.flags.DEFINE_integer,
tf.app.flags.DEFINE_boolean,
tf.app.flags.DEFINE_float 四种方法,分别对应str, int,bool,float类型的参数。这里对bool的解析比较严格,传入1会被解析成True,其余任何值都会被解析成False。
2、脚本中需要定义一个接收一个参数的main方法:def main(
):,这个传入的参数是脚本名,一般用不到, 所以用下划线接收。
3、以batch_size参数为例,传入这个参数时使用的名称为—batch_size,也就是说,中划线不会像在argparse 中一样被解析成下划线。
4、Tf.app.run()会寻找并执行入口脚本的main方法。也只有在执行了tf.app.run()之后才能从FLAGS中取出参数。
从它的签名来看,它也是可以自己指定需要执行的方法的,不一定非得叫main:
参考文献转自:https://blog.csdn.net/weixin_35653315/article/details/72886718

4 argparse.ArgumentParser().add_argument()用法解析

1 argparse模块

argparse是一个Python模块:命令行选项、参数和子命令解析器。
argparse 模块可以让人轻松编写用户友好的命令行接口。程序定义它需要的参数,然后 argparse 将弄清如何从 sys.argv 解析出那些参数。 argparse 模块还会自动生成帮助和使用手册,并在用户给程序传入无效参数时报出错误信息。

2 使用流程

2.1 创建解析器

parser = argparse.ArgumentParser(description=’Process some integers.’)
使用 argparse 的第一步是创建一个 ArgumentParser 对象。
ArgumentParser 对象包含将命令行解析成 Python 数据类型所需的全部信息。

2.2 添加参数

parser.add_argument(‘integers’, metavar=’N’, type=int, nargs=’+’, help=’an integer for the accumulator’)
给一个 ArgumentParser 添加程序参数信息是通过调用 add_argument() 方法完成的。

2.3 解析参数

parser.parse_args([‘—sum’, ‘7’, ‘-1’, ‘42’])
Namespace(accumulate=, integers=[7, -1, 42])
ArgumentParser 通过 parse_args() 方法解析参数。

3 ArgumentParser 对象

class argparse.ArgumentParser(prog=None, usage=None, description=None, epilog=None, parents=[], formatter_class=argparse.HelpFormatter, prefix_chars=’-‘, fromfile_prefix_chars=None, argument_default=None, conflict_handler=’error’, add_help=True, allow_abbrev=True)

  • prog - 程序的名称(默认:sys.argv[0])
  • usage - 描述程序用途的字符串(默认值:从添加到解析器的参数生成)
  • description - 在参数帮助文档之前显示的文本(默认值:无)
  • epilog - 在参数帮助文档之后显示的文本(默认值:无)
  • parents - 一个 ArgumentParser 对象的列表,它们的参数也应包含在内
  • formatter_class - 用于自定义帮助文档输出格式的类
  • prefix_chars - 可选参数的前缀字符集合(默认值:’-’)
  • fromfile_prefix_chars - 当需要从文件中读取其他参数时,用于标识文件名的前缀字符集合(默认值:None)
  • argument_default - 参数的全局默认值(默认值: None)
  • conflict_handler - 解决冲突选项的策略(通常是不必要的)
  • add_help - 为解析器添加一个 -h/—help 选项(默认值: True)
  • allow_abbrev - 如果缩写是无歧义的,则允许缩写长选项 (默认值:True)

    4 add_argument() 方法

    ArgumentParser.add_argument(name or flags…[, action][, nargs][, const][, default][, type][, choices][, required][, help][, metavar][, dest])

  • name or flags - 一个命名或者一个选项字符串的列表,例如 foo 或 -f, —foo。

  • action - 当参数在命令行中出现时使用的动作基本类型。
  • nargs - 命令行参数应当消耗的数目。
  • const - 被一些 action 和 nargs 选择所需求的常数。
  • default - 当参数未在命令行中出现时使用的值。
  • type - 命令行参数应当被转换成的类型。
  • choices - 可用的参数的容器。
  • required - 此命令行选项是否可省略 (仅必选项可用)。
  • help - 一个此选项作用的简单描述。
  • metavar - 在使用方法消息中使用的参数值示例。在 usage 说明中的参数名称,对于必选参数默认就是参数名称,对于可选参数默认是全大写的参数名称.
  • dest - 被添加到 parse_args() 所返回对象上的属性名。

    主要来自

    【1】https://blog.csdn.net/the_time_runner/article/details/97941409
    【2】https://blog.csdn.net/lly_zy/article/details/97130496
    【2】官方文档 :https://docs.python.org/zh-cn/3/library/argparse.html#argumentparser-objects