如果在运行python脚本时需要传入一些参数,例如gpus与batch_size,可以使用如下三种方式。
python script.py 0,1,2 10
python script.py -gpus=0,1,2 —batch-size=10
python script.py -gpus=0,1,2 —batch_size=10
这三种格式对应不同的参数解析方式,分别为sys.argv、argparse、 tf.app.run, 前两者是python自带的功能,后者是tensorflow提供的便捷方式。
1.sys.argv
sys模块是很常用的模块, 它封装了与python解释器相关的数据,例如sys.modules里面有已经加载了的所有模块信息,sys.path里面是PYTHONPATH的内容,而sys.argv则封装了传入的参数数据。
使用sys.argv接收上面第一个命令中包含的参数方式如下:
import sys
gpus = sys.argv[1]
#gpus = [int(gpus.split(','))]
batch_size = sys.argv[2]
print(gpus)
print(batch_size)
实验
2.argparse
import argparse
parser = argparse.ArgumentParser(description='test')
parser.add_argument("--gpus",type=str,default="0")
parser.add_argument("--batch-size",type=int,default=32)
args = parser.parse_args()
print(args.gpus)
print(args.batch_size)
实验:
需要注意的是,脚本运行命令python script.py -gpus=0,1,2 —batch-size=11中的—batch-size会被自动解析成batch_size.
parser.add_argument 方法的type参数理论上可以是任何合法的类型, 但有些参数传入格式比较麻烦,例如list,所以一般使用bool, int, str, float这些基本类型就行了,更复杂的需求可以通过str传入,然后手动解析。bool类型的解析比较特殊,传入任何值都会被解析成True,传入空值时才为False
通过这个方法还能指定命令的帮助信息。具体请看API文档:https://docs.python.org/2/library/argparse.html
其它说明:parser.add_argument(‘—model’, type=str, required=True, help=’choose a model: Bert, ERNIE’)
required为必须项,help为解释项。还有些其它的
3.tf.app.run
import tensorflow as tf
tf.app.flags.DEFINE_string('gpus', None, 'gpus to use')
tf.app.flags.DEFINE_integer('batch_size', 5, 'batch size')
FLAGS = tf.app.flags.FLAGS
def main(_):
print(FLAGS.gpus)
print(FLAGS.batch_size)
if __name__=="__main__":
tf.app.run()
有几点需要注意:
1、tensorflow只提供以下几种方法:
tf.app.flags.DEFINEstring,
tf.app.flags.DEFINE_integer,
tf.app.flags.DEFINE_boolean,
tf.app.flags.DEFINE_float 四种方法,分别对应str, int,bool,float类型的参数。这里对bool的解析比较严格,传入1会被解析成True,其余任何值都会被解析成False。
2、脚本中需要定义一个接收一个参数的main方法:def main():,这个传入的参数是脚本名,一般用不到, 所以用下划线接收。
3、以batch_size参数为例,传入这个参数时使用的名称为—batch_size,也就是说,中划线不会像在argparse 中一样被解析成下划线。
4、Tf.app.run()会寻找并执行入口脚本的main方法。也只有在执行了tf.app.run()之后才能从FLAGS中取出参数。
从它的签名来看,它也是可以自己指定需要执行的方法的,不一定非得叫main:
参考文献转自:https://blog.csdn.net/weixin_35653315/article/details/72886718
4 argparse.ArgumentParser().add_argument()用法解析
1 argparse模块
argparse是一个Python模块:命令行选项、参数和子命令解析器。
argparse 模块可以让人轻松编写用户友好的命令行接口。程序定义它需要的参数,然后 argparse 将弄清如何从 sys.argv 解析出那些参数。 argparse 模块还会自动生成帮助和使用手册,并在用户给程序传入无效参数时报出错误信息。
2 使用流程
2.1 创建解析器
parser = argparse.ArgumentParser(description=’Process some integers.’)
使用 argparse 的第一步是创建一个 ArgumentParser 对象。
ArgumentParser 对象包含将命令行解析成 Python 数据类型所需的全部信息。
2.2 添加参数
parser.add_argument(‘integers’, metavar=’N’, type=int, nargs=’+’, help=’an integer for the accumulator’)
给一个 ArgumentParser 添加程序参数信息是通过调用 add_argument() 方法完成的。
2.3 解析参数
parser.parse_args([‘—sum’, ‘7’, ‘-1’, ‘42’])
Namespace(accumulate=, integers=[7, -1, 42])
ArgumentParser 通过 parse_args() 方法解析参数。3 ArgumentParser 对象
class argparse.ArgumentParser(prog=None, usage=None, description=None, epilog=None, parents=[], formatter_class=argparse.HelpFormatter, prefix_chars=’-‘, fromfile_prefix_chars=None, argument_default=None, conflict_handler=’error’, add_help=True, allow_abbrev=True)
- prog - 程序的名称(默认:sys.argv[0])
- usage - 描述程序用途的字符串(默认值:从添加到解析器的参数生成)
- description - 在参数帮助文档之前显示的文本(默认值:无)
- epilog - 在参数帮助文档之后显示的文本(默认值:无)
- parents - 一个 ArgumentParser 对象的列表,它们的参数也应包含在内
- formatter_class - 用于自定义帮助文档输出格式的类
- prefix_chars - 可选参数的前缀字符集合(默认值:’-’)
- fromfile_prefix_chars - 当需要从文件中读取其他参数时,用于标识文件名的前缀字符集合(默认值:None)
- argument_default - 参数的全局默认值(默认值: None)
- conflict_handler - 解决冲突选项的策略(通常是不必要的)
- add_help - 为解析器添加一个 -h/—help 选项(默认值: True)
allow_abbrev - 如果缩写是无歧义的,则允许缩写长选项 (默认值:True)
4 add_argument() 方法
ArgumentParser.add_argument(name or flags…[, action][, nargs][, const][, default][, type][, choices][, required][, help][, metavar][, dest])
name or flags - 一个命名或者一个选项字符串的列表,例如 foo 或 -f, —foo。
- action - 当参数在命令行中出现时使用的动作基本类型。
- nargs - 命令行参数应当消耗的数目。
- const - 被一些 action 和 nargs 选择所需求的常数。
- default - 当参数未在命令行中出现时使用的值。
- type - 命令行参数应当被转换成的类型。
- choices - 可用的参数的容器。
- required - 此命令行选项是否可省略 (仅必选项可用)。
- help - 一个此选项作用的简单描述。
- metavar - 在使用方法消息中使用的参数值示例。在 usage 说明中的参数名称,对于必选参数默认就是参数名称,对于可选参数默认是全大写的参数名称.
- dest - 被添加到 parse_args() 所返回对象上的属性名。
主要来自
【1】https://blog.csdn.net/the_time_runner/article/details/97941409
【2】https://blog.csdn.net/lly_zy/article/details/97130496
【2】官方文档 :https://docs.python.org/zh-cn/3/library/argparse.html#argumentparser-objects