title: 超参数优化框架Optunasubtitle: 超参数优化框架Optuna
date: 2020-11-13
author: NSX
catalog: true
tags:
- Optuna
- 超参数优化
- 教程
超参数优化框架Optuna
本文介绍超参数优化框架Optuna,Optuna是一种自动超参优化框架,专为机器学习而设计。它具有命令式,按运行定义的用户API。使用Optuna编写的代码具有很高的模块性,Optuna的用户可以动态构建超参数的搜索空间。
它目前支持的部分库有(全部请参见官网):
pip install optuna
示例代码
添加两个函数define_model
和objective
就能将Optuna框架零感地插入到我们现有的代码中去。
import optuna
from torch import optim, nn
'''
# 这个定义的model只是个示例,实际并没什么用
class model(nn.Module):
def __init__(self, input_size, output_size, hidden_size=200, dropout=p):
super(model, self).__init__()
self.embedding = nn.Embedding(num_embeddings=input_size,
embedding_dim=hidden_size)
self.linear = nn.Linear(in_features=hidden_size, out_features=output_size)
self.dropout = nn.Dropout(dropout)
def forward(self, x):
x = self.dropout(self.embedding(x))
outputs = self.linear(x)
return outputs
'''
def define_model(trial):
# 在100到200之间搜索hidden_size
hidden_size = trial.suggest_int('hidden_size', 100, 200)
# 在0.2到0.5之间搜索dropout rate
p = trial.suggest_uniform('dropout', 0.2, 0.5)
# 假设vocab_size, output_size都已经定义了
m = model(input_size=vocab_size, output_size=output_size,
hidden_size=hiddensize, dropout=p)
return m
def objective(trial):
# 尝试不同的optimizer
optimizer_name = trial.suggest_categorical('optimizer',
['Adam', 'RMSprop', 'SGD'])
# 搜索学习率
lr = trial.suggest_uniform('lr', 1e-5, 1e-1)
m = define_model(trial)
optimizer = getattr(optim, optimizer_name)(m.parameters(), lr=lr)
# 这里省略了run函数,内部应该将数据喂给model训练,训练完成后在验证集上测试,计算并返回acc
acc = run(m, optimizer=optimizer)
return acc
if __name__ == '__main__':
# 创建一个学习实例,因为objective返回的评价指标是acc,因此目标是最大化,如果是loss就该是minimize
study = optuna.create_study(direction='maximize')
# n_trials代表搜索100种,n_jobs是并行搜索的个数,-1代表使用所有的cpu核心
study.optimize(objective, n_trials=100, n_jobs=-1)
print('Number of finished trials: ', len(study.trials))
print('Best trial:')
trial = study.best_trial
print(' Value: ', trial.value)
print(' Params: ')
for key, value in trial.params.items():
print(' {}: {}'.format(key, value))
这里只是简单地展示了一下如何在pytorch中使用optuna,以此来解放调参师的双手,更详细的使用请参见官方网站。
参考
https://tianhongzxy.top/2020/02/06/optuna/
https://optuna.readthedocs.io/zh_CN/latest/tutorial/10_key_features/002_configurations.html