nni-超参数搜索

一、知识点介绍

1.定义搜索空间

定义搜索空间，即可能的超参数值。在NNI中，你可以使用一个名为search_space.json的JSON文件定义它。例如，对于学习率和隐藏层大小，可能的搜索空间如下：

{
    "batch_size": {"_type":"choice", "_value": [16, 32, 64, 128]},
    "hidden_size":{"_type":"choice","_value":[128, 256, 512, 1024]},
    "lr":{"_type":"choice","_value":[0.0001, 0.001, 0.01, 0.1]},
    "momentum":{"_type":"uniform","_value":[0, 1]}
}

在NNI的搜索空间定义中，“_type"字段用于指定超参数的分布或类型。对于”_type"字段，有两个选项“choice”和“uniform”，它们的含义如下：

1. “choice”: 如果将"_type"设置为"choice"，则需要提供"_value"字段作为一个数组列表，NNI将从这个列表中选择超参数的值。例如，“_type”: “choice”, “_value”: [0.0001, 0.001, 0.01, 0.1]就是指定学习率在0.0001、0.001、0.01、0.1这四个值中选择。
2. “uniform”: 如果将"_type"设置为"uniform"，则需要为"_value"提供两个数值，NNI会从这两个数值之间均匀地选择超参数的值。例如，“_type”: “uniform”, “_value”: [0.1, 0.9]，那么NNI将在0.1到0.9之间均匀地选择一个数作为超参数值。

2.编写yml文件

config.yml是一个关键的配置文件，它包含了一次自动化机器学习试验的所有必要信息和配置

# This is the minimal config file for an NNI experiment.
# Use "nnictl create --config config.yml" to launch this experiment.
# Afterwards, you can check "config_detailed.yml" for more explanation.

searchSpaceFile: search_space.json
trialCommand: python3 mnist.py  # NOTE: change "python3" to "python" if you are using Windows
trialGpuNumber: 0
trialConcurrency: 1
tuner:
  name: TPE
  classArgs:
    optimize_mode: maximize
trainingService:
  platform: local

• searchSpaceFile: 这项配置表示你定义搜索空间的文件的路径。搜索空间文件是一个定义你要在自动化训练过程中优化的超参数的文件。
• trialCommand: