神经结构搜索
神经结构搜索 (Neural Architecture Search, NAS) 是一种自动化设计人工神经网络(Artificial Neural Networks, ANN)这种在机器学习领域被广泛运用的模型的技术 [1]。 目前,通过神经结构搜索所设计的模型的性能,已经可以达到甚至超过由人工设计的模型 [2] [3]。 神经结构搜索的方法可以按照搜索空间、搜索策略和性能估计策略三个方面进行分类[1]:
- 搜索空间(Search Space) 定义了可以设计和优化的人工神经网络种类;
- 搜索策略(Search Strategy) 定义了探索搜索空间的方法;
- 性能估计策略(Performance Estimation Strategy) 通过一个潜在神经网络的结构来评估其性能(不一定构建并训练这个网络)。
神经结构搜索与超参数优化(Hyperparameter optimization )有着密切的联系。它也是自动机器学习(Automated machine learning)的一个子领域。
搜索空间
搜索策略
性能估计策略
参考资料
- Elsken, Thomas; Metzen, Jan Hendrik; Hutter, Frank. . Journal of Machine Learning Research. August 8, 2019, 20 (55): 1–21 [2020-03-17]. Bibcode:2018arXiv180805377E. arXiv:1808.05377 . (原始内容存档于2021-01-27).
- Zoph, Barret; Le, Quoc V. . 2016-11-04. arXiv:1611.01578 [cs.LG].
- Zoph, Barret; Vasudevan, Vijay; Shlens, Jonathon; Le, Quoc V. . 2017-07-21. arXiv:1707.07012 [cs.CV].
This article is issued from Wikipedia. The text is licensed under Creative Commons - Attribution - Sharealike. Additional terms may apply for the media files.