Новый подход к настройке гауссовой суррогатной модели целевой функции в задаче параметрической оптимизации проектных решений

Аннотация

Рассмотрены методы решения задачи параметрической оптимизации проектных решений на основе построения гауссовой суррогатной модели целевой функции. Приведена задача поиска оптимальных значений свободных параметров (гиперпараметров) суррогатной модели, называемая задачей настройки. Задача настройки надстраивается над задачей синтеза суррогатной модели и имеет высокую вычислительную сложность. Предложен подход к настройке суррогатной модели, который может сделать процедуру настройки приемлемой по вычислительным затратам. Подход включает в себя этапы настройки и эксплуатации. Этап настройки содержит следующие шаги: формирование набора тестовых целевых функций, генерация совокупности обучающих выборок для каждой функции, определение для сгенерированных выборок значений их характерных признаков, определение оптимальных значений гиперпараметров для рассматриваемых тестовых функций и обучающих выборок, формирование совокупности пар вектор значений характерных признаков выборки--оптимальные значения гиперпараметров, построение на этой основе прогнозирующей модели, предсказывающей оптимальные значения гиперпараметров по характерным признакам обучающей выборки. Для исходной задачи на этапе эксплуатации сгенерирована обучающая выборка и определены ее характерные признаки, спрогнозированы оптимальные значения гиперпараметров суррогатной модели. На основе указанной обучающей выборки синтезирована суррогатная модель целевой функции. С помощью суррогатной модели решена исходная задача оптимизации, в качестве оптимальных значений гиперпараметров которой применены прогнозные значения. Подход может обеспечить повышение до 30 % эффективности базового алгоритма оптимизации

Просьба ссылаться на эту статью следующим образом:

Агасиев Т.А., Гвоздев Н.П., Карпенко А.П. и др. Новый подход к настройке гауссовой суррогатной модели целевой функции в задаче параметрической оптимизации проектных решений. Вестник МГТУ им. Н.Э. Баумана. Сер. Приборостроение, 2023, № 3 (144), с. 62--83. DOI: https://doi.org/10.18698/0236-3933-2023-3-62-83

Литература

[1] Захарова Е.М., Минашина И.К. Обзор методов многомерной оптимизации. Информационные процессы, 2014, т. 14, № 3, с. 256--274.

[2] Liu B., Koziel S., Zhang Q. A multi-fidelity surrogate-model-assisted evolutionary algorithm for computationally expensive optimization problems. J. Comput. Sc., 2016, vol. 12, pp. 28--37.

[3] Muller J., Shoemaker C.A. Influence of ensemble surrogate models and sampling strategy on the solution quality of algorithms for computationally expensive black-box global optimization problems. J. Glob. Optim., 2014, vol. 60, no. 2, pp. 123--144. DOI: https://doi.org/10.1007/s10898-014-0184-0

[4] Кулешов А.П. Когнитивные технологии в адаптивных моделях сложных объектов. Информационные технологии и вычислительные системы, 2008, № 1, с. 18--29.

[5] Sunchalin A.M., Sunchalina A.L. Overview of methods and models for forecasting financial time series. Khronoekonomika [Hronoeconomics], 2020, no. 1 (in Russ.). Available at: http://hronoeconomics.ru/01_2020.pdf

[6] Buhmann M.D. Radial basis functions. Cambridge, Cambridge University Press, 2009.

[7] Snoek J., Rippel O., Swrsky K., et al. Scalable Bayesian optimization using deep neural networks. PMLR, 2015, vol. 37, pp. 2171--2180.

[8] Терехов С.А. Случайные гауссовские процессы в задачах аппроксимации. X Всерос. науч.-техн. конф. "Нейроинформатика--2008". Лекции по нейроинформатике. Ч. 1. М., МИФИ, 2008, с. 126--151.

[9] Binois M., Wycoff N. A survey on high-dimensional Gaussian process modeling with application to Bayesian optimization. ACM TELO, 2022, vol. 2, no. 2, art. 8. DOI: http://dx.doi.org/10.1145/3545611

[10] Luca F., Donini M., Frasconi P., et al. Forward and reverse gradient-based hyperparameter optimization. Proc. 34th Int. Conf. on Machine Learning, 2017, vol. 70, pp. 1165--1173.

[11] Смирнова В.С., Шаламовa В.В., Ефимова В.А. и др. Оптимизация гиперпараметров на основе объединения априорных и апостериорных знаний о задаче классификации. Научно-технический вестник информационных технологий, механики и оптики, 2020, т. 20, № 6, с. 828--834. DOI: https://doi.org/10.17586/2226-1494-2020-20-6-828-834

[12] Karpenko A.P., Kuzmina I.A. Structural and parametric synthesis of population algorithms for global optimization. Procedia Comput. Sc., 2021, vol. 186, no. 2, pp. 299--308. DOI: https://doi.org/10.1016/j.procs.2021.04.207

[13] Mersmann O., Bischl B., Trautmann H., et al. Exploratory landscape analysis. Proc. GECCO’11, 2011, pp. 829--836. DOI: https://doi.org/10.1145/2001576.2001690

[14] Kerschke P., Trautmann H. The R-Package FLACCO for exploratory landscape analysis with applications to multi-objective optimization problems. IEEE CEC, 2016, pp. 5262--5269. DOI: https://doi.org/10.1109/CEC.2016.7748359

[15] Fowkes J., Roberts L., Burmen A. PyCUTEst: an open source Python package of optimization test problems. Open Source Softw., 2022, vol. 7, no. 78, art. 4377. DOI: https://doi.org/10.21105/joss.04377

[16] Roy M.H., Larocque D. Robustness of random forests for regression. J. Nonparametr. Stat., 2012, vol. 24, no. 4, pp. 993--1006. DOI: https://doi.org/10.1080/10485252.2012.715161

[17] Наследов А. IBM SPSS Statistics 20 и AMOS: профессиональный статистический анализ данных. СПб., Питер, 2013.

[18] Gutmann H.M. A radial basis function method for global optimization. J. Glob. Optim., 2001, vol. 19, no. 3, pp. 201--227. DOI: https://doi.org/10.1023/A:1011255519438

[19] De Cock D.R. Kriging as an alternative to polynomial regression in response surface analysis. Ames, Iowa State University, 2003.

[20] Колодяжный М., Зайцев А. Гетероскедастичные гауссовские процессы и их применение для байесовской оптимизации. Тр. 42-й Междисциплинарной шк.-конф. ИППИ РАН "ИТиС 2018". М., ИППИ РАН, 2018, с. 42--51.

[21] Barton R.R. Metamodeling: a state of the art review. Proc. Winter Simulation Conf., Philadelphia, Pennsylvania SU, 1994, pp. 237--244.DOI: https://doi.org/10.1109/WSC.1994.717134

[22] Jones D.R. A taxonomy of global optimization methods based on response surfaces. J. Glob. Optim., 2001, no. 21, pp. 345--383. DOI: https://doi.org/10.1023/A:1012771025575