OBTAINING SPARSE SOLUTIONS BY LS SVM METHOD THROUGH SAMPLE CONSTRUCTION BY OPTIMAL EXPERIMENT DESIGN METHOD AND MODEL QUALITY CRITERIA

PURPOSE. The paper deals with the methods of obtaining sparse solutions based on the least square support vector machines (LS SVM). METHODS. The sample is split into the training and test parts in order to obtain a sparse solution. A sequential algorithm is given to receive the training and test parts of the observation sample using the method of D -optimal experiment design as applied to the LS SVM method. We also present the sequential algorithms of sample splitting into parts using the consistency criterion. To testify the operation efficiency of the proposed sample splitting method a computational experiment is conducted where the solution accuracy by LS SVM is improved through adjusting of the scale of the Gaussian kernel function. This parameter of the kernel function is selected by minimizing the prediction error on the sample test part. Finally, the accuracy of the obtained solutions is tested by the mean-square error. RESULTS AND THEIR DISCUSSION. The computational experiment was performed on simulated data. A nonlinear dependence on the input factor was selected to be a data generating model. The variance of noise (noise level) was determined as the percentage of the signal strength. Three methods of sample splitting into the training and test parts including replacement, rejection and inclusion of points into the training part have been compared. The cross-validation method has been used to select the parameters of the LS SVM algorithm. CONCLUSIONS. The results of conducted computational experiments have shown that a sparse solution by the LS-SVM method can be obtained through the use of the sample split into parts using the D -optimal experiment design.

D-оптимальный план, regression, LS SVM method, quadratic loss function, test sample, training sample, optimal experiment planning, D-optimal plan, consistency criterion, cross-validation criterion, regularization coefficient, kernel function, mean square error

1. Vapnik V. Statistical Learning Theory. New York: John Wiley, 1998. 736 p.

2. Johan A.K. Suykens, Tony Van Gestel, Jos De Brabanter, Bart De Moor, Joos Vandewalle. Least Square Support Vector Machines. New Jersey-London-Singapore-Hong Kong: World Scientific, 2002. 290 p.

3. Cherkassky V., Ma Y. Practical selection of SVM parameters and noise estimation for SVM regression // Neural Networks. 2004. No. 17. P. 113-126.

4. Попов А.А., Саутин А.С. Определение параметров алгоритма опорных векторов при решении задачи построения регрессии // Сборник научных трудов НГТУ. 2008. № 2 (52). С. 35-40.

5. Popov A.A., Sautin A.S. Selection of support vector machines parameters for regression using nested grids // The third international forum on strategic technology (IFOST 2008): proceedings (Novosibirsk-Tomsk, 23-29 June 2008). Novosibirsk, 2008. P. 329-331.

6. J.A.K. Suykens., J. De Brabanter, L. Lukas, J. Vandewalle. Weighted least squares support vector machines: robastness and sparse approximation // Neurocomputing. 2002. Vol. 48. P. 85-105.

7. Степашко В.С., Кочерга Ю.Л. Методы и критерии решения задач структурной идентификации // Автоматика. 1985. № 5. С. 29-37.

8. Кочерга Ю.Л. J-оптимальная редукция структуры модели в схеме Гаусса - Маркова // Автоматика. 1988. № 4. С. 34-38.

9. Сарычев А.П. Усредненный критерий регулярности метода группового учета аргументов в задаче поиска наилучшей регрессии // Автоматика. 1990. № 5. С. 28-33.

10. Степашко В.С. Асимптотические свойства внешних критериев выбора моделей // Автоматика. 1988. № 6. С. 75-82.

11. Степашко В.С. Потенциальная помехоустойчивость моделирования по комбинаторному алгоритму МГУА без использования информации о помехах // Автоматика. 1983. № 3. С. 18-28.

12. Степашко В.С. Селективные свойства критерия непротиворечивости моделей // Автоматика. 1986. № 2. С. 40-49.

13. Попов А.А. Использование повторных выборок в критериях селекции моделей // Планирование эксперимента, идентификация, анализ и оптимизация многофакторных систем: сб. науч. ст. Новосибирск: Изд-во Новосибирского электротехнического ин-та, 1990. С. 82-88.

14. Лисицин Д.В., Попов А.А. Исследование критериев селекции многооткликовых регрессионных моделей // Сборник научных трудов НГТУ. 1996. Вып. 2. С. 19-28.

15. Лисицин Д.В., Попов А.А. Конструирование критериев селекции многомерных регрессионных моделей // Сборник научных трудов НГТУ. 1996. Вып. 1. С. 13-20.

16. Попов А.А. Планирование эксперимента в задачах разбиения выборки в МГУА // Сборник научных трудов НГТУ. 1995. Вып. 2. С. 35-40.

17. Попов А.А. Разбиение выборки для внешних критериев селекции моделей с использованием методов планирования эксперимента // Заводская лаборатория. 1997. № 1. С. 49-53.

18. Попов А.А., Бобоев Ш.А. Получение тестовой выборки в методе LS SVM с использованием оптимального планирования эксперимента // Научный вестник Новосибирского государственного технического университета. 2016. № 4. С. 80-99. DOI: 10.17212/1814-1196-2016-4-80-99

19. Попов А.А. Оптимальное планирование эксперимента в задачах структурной и параметрической идентификации моделей многофакторных систем: монография. Новосибирск: Изд-во НГТУ, 2013. 296 с.

20. Попов А.А. Последовательные схемы построения оптимальных планов эксперимента // Сборник научных трудов НГТУ. 1995. Вып. 1. С. 39-44.

21. Попов А.А. Последовательные схемы синтеза оптимальных планов эксперимента // Доклады академии наук высшей школы России. 2008. № 1 (10). С. 45-55.

22. Попов А.А., Бобоев Ш.А. Построение регрессионных зависимостей с использованием квадратичной функции потерь в методе опорных векторов // Сборник научных трудов НГТУ. 2015. № 3 (81). С. 69-78. DOI: 10.17212/2307-6879-2015-3-69-78