Preview

iPolytech Journal

Advanced search

METHODS FOR DYNAMIC ANALYSIS OF PROGRAM EXECUTION TIME IN HETEROGENEOUS DISTRIBUTED COMPUTING ENVIRONMENTS

https://doi.org/10.21285/1814-3520-2018-6-109-119

Abstract

The PURPOSE of the study is to develop the methodology for estimating the program execution time in a heterogeneous distributed computing environment. Today, the problem of obtaining such estimation is important and nontrivial in many practical applications related to the computation planning and resource allocation. METHODS. The study uses the method of frequency response characteristics that is based on the use of special tools for the dynamic analysis of programs. It has well proved itself in practice. RESULTS. A new methodology is proposed that provides program execution time estimation and takes into account the characteristics of reference and target computational nodes as well as software parameters that reflect the computational load on the components of these nodes. The estimates are calculated based on the amount of input data. This methodology has been successfully applied when analyzing the program execution for solving the problem of matrix multiplication. The paper provides the test cases of obtaining the time estimation of such problems solution in which the error is less than 10%. The obtained results demonstrate that the estimation error decreases as the dimension of matrices (both for integer and real values) grows. CONCLUSIONS. The proposed technique was used for the real job flow in the heterogeneous distributed computing environment based on the resources of the public access computer center “Irkutsk Supercomputer Center SB RAS”. Its application showed the significant improvement in the obtained estimations of the program execution time as compared with the estimates of the required time for solving the problems in users’ queries, as well as their values corrected on the basis of the computational history of executed jobs.

About the Authors

A. G. Feoktistov
Matrosov Institute for System Dynamics and Control Theory SB RAS
Russian Federation


O. Yu. Basharina
Irkutsk State University
Russian Federation


References

1. Бычков И.В., Опарин Г.А., Феоктистов А.Г., Корсуков А.С. Испытание и оценка надежности интегрированных кластерных систем на основе их комплексного моделирования // Вестник компьютерных и информационных технологий. 2013. № 3. С. 3-8.

2. Бычков И.В., Опарин Г.А., Феоктистов А.Г., Богданова В.Г., Корсуков А.С. Сервис-ориентированный подход к организации распределенных вычислений с помощью инструментального комплекса DISCENT // Информационные технологии и вычислительные системы. 2014. № 2. С. 7-15.

3. Феоктистов А.Г., Костромин Р.О. Разработка и применение проблемно-ориентированных мультиагентных систем управления распределенными вычислениями // Известия ЮФУ. Технические науки. 2016. № 11. С. 65-74.

4. Feoktistov A.G., Sidorov I.A., Sergeev V.V., Kostromin R.O., Bogdanova V.G. Virtualization of Heterogeneous HPC-clusters Based on OpenStack Platform // Вестник Южно-Уральского государственного университета. Серия: Вычислительная математика и информатика. 2017. Т. 6. № 2. С. 37-48.

5. Костенко В.А. Алгоритмы построения расписаний для вычислительных систем реального времени, допускающие использование имитационных моделей // Программирование. 2013. Т. 39. №. 5. С. 53-71.

6. Топорков В.В. Модели распределенных вычислений. М.: Физматлит, 2004. 320 с.

7. Воеводин В.В. Решение больших задач в распределенных вычислительных средах // Автоматика и телемеханика. 2007. № 5. С. 32-45.

8. Радченко Г.И. Модель проблемно-ориентированной облачной вычислительной среды // Труды Института системного программирования РАН. 2015. Т. 27. Вып. 6. С. 285-284.

9. Кротов К.В. Обоснование модели многоуровневого программирования для построения расписаний групповой обработки партий данных в конвейерной системе при наличии ограничений // Вестник Иркутского государственного технического университета. 2016. №. 1. С. 35-47.

10. Бычков И.В., Опарин Г.А., Черных А.Н., Феоктистов А.Г., Горский С.А., Ривера-Родригес Р. Масштабируемое приложение для поиска глобальных минимумов многоэкстремальных функций // Автометрия. 2018. Т. 54. № 1. С. 98-105.

11. Wilhelm R. et al. The worst-case execution-time problem - overview of methods and survey of tools // ACM Transactions on Embedded Computing Systems. 2008. Vol. 7. No. 3. P. 1-52.

12. Wang W., Wang W., Guan X., Zhang X., Yang L. Profiling program behavior for anomaly intrusion detection based on the transition and frequency property of computer audit data // Computers and security. 2006. Vol. 25. No. 7. P. 539-550.

13. Шалимов А.В. Метод компактного представления программ на основе частотных характеристик их поведения // Таврический вестник информатики и математики. 2008. № 2. С. 243-250.

14. Adhianto L., Adhianto L., Banerjee S., Fagan M., Krentel M., Marin G., Mellor-Crummey J., Tallent N. R. HPCToolkit: Tools for performance analysis of optimized parallel programs // Concurrency and Computation: Practice and Experience. 2010. Vol. 22. No. 6. P. 685-701.

15. Баглыков А.Н. Метод прогнозирования времени выполнения программ // Современная наука: теоретический и практический взгляд: сб. статей Междунар. науч.-практ. конф.: в 2 ч. (г. Уфа, 1 июня 2015 г.). Уфа, 2015. Ч. 1. С. 3-6.

16. Эксафлопные технологии. Концепция по развитию технологии высокопроизводительных вычислений на базе суперЭВМ эксафлопсного класса (2012-2020 гг.). М.: Росатом, 2011. 112 с.

17. Пипер Ш., Джоан П., Сколт М. Новая эра в оценке производительности компьютерных систем [Электронный ресурс] // Интернет-журнал «Открытые системы СУБД». 2007. № 9. С. 52-59. URL: https://www.osp.ru/os (дата обращения 29.05.2018).

18. Intel® VTune™ Amplifier [Электронный ресурс]. URL: https://software.intel.com/en-us/intel-vtune-amplifier-xe (дата обращения 27.10.2017).

19. Феоктистов А.Г., Костромин Р.О. Мультиагентный алгоритм перераспределения вычислительных ресурсов для остаточной схемы решения задачи в Grid // Современные наукоемкие технологии. 2016. № 9-2. С. 244-248.

20. Иркутский суперкомпьютерный центр СО РАН [Электронный ресурс]. URL: http://hpc.icc.ru (дата обращения 29.05.2018).


Review

For citations:


Feoktistov A.G., Basharina O.Yu. METHODS FOR DYNAMIC ANALYSIS OF PROGRAM EXECUTION TIME IN HETEROGENEOUS DISTRIBUTED COMPUTING ENVIRONMENTS. Proceedings of Irkutsk State Technical University. 2018;22(6):109-119. (In Russ.) https://doi.org/10.21285/1814-3520-2018-6-109-119

Views: 185


Creative Commons License
This work is licensed under a Creative Commons Attribution 4.0 License.


ISSN 2782-4004 (Print)
ISSN 2782-6341 (Online)