<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE article PUBLIC "-//NLM//DTD JATS (Z39.96) Journal Publishing DTD v1.3 20210610//EN" "JATS-journalpublishing1-3.dtd">
<article article-type="research-article" dtd-version="1.3" xmlns:mml="http://www.w3.org/1998/Math/MathML" xmlns:xlink="http://www.w3.org/1999/xlink" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xml:lang="ru"><front><journal-meta><journal-id journal-id-type="publisher-id">ipolytech</journal-id><journal-title-group><journal-title xml:lang="ru">iPolytech Journal</journal-title><trans-title-group xml:lang="en"><trans-title>iPolytech Journal</trans-title></trans-title-group></journal-title-group><issn pub-type="ppub">2782-4004</issn><issn pub-type="epub">2782-6341</issn><publisher><publisher-name>Irkutsk National Research Technical University</publisher-name></publisher></journal-meta><article-meta><article-id pub-id-type="doi">10.21285/1814-3520-2018-6-109-119</article-id><article-id custom-type="elpub" pub-id-type="custom">ipolytech-113</article-id><article-categories><subj-group subj-group-type="heading"><subject>Research Article</subject></subj-group><subj-group subj-group-type="section-heading" xml:lang="ru"><subject>ИНФОРМАТИКА, ВЫЧИСЛИТЕЛЬНАЯ ТЕХНИКА И УПРАВЛЕНИЕ</subject></subj-group><subj-group subj-group-type="section-heading" xml:lang="en"><subject>INFORMATION SCIENCE, COMPUTER ENGINEERING AND CONTROL</subject></subj-group></article-categories><title-group><article-title>МЕТОДИКА ДИНАМИЧЕСКОГО АНАЛИЗА ВРЕМЕНИ ВЫПОЛНЕНИЯ ПРОГРАММ В ГЕТЕРОГЕННЫХ РАСПРЕДЕЛЕННЫХ ВЫЧИСЛИТЕЛЬНЫХ СРЕДАХ</article-title><trans-title-group xml:lang="en"><trans-title>METHODS FOR DYNAMIC ANALYSIS OF PROGRAM EXECUTION TIME IN HETEROGENEOUS DISTRIBUTED COMPUTING ENVIRONMENTS</trans-title></trans-title-group></title-group><contrib-group><contrib contrib-type="author" corresp="yes"><name-alternatives><name name-style="eastern" xml:lang="ru"><surname>Феоктистов</surname><given-names>А. Г.</given-names></name><name name-style="western" xml:lang="en"><surname>Feoktistov</surname><given-names>A. G.</given-names></name></name-alternatives><email xlink:type="simple">agf65@yandex.ru</email><xref ref-type="aff" rid="aff-1"/></contrib><contrib contrib-type="author" corresp="yes"><name-alternatives><name name-style="eastern" xml:lang="ru"><surname>Башарина</surname><given-names>О. Ю.</given-names></name><name name-style="western" xml:lang="en"><surname>Basharina</surname><given-names>O. Yu.</given-names></name></name-alternatives><email xlink:type="simple">basharinaolga@mail.ru</email><xref ref-type="aff" rid="aff-2"/></contrib></contrib-group><aff-alternatives id="aff-1"><aff xml:lang="ru"><institution>Институт динамики систем и теории управления им. В.М. Матросова СО РАН</institution><country>Россия</country></aff><aff xml:lang="en"><institution>Matrosov Institute for System Dynamics and Control Theory SB RAS</institution><country>Russian Federation</country></aff></aff-alternatives><aff-alternatives id="aff-2"><aff xml:lang="ru"><institution>Иркутский государственный университет</institution><country>Россия</country></aff><aff xml:lang="en"><institution>Irkutsk State University</institution><country>Russian Federation</country></aff></aff-alternatives><pub-date pub-type="collection"><year>2018</year></pub-date><pub-date pub-type="epub"><day>15</day><month>09</month><year>2020</year></pub-date><volume>22</volume><issue>6</issue><fpage>109</fpage><lpage>119</lpage><permissions><copyright-statement>Copyright &amp;#x00A9; Феоктистов А.Г., Башарина О.Ю., 2020</copyright-statement><copyright-year>2020</copyright-year><copyright-holder xml:lang="ru">Феоктистов А.Г., Башарина О.Ю.</copyright-holder><copyright-holder xml:lang="en">Feoktistov A.G., Basharina O.Y.</copyright-holder><license xml:lang="ru" license-type="creative-commons-attribution" xlink:href="https://creativecommons.org/licenses/by/4.0/" xlink:type="simple"><license-p>Данная работа распространяется под лицензией Creative Commons Attribution 4.0.</license-p></license><license xml:lang="en" license-type="creative-commons-attribution" xlink:href="https://creativecommons.org/licenses/by/4.0/" xlink:type="simple"><license-p>This work is licensed under a Creative Commons Attribution 4.0 License.</license-p></license></permissions><self-uri xlink:href="https://ipolytech.elpub.ru/jour/article/view/113">https://ipolytech.elpub.ru/jour/article/view/113</self-uri><abstract><p>ЦЕЛЬ работы заключается в разработке методики оценки времени выполнения программ в гетерогенной распределенной вычислительной среде. В настоящее время получение такой оценки является важной и нетривиальной проблемой во многих практических приложениях, связанных с планированием вычислений и распределением ресурсов. МЕТОДЫ. В данной работе применяется метод частотных характеристик, базирующийся на использовании специальных инструментальных средств для динамического анализа программ и хорошо зарекомендовавший себя на практике. РЕЗУЛЬТАТЫ. Предложена новая методика, обеспечивающая оценку времени выполнения программ с учетом характеристик эталонного и целевого вычислительных узлов, а также программных параметров, отражающих вычислительную нагрузку на компоненты этих узлов. Оценки вычисляются с учетом объемов исходных данных. Данная методика успешно применена в процессе анализа выполнения программы для решения задачи перемножения матриц. Приведены тестовые примеры получения оценки времени решения таких задач, в которых ее погрешность не превышает 10%. Полученные результаты демонстрируют уменьшение погрешности оценки по мере увеличения размерности матриц, как для целочисленных, так и для вещественных значений. ВЫВОДЫ. Использование предложенной методики в гетерогенной распределенной вычислительной среде, организованной на базе ресурсов Центра коллективного пользования «Иркутский суперкомпьютерный центр СО РАН», для реального потока заданий показало существенное улучшение полученных оценок времени выполнения программ по сравнению с оценками необходимого времени решения задач, содержащихся в запросах пользователей среды, а также их значениями, скорректированными на основе вычислительной истории выполнения заданий.</p></abstract><trans-abstract xml:lang="en"><p>The PURPOSE of the study is to develop the methodology for estimating the program execution time in a heterogeneous distributed computing environment. Today, the problem of obtaining such estimation is important and nontrivial in many practical applications related to the computation planning and resource allocation. METHODS. The study uses the method of frequency response characteristics that is based on the use of special tools for the dynamic analysis of programs. It has well proved itself in practice. RESULTS. A new methodology is proposed that provides program execution time estimation and takes into account the characteristics of reference and target computational nodes as well as software parameters that reflect the computational load on the components of these nodes. The estimates are calculated based on the amount of input data. This methodology has been successfully applied when analyzing the program execution for solving the problem of matrix multiplication. The paper provides the test cases of obtaining the time estimation of such problems solution in which the error is less than 10%. The obtained results demonstrate that the estimation error decreases as the dimension of matrices (both for integer and real values) grows. CONCLUSIONS. The proposed technique was used for the real job flow in the heterogeneous distributed computing environment based on the resources of the public access computer center “Irkutsk Supercomputer Center SB RAS”. Its application showed the significant improvement in the obtained estimations of the program execution time as compared with the estimates of the required time for solving the problems in users’ queries, as well as their values corrected on the basis of the computational history of executed jobs.</p></trans-abstract><kwd-group xml:lang="ru"><kwd>распределенные вычисления</kwd><kwd>гетерогенная среда</kwd><kwd>время выполнения программы</kwd><kwd>динамический анализ</kwd></kwd-group><kwd-group xml:lang="en"><kwd>distributed computing</kwd><kwd>heterogeneous environment</kwd><kwd>program execution time</kwd><kwd>dynamic analysis</kwd></kwd-group></article-meta></front><back><ref-list><title>References</title><ref id="cit1"><label>1</label><citation-alternatives><mixed-citation xml:lang="ru">Бычков И.В., Опарин Г.А., Феоктистов А.Г., Корсуков А.С. Испытание и оценка надежности интегрированных кластерных систем на основе их комплексного моделирования // Вестник компьютерных и информационных технологий. 2013. № 3. С. 3-8.</mixed-citation><mixed-citation xml:lang="en">Бычков И.В., Опарин Г.А., Феоктистов А.Г., Корсуков А.С. Испытание и оценка надежности интегрированных кластерных систем на основе их комплексного моделирования // Вестник компьютерных и информационных технологий. 2013. № 3. С. 3-8.</mixed-citation></citation-alternatives></ref><ref id="cit2"><label>2</label><citation-alternatives><mixed-citation xml:lang="ru">Бычков И.В., Опарин Г.А., Феоктистов А.Г., Богданова В.Г., Корсуков А.С. Сервис-ориентированный подход к организации распределенных вычислений с помощью инструментального комплекса DISCENT // Информационные технологии и вычислительные системы. 2014. № 2. С. 7-15.</mixed-citation><mixed-citation xml:lang="en">Бычков И.В., Опарин Г.А., Феоктистов А.Г., Богданова В.Г., Корсуков А.С. Сервис-ориентированный подход к организации распределенных вычислений с помощью инструментального комплекса DISCENT // Информационные технологии и вычислительные системы. 2014. № 2. С. 7-15.</mixed-citation></citation-alternatives></ref><ref id="cit3"><label>3</label><citation-alternatives><mixed-citation xml:lang="ru">Феоктистов А.Г., Костромин Р.О. Разработка и применение проблемно-ориентированных мультиагентных систем управления распределенными вычислениями // Известия ЮФУ. Технические науки. 2016. № 11. С. 65-74.</mixed-citation><mixed-citation xml:lang="en">Феоктистов А.Г., Костромин Р.О. Разработка и применение проблемно-ориентированных мультиагентных систем управления распределенными вычислениями // Известия ЮФУ. Технические науки. 2016. № 11. С. 65-74.</mixed-citation></citation-alternatives></ref><ref id="cit4"><label>4</label><citation-alternatives><mixed-citation xml:lang="ru">Feoktistov A.G., Sidorov I.A., Sergeev V.V., Kostromin R.O., Bogdanova V.G. Virtualization of Heterogeneous HPC-clusters Based on OpenStack Platform // Вестник Южно-Уральского государственного университета. Серия: Вычислительная математика и информатика. 2017. Т. 6. № 2. С. 37-48.</mixed-citation><mixed-citation xml:lang="en">Feoktistov A.G., Sidorov I.A., Sergeev V.V., Kostromin R.O., Bogdanova V.G. Virtualization of Heterogeneous HPC-clusters Based on OpenStack Platform // Вестник Южно-Уральского государственного университета. Серия: Вычислительная математика и информатика. 2017. Т. 6. № 2. С. 37-48.</mixed-citation></citation-alternatives></ref><ref id="cit5"><label>5</label><citation-alternatives><mixed-citation xml:lang="ru">Костенко В.А. Алгоритмы построения расписаний для вычислительных систем реального времени, допускающие использование имитационных моделей // Программирование. 2013. Т. 39. №. 5. С. 53-71.</mixed-citation><mixed-citation xml:lang="en">Костенко В.А. Алгоритмы построения расписаний для вычислительных систем реального времени, допускающие использование имитационных моделей // Программирование. 2013. Т. 39. №. 5. С. 53-71.</mixed-citation></citation-alternatives></ref><ref id="cit6"><label>6</label><citation-alternatives><mixed-citation xml:lang="ru">Топорков В.В. Модели распределенных вычислений. М.: Физматлит, 2004. 320 с.</mixed-citation><mixed-citation xml:lang="en">Топорков В.В. Модели распределенных вычислений. М.: Физматлит, 2004. 320 с.</mixed-citation></citation-alternatives></ref><ref id="cit7"><label>7</label><citation-alternatives><mixed-citation xml:lang="ru">Воеводин В.В. Решение больших задач в распределенных вычислительных средах // Автоматика и телемеханика. 2007. № 5. С. 32-45.</mixed-citation><mixed-citation xml:lang="en">Воеводин В.В. Решение больших задач в распределенных вычислительных средах // Автоматика и телемеханика. 2007. № 5. С. 32-45.</mixed-citation></citation-alternatives></ref><ref id="cit8"><label>8</label><citation-alternatives><mixed-citation xml:lang="ru">Радченко Г.И. Модель проблемно-ориентированной облачной вычислительной среды // Труды Института системного программирования РАН. 2015. Т. 27. Вып. 6. С. 285-284.</mixed-citation><mixed-citation xml:lang="en">Радченко Г.И. Модель проблемно-ориентированной облачной вычислительной среды // Труды Института системного программирования РАН. 2015. Т. 27. Вып. 6. С. 285-284.</mixed-citation></citation-alternatives></ref><ref id="cit9"><label>9</label><citation-alternatives><mixed-citation xml:lang="ru">Кротов К.В. Обоснование модели многоуровневого программирования для построения расписаний групповой обработки партий данных в конвейерной системе при наличии ограничений // Вестник Иркутского государственного технического университета. 2016. №. 1. С. 35-47.</mixed-citation><mixed-citation xml:lang="en">Кротов К.В. Обоснование модели многоуровневого программирования для построения расписаний групповой обработки партий данных в конвейерной системе при наличии ограничений // Вестник Иркутского государственного технического университета. 2016. №. 1. С. 35-47.</mixed-citation></citation-alternatives></ref><ref id="cit10"><label>10</label><citation-alternatives><mixed-citation xml:lang="ru">Бычков И.В., Опарин Г.А., Черных А.Н., Феоктистов А.Г., Горский С.А., Ривера-Родригес Р. Масштабируемое приложение для поиска глобальных минимумов многоэкстремальных функций // Автометрия. 2018. Т. 54. № 1. С. 98-105.</mixed-citation><mixed-citation xml:lang="en">Бычков И.В., Опарин Г.А., Черных А.Н., Феоктистов А.Г., Горский С.А., Ривера-Родригес Р. Масштабируемое приложение для поиска глобальных минимумов многоэкстремальных функций // Автометрия. 2018. Т. 54. № 1. С. 98-105.</mixed-citation></citation-alternatives></ref><ref id="cit11"><label>11</label><citation-alternatives><mixed-citation xml:lang="ru">Wilhelm R. et al. The worst-case execution-time problem - overview of methods and survey of tools // ACM Transactions on Embedded Computing Systems. 2008. Vol. 7. No. 3. P. 1-52.</mixed-citation><mixed-citation xml:lang="en">Wilhelm R. et al. The worst-case execution-time problem - overview of methods and survey of tools // ACM Transactions on Embedded Computing Systems. 2008. Vol. 7. No. 3. P. 1-52.</mixed-citation></citation-alternatives></ref><ref id="cit12"><label>12</label><citation-alternatives><mixed-citation xml:lang="ru">Wang W., Wang W., Guan X., Zhang X., Yang L. Profiling program behavior for anomaly intrusion detection based on the transition and frequency property of computer audit data // Computers and security. 2006. Vol. 25. No. 7. P. 539-550.</mixed-citation><mixed-citation xml:lang="en">Wang W., Wang W., Guan X., Zhang X., Yang L. Profiling program behavior for anomaly intrusion detection based on the transition and frequency property of computer audit data // Computers and security. 2006. Vol. 25. No. 7. P. 539-550.</mixed-citation></citation-alternatives></ref><ref id="cit13"><label>13</label><citation-alternatives><mixed-citation xml:lang="ru">Шалимов А.В. Метод компактного представления программ на основе частотных характеристик их поведения // Таврический вестник информатики и математики. 2008. № 2. С. 243-250.</mixed-citation><mixed-citation xml:lang="en">Шалимов А.В. Метод компактного представления программ на основе частотных характеристик их поведения // Таврический вестник информатики и математики. 2008. № 2. С. 243-250.</mixed-citation></citation-alternatives></ref><ref id="cit14"><label>14</label><citation-alternatives><mixed-citation xml:lang="ru">Adhianto L., Adhianto L., Banerjee S., Fagan M., Krentel M., Marin G., Mellor-Crummey J., Tallent N. R. HPCToolkit: Tools for performance analysis of optimized parallel programs // Concurrency and Computation: Practice and Experience. 2010. Vol. 22. No. 6. P. 685-701.</mixed-citation><mixed-citation xml:lang="en">Adhianto L., Adhianto L., Banerjee S., Fagan M., Krentel M., Marin G., Mellor-Crummey J., Tallent N. R. HPCToolkit: Tools for performance analysis of optimized parallel programs // Concurrency and Computation: Practice and Experience. 2010. Vol. 22. No. 6. P. 685-701.</mixed-citation></citation-alternatives></ref><ref id="cit15"><label>15</label><citation-alternatives><mixed-citation xml:lang="ru">Баглыков А.Н. Метод прогнозирования времени выполнения программ // Современная наука: теоретический и практический взгляд: сб. статей Междунар. науч.-практ. конф.: в 2 ч. (г. Уфа, 1 июня 2015 г.). Уфа, 2015. Ч. 1. С. 3-6.</mixed-citation><mixed-citation xml:lang="en">Баглыков А.Н. Метод прогнозирования времени выполнения программ // Современная наука: теоретический и практический взгляд: сб. статей Междунар. науч.-практ. конф.: в 2 ч. (г. Уфа, 1 июня 2015 г.). Уфа, 2015. Ч. 1. С. 3-6.</mixed-citation></citation-alternatives></ref><ref id="cit16"><label>16</label><citation-alternatives><mixed-citation xml:lang="ru">Эксафлопные технологии. Концепция по развитию технологии высокопроизводительных вычислений на базе суперЭВМ эксафлопсного класса (2012-2020 гг.). М.: Росатом, 2011. 112 с.</mixed-citation><mixed-citation xml:lang="en">Эксафлопные технологии. Концепция по развитию технологии высокопроизводительных вычислений на базе суперЭВМ эксафлопсного класса (2012-2020 гг.). М.: Росатом, 2011. 112 с.</mixed-citation></citation-alternatives></ref><ref id="cit17"><label>17</label><citation-alternatives><mixed-citation xml:lang="ru">Пипер Ш., Джоан П., Сколт М. Новая эра в оценке производительности компьютерных систем [Электронный ресурс] // Интернет-журнал «Открытые системы СУБД». 2007. № 9. С. 52-59. URL: https://www.osp.ru/os (дата обращения 29.05.2018).</mixed-citation><mixed-citation xml:lang="en">Пипер Ш., Джоан П., Сколт М. Новая эра в оценке производительности компьютерных систем [Электронный ресурс] // Интернет-журнал «Открытые системы СУБД». 2007. № 9. С. 52-59. URL: https://www.osp.ru/os (дата обращения 29.05.2018).</mixed-citation></citation-alternatives></ref><ref id="cit18"><label>18</label><citation-alternatives><mixed-citation xml:lang="ru">Intel® VTune™ Amplifier [Электронный ресурс]. URL: https://software.intel.com/en-us/intel-vtune-amplifier-xe (дата обращения 27.10.2017).</mixed-citation><mixed-citation xml:lang="en">Intel® VTune™ Amplifier [Электронный ресурс]. URL: https://software.intel.com/en-us/intel-vtune-amplifier-xe (дата обращения 27.10.2017).</mixed-citation></citation-alternatives></ref><ref id="cit19"><label>19</label><citation-alternatives><mixed-citation xml:lang="ru">Феоктистов А.Г., Костромин Р.О. Мультиагентный алгоритм перераспределения вычислительных ресурсов для остаточной схемы решения задачи в Grid // Современные наукоемкие технологии. 2016. № 9-2. С. 244-248.</mixed-citation><mixed-citation xml:lang="en">Феоктистов А.Г., Костромин Р.О. Мультиагентный алгоритм перераспределения вычислительных ресурсов для остаточной схемы решения задачи в Grid // Современные наукоемкие технологии. 2016. № 9-2. С. 244-248.</mixed-citation></citation-alternatives></ref><ref id="cit20"><label>20</label><citation-alternatives><mixed-citation xml:lang="ru">Иркутский суперкомпьютерный центр СО РАН [Электронный ресурс]. URL: http://hpc.icc.ru (дата обращения 29.05.2018).</mixed-citation><mixed-citation xml:lang="en">Иркутский суперкомпьютерный центр СО РАН [Электронный ресурс]. URL: http://hpc.icc.ru (дата обращения 29.05.2018).</mixed-citation></citation-alternatives></ref></ref-list><fn-group><fn fn-type="conflict"><p>The authors declare that there are no conflicts of interest present.</p></fn></fn-group></back></article>
