Inteligentne systemy monitoringu procesów harmonogramowania w rozproszonych środowiskach dużej skali w ujęciu wieloagentowym : rozprawa doktorska = Intelligent agent-based monitoring systems of task ... więcej

Inteligentne systemy monitoringu procesów harmonogramowania w rozproszonych środowiskach dużej skali w ujęciu wieloagentowym : rozprawa doktorska = Intelligent agent-based monitoring systems of task scheduling for distributed high-performance environments / Daniel Grzonka. – Kraków, 2018. – VII, 175 s. : rys., tabl., wykr. – Polska Akademia Nauk. Instytut Podstawowych Problemów Techniki, Uniwersytet Jagielloński. Wydział Fizyki, Astronomii i Informatyki Stosowanej. – Promotor: dr hab. Joanna Kołodziej, prof. PK ; promotor pomocniczy: dr Agnieszka Jakóbik. – Bibliogr. 129 poz., Streszcz., Abstr.

W ostatnich latach nowoczesne rozproszone środowiska obliczeniowe, takie jak chmury, dynamicznie zyskują na znaczeniu. Wzrost popularności tego typu środowisk niesie ze sobą wiele wyzwań, wśród ... więcej

W ostatnich latach nowoczesne rozproszone środowiska obliczeniowe, takie jak chmury, dynamicznie zyskują na znaczeniu. Wzrost popularności tego typu środowisk niesie ze sobą wiele wyzwań, wśród nich efektywne wykorzystanie zasobów, zagwarantowanie odpowiedniego poziomu oferowanych usług czy nadzór nad działaniem całego środowiska. Procesy harmonogramowania zadań są jednymi z procesów mających niebagatelny wpływ na prawidłowe funkcjonowanie takich środowisk. Głównym celem niniejszej pracy jest opracowanie modeli inteligentnych systemów monitorujących procesy harmonogramowania niezależnych zadań w rozproszonych środowiskach obliczeniowych dużej skali. Rolą takich systemów jest nie tylko nadzór nad procesem, ale również aktywna ingerencja w jego przebieg. Zaproponowany system zbudowany jest z pięciu typów agentów, które wspierają proces harmonogramowania zadań poprzez bezpośrednią ingerencję w przebieg algorytmu ewolucyjnego, wsparcie w podejmowaniu decyzji o rozpoczęciu generowania harmonogramu oraz monitoring wykonania zadań i korektę oczekiwanych czasów realizacji harmonogramów. Ponadto w ramach pracy opracowano formalny model dynamiki rozproszonego środowiska obliczeniowego, zaproponowano nową reprezentację populacji dla ewolucyjnego procesu harmonogramowania, rozszerzono modele zadań i jednostek obliczeniowych, zaproponowano notację do opisu systemów monitoringu procesów zachodzących w środowiskach rozproszonych oraz rozszerzono istniejące taksonomie systemów monitoringu. Obliczenia numeryczne przeprowadzono w ramach dedykowanego środowiska symulacyjnego. Uzyskane wyniki dowodzą, że możliwe jest usprawnienie procesu generowania harmonogramów niezależnych zadań obliczeniowych poprzez działania inteligentnego systemu monitoringu opartego o paradygmat agentowy. Dzięki zastosowaniu zaproponowanych modeli m.in. przyspieszono proces generowania harmonogramów, zredukowano czas wykonywania całych pakietów zadań, a także zwiększono średnią wydajność infrastruktury i niezawodność predykcji czasów realizacji zadań. Zakres rozprawy jest następujący: W ramach rozdziału 1 wprowadzono w tematykę systemów rozproszonych oraz wyjaśniono motywację podjęcia tematu pracy. W rozdziale tym zdefiniowane są cele pracy, a także postawiona teza badawcza. Rozdział 2 w sposób ogólny opisuje podjęty problem monitoringu procesu harmonogramowania zadań, a także przedstawia strukturę pracy. W rozdziale 3 przybliżono ogólny problem monitoringu rozproszonych środowisk obliczeniowych ze szczególnym uwzględnieniem chmury obliczeniowej, dokonano przeglądu i analizy istniejących systemów monitoringu, przedstawiono istniejące taksonomie systemów monitoringu chmur oraz zaproponowano rozszerzenie jednej z nich. Na końcu rozdziału dokonano formalnej definicji modelu monitoringu. Rozdział 4 poświęcony jest systemom agentowym. W ramach pracy opisano koncepcję agenta i jego środowiska działania, dokonano przeglądu istniejących architektur agentowych oraz opisano zależności występujące w systemach wieloagentowych. Rozdział 5 opisuje problem harmonogramowania zadań. W ramach tego rozdziału przedstawiono istniejące klasyfikacje problemów harmonogramowania oraz metody ich rozwiązywania -- szczególny nacisk został położony na harmonogramowanie niezależnych zadań obliczeniowych w trybie pakietowym. Następnie zdefiniowano problem i kryteria harmonogramowania oraz zaproponowano tzw. profile modeli zadań i jednostek obliczeniowych. W ostatnim podrozdziale przedstawiono ideę ewolucyjnego rozwiązywania problemu harmonogramowania zadań. Rozdział 6 przedstawia oryginalne opracowania i modele dotyczące procesu harmonogramowania i jego monitoringu. Rozdział zawiera opis reprezentacji populacji dla problemu harmonogramowania niezależnych zadań obliczeniowych w trybie pakietowym, formalny opis dynamiki rozważanego środowiska obliczeniowego, opis procesu generowania harmonogramów, model wieloagentowego systemu monitoringu, a także formalne definicje sposobu działania zaproponowanego modelu. W rozdziale 7 przedstawiono rezultaty przeprowadzonych badań, w ramach których zbadano wpływ zaproponowanych modeli na przebieg procesu harmonogramowania i jakość uzyskiwanych rozwiązań. W ramach rozdziału przetestowano wszystkie zaproponowane typy agentów występujące w modelu. Rozdział 8 zawiera podsumowanie niniejszej pracy, w tym najważniejsze wnioski i wkład własny autora w problematykę monitorowania i wsparcia procesów harmonogramowania zadań.

Over the last few years modern distributed computing environments, such as clouds, become more and more important. The increase in the popularity of this type of environment brings many challenges, among ... więcej

Over the last few years modern distributed computing environments, such as clouds, become more and more important. The increase in the popularity of this type of environment brings many challenges, among them the effective usage of resources, guaranteeing the appropriate quality of services, or supervision over the operation of the entire environment. Task scheduling processes have a significant impact on the proper functioning of such environments. The main goal of this study is to develop models of intelligent systems that monitor the processes of independent tasks scheduling in distributed large-scale computing environments. The role of such systems is not only the supervision of the process, but also its support. The proposed system is built of five types of agents that support the process of task scheduling through direct interference with evolutionary scheduling algorithm, support in making decisions on starting schedule generation, monitoring the performance of tasks and correcting the expected times of task completion. Furthermore, as part of the thesis, a formal model for the dynamics of the distributed computing environment was developed, a new population representation for the evolutionary algorithm used in the scheduling process was proposed, the models of tasks and computing units were expanded, a notation was added to the description of monitoring systems of processes occurring in distributed environments and the pre-existing monitoring taxonomies were extended. The numerical experiments were carried out as part of a dedicated simulation environment. The obtained results prove that it is possible to improve the process of generating schedules of independent tasks through the agent-based intelligent monitoring system. Due to the proposed models, i.a. the scheduling generation process was accelerated, the time of executing whole task batch was reduced, as well as the average efficiency of the computing infrastructure and the reliability of prediction of task execution times were increased. The dissertation consist of the following chapters: Chapter 1 describes the themes of distributed systems and explains the motivation for the thesis. This chapter defines the goals of the work, as well as the research thesis. Chapter 2 introduces the main problem of the thesis - monitoring the task scheduling process, and presents the structure of the work. Chapter 3 presents the general problem of distributed computing environments monitoring with particular emphasis on cloud computing monitoring, the review and analysis of existing monitoring systems, the existing taxonomies of cloud monitoring systems, and the proposed extension of one of them. At the end of the chapter, a formal definition of the monitoring model was made. Chapter 4 is devoted to agent systems. The chapter describes the concept of the agent and its operating environment, it reviews the existing agent architectures, and describes the relationships between agents in multi-agent systems. Chapter 5 describes the problem of task scheduling. This chapter presents the existing classifications of scheduling problems. It also provides methods of how to solve this problems - a special emphasis was placed on independent batch scheduling. Then, the problem and scheduling criteria were defined and the so-called profiles of task models and calculation units were proposed. The last subchapter presents the idea of evolutionary approach for solving the problem of task scheduling. Chapter 6 presents original studies and models regarding the scheduling process and its monitoring. The chapter contains a description of the population representation for the problem of independent batch scheduling, a formal description of the distributed environment dynamics, a description of the schedule generation process, a multi-agent monitoring system, and a formal description of the proposed model. Chapter 7 presents the results of the conducted research, and shows the impact of the proposed models on the scheduling process and the quality of obtained schedules. Within the chapter, all proposed types of agents from the model were tested. Chapter 8 contains a summary of this work, including the most important conclusions and author's own contribution to the monitoring and supporting of task scheduling processes.