О СОВРЕМЕННЫХ ПОДХОДАХ К ОЦЕНКЕ ДОСТОВЕРНОСТИ ИМИТАЦИОННЫХ МОДЕЛЕЙ

В. А. Пепеляев, Ю. М. Чёрный (Киев)

 

В мировой практике имитационного моделирования к настоящему времени сформировались определённые концепции и сложились вполне устоявшиеся подходы к решению проблемы оценки достоверности имитационных моделей.

Следует заметить, что оценка достоверности относится к числу «вечных» проблем имитационного моделирования. Такое положение обусловлено прежде всего спецификой применения имитационного моделирования как инструментария исследования, который в отличие от классических методов математического моделирования не обеспечивает проектировщиков и исследователей сложных систем соответствующими формализованными средствами определения (описания) таких систем.

Исследованию различных аспектов проблемы оценки достоверности уделяли и уделяют много внимания известные учёные и специалисты в области имитационного моделирования. Работы раннего периода в этой области представлены публикациями Р.Шеннона [1], Н.П.Бусленко [2], Дж.Клейнена [2], И.Н.Коваленко [4], В.В.Калашни-
кова
 [5], А.А.Вавилова, C.В.Емельянова, Б.Ф.Фомина [6], Ю.Г.Поляка [7].

В середине 90-х годов прошлого века американские специалисты выполнили цикл работ применительно к проблеме оценки достоверности в рамках соответствующих научно-технических программ и программ Министерства обороны США. На зимней конференции по имитационному моделированию в 1998 году О.Балчи представил обобщённые результаты исследований по указанному вопросу, сформулированные как своего рода методолого-технологические стандарты решения указанной проблемы [8]. Вопросы практического использования этих стандартов рассматривались в докладах Р.Сэджента, Дж.Карсона, А.Ло, М.МакКомаса на зимних конференциях 2001–2002 гг. [9, 10, 11]. Ими были предложены различные методологические схемы, согласно которым реализация задачи оценки достоверности есть многоэтапный итерационный процесс получения доказательства правильности и корректности выводов (или, по крайней мере, достижение приемлемого уровня уверенности в правильности таких выводов) относительно поведения исследуемой (проектируемой) системы. Наиболее известными являются схемы О.Балчи и Р.Сэджента.

В Институте кибернетики им. В.М.Глушкова НАН Украины накоплен более чем тридцатилетний опыт разработки, реализации и практического применения методов и средств имитационного моделирования [12]. Использование схемы О.Балчи (её первая версия была предложена в 1986 году [13]) наряду с методологией Б.Зайглера относительно структурной организации имитационных экспериментов [14] позволило разрабатывать эффективные приложения в различных проблемных областях.

На рис. 1 представлена схема О.Балчи. При этом пунктирные стрелки представляют процессы, которые связывают отдельные фазы разработки и реализации имитационных моделей, а сплошные относятся к процедурам оценки достоверности этих процессов. Существенно, что О.Балчи рассматривает имитационную модель не саму по себе, а как составную часть базирующегося на ней приложения. Заметим, что каждое такое приложение имеет двуцикличный образ жизни. Первый жизненный цикл связан с процессом разработки и проектирования модели (modelingM), второй – относится к реализации соответствующих имитационных экспериментов (simulationS). Акроним M&S используется для обозначения этих двух циклов.

Верификация модели (verificationV) есть подтверждение того, что модель преобразуется из одной формы в другую в соответствии с намерениями разработчика и с достаточной точностью, начиная от формулировки проблемы до получения исполняемого компьютерного приложения. Валидация модели (validationV) есть подтверждение того, что модель в пределах рассматриваемой области приложений ведет себя с удовлетворительной точностью в соответствии с целями M&S. В общем случае валидация предполагает проверку соответствия между поведением имитационной модели и исследуемой системы.

Концептуальная модель на основе ряда предположений относительно абстракции реальности определяет иерархическую структуру исследуемой системы и связи между её отдельными компонентами (объектами). Квалификация концептуальной модели есть подтверждение принятого уровня соглашений и всех сделанных предположений для выделенной области приложения. Модель взаимодействий отображает динамику функционирования системы, а её верификация есть подтверждение корректности отображений взаимодействий объектов и динамики в целом исследуемой системы. Имитационная модель – это прежде всего программный образ концептуальной модели, определённый, как правило, на одном из высокоразвитых объектно-ориентированных языков программирования (моделирования). Верификация имита­ционной модели предполагает доказательство возможности использования создаваемой программной модели в качестве машинного аналога концептуальной модели на основе обеспечения максимального сходства с последней. Цель процедуры верификации – определить уровень, на котором это сходство может быть успешно достигнуто.

Схема эксперимента является программной реализацией планируемых сцена­риев эксперимента. Достоверность модели по отношению к реальной системе зависит от схемы эксперимента в силу того, что каждая такая схема в форме начальных условий определяет соответствующие ограничения, поэтому модель и реальная система могут быть адекватными только по отношению к определённой схеме. Верификация схемы эксперимента есть прежде всего подтверждение совместимости схемы эксперимента и имитационной модели. Кроме того, должно быть установлено соответствие условий проведения эксперимента конкретному запланированному сценарию.

Программа имитационного эксперимента является результатом интеграции имитационной модели и соответствующей схемы эксперимента.

Валидация данных (data validity) направлена на доказательство того, что все используемые в модели данные, в том числе входные, обладают удовлетворительной точностью и не противоречат исследуемой системе, а значения параметров точно определены и корректно используются.

Тестирование модели (testingT) – планируемый итеративный процесс, направленный главным образом на поддержку процедур верификации и валидации имитационных моделей, в том числе обнаружение ошибок кода. В целом процесс верификации, валидации и тестирования на отдельных стадиях построения имитационного приложения обозначается как VV&T.

Рис. 1. Методологическая схема О. Балчи

Анализ чувствительности модели определяет оценку влияния колебаний значений входных переменных на отклики модели. Необходимо установить, при каком разбросе входных данных сохраняется справедливость основных выводов, сделанных по результатам моделирования.

Приведём некоторые рекомендованные к использованию при решении задачи оценки достоверности базовые принципы, описанные О.Балчи в [8]:

        оценка достоверности должна осуществляться на всех этапах процесса M&S;

        достоверность рассматривается только по отношению к определённым целям M&S, для которых и разрабатывается соответствующая версия модели;

        полученные оценки достоверности могут быть приняты только для предписанных сценарием эксперимента условий, в рамках которых модель или результаты её прогонов тестируются, верифицируются и валидируются;

        в процедуры V&V необходимо включать элементы независимого анализа (т. е. привлекать нескольких экспертов или разработчиков), чтобы по возможности исключить субъективный подход;

        проводимые в процессе VV&T мероприятия необходимо планировать и документировать.

Для реализации этих и других принципов [8] рекомендуется использовать описанные ниже различные методологические приёмы и подходы.

Прежде всего, это организация поэтапного систематического контроля результатов, анализ достигнутых соглашений и наработанной документации. При этом на всех этапах рекомендуется осуществлять экспертную валидацию, или так называемую фэйс-валидацию (face validation), на основе индивидуальных мнений специалистов-экспертов в исследуемой области

Верификация модели взаимодействий в первую очередь требует рассмотрения таких вопросов, как анализ структуры вызовов, анализ потоков данных и зависимости параметров, исследование одновременно протекающих процессов. Здесь важным моментом является проектирование пользовательского интерфейса и интерфейса данных.

Процедуры верификации и валидации собственно имитационной модели и её программного кода требуют проведения широкого спектра тестовых имитационных экспериментов согласно сценариям, разработанным в процессе как тактического, так и стратегического планирования. Стратегическое планирование направлено на решение задач анализа чувствительности имитационной модели и определение комбинации оптимизирующих исследуемую систему параметров. Тактическое планирование направлено на решение проблемы точностного оценивания имитационных моделей. Здесь решаются такие задачи:

        выбор корректного шага моделирования, поскольку именно от шага моделирования зависит точность воспроизведения в имитационной модели имеющих место в реальной системе цепочек событий;

        определение участка разгона (разогрева) модели для исключения неустановившихся режимов функционирования системы;

        определение размера выборки (доверительного интервала) моделирования;

        контроль повторяемости результатов;

        установление правил остановки.

Полезным при решении указанных задач является использование следующих приёмов:

        обязательное масштабирование временных параметров в зависимости от выбранного шага моделирования (валидация данных).

        валидация по наступлению «событий» в модели и сравнение (если возможно) с реальной системой;

        тестирование модели для критических значений и при наступлении редких событий;

       фиксирование значений для некоторых входных параметров с последующим сравнением выходных результатов с заранее известными данными;

       вариация значениями входных и внутренних параметров модели с последующим сравнительным анализом поведения исследуемой системы;

       реализация повторных прогонов модели  с неизменными значениями всех входных параметров;

       оценка фактически полученных в результате моделирования распределений случайных величин и оценок их параметров (математическое ожидание и дисперсия) с априорно заданными значениями;

       сравнение исследователями поведения и результатов валидируемой модели с результатами уже существующих моделей, для которых доказана достоверность;

       для существующей реальной исследуемой системы предсказание её будущего поведения и сравнение прогноза с реальными наблюдениями;

       тест Тьюринга (установление экспертами различий между поведением модели и реальной системы);

       если предполагается использование модели в течение продолжительного периода времени, то составляется расписание для её периодической валидации.

Важным инструментом валидации имитационной модели является графическое представление промежуточных результатов и выходных данных, а также анимация процесса моделирования. Наиболее эффективными являются такие представления данных, как гистограммы, временные графики отдельных переменных за весь период моделирования, графики взаимозависимости, круговые и линейчатые диаграммы.

Методолого-организационные аспекты проблемы оценки достоверности прежде всего связаны с заключением соглашений между разработчиками приложений и заказчиками относительно ответственности сторон при решении указанной проблемы, применяемых методах и критериях оценки достоверности. Важным моментом является также формирование групп разработчиков. Этому вопросу уделено значительное внимание в работе Р.Сэджента [9].

Перспективы дальнейших разработок, направленных на решение задачи оценки достоверности, связаны с применением распределённых технологий в области имита­ционного моделирования. Естественно, что последнее потребует разработки новых принципов и новых подходов.

Литература

1.      Шеннон Р. Имитационное моделирование систем – искусство и наука. – М.: Мир, 1978. – 418 с.

2.      Бусленко Н.П. Моделирование сложных систем. – М.: Наука, 1978. – 395 с.

3.      Клейнен Дж. Статистические методы в имитационном моделировании. – М.: Статистика, 1978, вып.1. – 204 с.

4.      Коваленко И.Н. Анализ редких событий при оценке эффективности и надёжности систем. – М.: Советское радио, 1980. – 208 с.

5.      Калашников В.В. Организация моделирования сложных систем.- М.:Знание, 1982.- 64 с.

6.      Е.Ф.Аврамчук, А.А.Вавилов, С.В.Емельянов и др.; Под общ. ред. С.В.Емельянова и др. Технология системного моделирования/М.: Машиностроение; Берлин: Техник, 1988.- 520 с.

7.      Поляк Ю.Г. О чувствительности результатов вероятностного моделирования к изменению параметров модели// Изв. АН СССР. Техн.кибернетика, 1972.- с. 35–40.

8.      Balci O. Verification, validation and accreditation // Proceedings of the 1998 Winter Simulation Conference.- 1998. – pp. 41–48.

9.      Sargent R.G. Some approaches and paradigms for verifying and validating simulation models//Proceedings of the 2001 Winter Simulation Conference.- 2001.-pp. 106–114.

10.  Law A.M., McComas, M.G. How to build valid and credible simulation models // Proceedings of the 2001 Winter Simulation Conference.- 2001. – pp. 22–29.

11.  Carson J.S. Model verification and validation// Proceedings of the 2002 Winter Simulation Conference. – 2002. – pp. 52–58.

12.  Бигдан В.Б., Гусев В.В., Маръянович Т. П., Сахнюк М.А. Становление и развитие имитационного моделирования в Украине//В трудах Международного симпозиума по истории создания первых ЭВМ и вклада европейцев в развитие компьютерных технологий «Компьютеры в Европе: прошлое, настоящее и будущее».- Киев: Феникс УАННП, 1998.- с. 182–192.

13.  Balci O. Credibility Assessment of Simulation Results // Proceedings of the 1986 Winter Simulation Conference. – 1986. –pp. 39–44.

14.  Ören T.J., Zeigler B.P. Concepts for advanced simulation metodologies // Simulation.-Vol.32, 3.- March, 1979.- pp. 69–82.