Методи оцінки та засоби підвищення надійності програмного забезпечення
СОДЕРЖАНИЕ: Оцінювання та засоби підвищення надійності інформаційних технологій протягом усього життєвого циклу програмного забезпечення на основі негомогенного пуасонівського процесу та обчислення її параметрів, з урахуванням сучасних тенденцій тестування.НАЦІОНАЛЬНИЙ ТЕХНІЧНИЙ УНІВЕРСИТЕТ УКРАЇНИ
“КИЇВСЬКИЙ ПОЛІТЕХНІЧНИЙ ІНСТИТУТ”
ДІДКОВСЬКА МАРИНА ВІТАЛІЇВНА
УДК 681.1
МЕТОДИ ОЦІНКИ ТА ЗАСОБИ ПІДВИЩЕННЯ НАДІЙНОСТІ ПРОГРАМНОГО ЗАБЕЗПЕЧЕННЯ
05.13.06 – автоматизовані системи управління та
прогресивні інформаційні технології
Автореферат
дисертації на здобуття наукового ступеня
кандидата технічних наук
Київ – 2006
Дисертацією є рукопис.
Робота виконана на кафедрі математичних методів системного аналізу Навчально-наукового комплексу “Інститут прикладного системного аналізу” Національного технічного університету України “Київський політехнічний інститут”
Науковий керівник:
кандидат технічних наук, доцент
Тимошенко Юрій Олександрович
Навчально-науковий комплекс “Інститут прикладного системного аналізу” НТУУ “КПІ”, доцент кафедри математичних методів системного аналізу
Офіційні опоненти:
доктор технічних наук, професор
Теленик Сергій Федорович
Національний технічний університет України “Київський політехнічний інститут”, завідувач кафедри автоматики та управління в технічних системах
доктор технічних наук, професор
Кулік Анатолій Степанович
Національний аерокосмічний університет ім. М.Є.Жуковського “Харківський авіаційних інститут”, завідувач кафедри систем управління літальних апаратів
Провідна установа:
Інститут проблем реєстрації інформації НАН України
Захист відбудеться 20.02. 2006 року о _14_ годині на засіданні спеціалізованої вченої ради Д 26.002.03 при Національному технічному університеті України “Київський політехнічний інститут”, за адресою: 03056, Київ, проспект Перемоги, 37, корп. 35, ауд 006.
З дисертацією можна ознайомитись у бібліотеці Національного технічного університету України “Київський політехнічний інститут” за адресою: 03056, Київ, проспект Перемоги, 37.
Автореферат розісланий 18.01. 2006 р.
Вчений секретар спеціалізованої
вченої ради Д 26.002.03
д.т.н, професор О.М. Новіков
ЗАГАЛЬНА ХАРАКТЕРИСТИКА РОБОТИ
Актуальність теми. Програмне забезпечення (ПЗ) сучасних обчислювальних систем та інформаційно-управляючих систем (ІУС) повинне відповідати не тільки своїм функціональним параметрам. При його розробці накладаються певні обмеження на вартість і час, а також висуваються жорсткі вимоги до надійності, безпеки, готовності, цілісності та, відповідно, якості функціонування, оскільки відмова ПЗ може викликати катастрофічні наслідки. Таким чином, виникає проблема створення ПЗ з гарантованою якістю.
Гарантування якості ПЗ - це комплексна проблема, розв’язання якої вимагає проведення комплексного дослідження та відповідних ресурсів - розробників, фінансів та часу. З огляду на сутність проблеми зазначені дослідження повинні концентруватися навколо:
- розробки засобів аналізу й оцінки якості ПЗ на всіх етапах його життєвого циклу (ЖЦ);
- виділення і управління параметрами, які впливають на якість ПЗ на всіх етапах його ЖЦ.
Якість ПЗ визначається декількома показниками, серед яких надійність ПЗ виділяють як основну формалізовану характеристику. Тому виникає необхідність у забезпеченні надійності, починаючи з самих ранніх фаз ЖЦ ПЗ, з урахуванням сучасних тенденцій у проектуванні і реалізації ПЗ ІУС, таких як: компонентно-базований підхід до програмування; уніфіковані технології проектування типу RUP і концептуальне моделювання.
При традиційному підході до створення ПЗ, про надійність ПЗ починали говорити на завершальних стадіях його розроблення. Це було повязано з тим, що можливість оцінювати надійність програмного продукту в цьому випадку зявлялася тільки після завершення його розробки, тобто, коли накопичувалися реальні дані для проведення статистичного аналізу та отримання відповідних оцінок. Власне кажучи, такий підхід дозволяє оцінити надійність вже створеного ПЗ, починаючи з фази тестування. Проте, якщо отримані оцінки не задовольняють поставленим вимогам, то виникає потреба повертатися на попередні етапи, вносити зміни, які іноді приводять до перепроектування системи чи повторення інших стадій. Наслідком є значне зростання як фінансових, так і часових витрат. Сучасні технології створення ПЗ, побудовані на ідеях управління ЖЦ, ітеративного проектування, концептуального моделювання і автоматизованого програмування, дозволяють враховувати вимоги до ПЗ на кожному етапі ЖЦ. Це стосується і вимог до надійності. Тому виникає необхідність у забезпеченні надійності, починаючи із самих ранніх фаз ЖЦ ПЗ, з урахуванням сучасних тенденцій у розробці ПЗ, зазначених вище. Забезпечення надійності в умовах застосування сучасних технологій вимагає розробки нових моделей, методів та засобів, чому і присвячене виконане дослідження.
Звязок роботи з науковими програмами, планами, темами. Дисертаційна робота виконана на кафедрі математичних методів системного аналізу Навчально-наукового комплексу Інститут прикладного системного аналізу Національного технічного університету України Київський політехнічний інститут. Окремі результати дисертаційної роботи отримані при виконанні науково-дослідної роботи Системний аналіз і прогнозування катастрофічних ризиків у динаміці керування безпекою техногенно й екологічно небезпечних обєктів, номер державної реєстрації №013U000529.
Мета і задачі дослідження. Метою дисертаційної роботи є створення моделей оцінки і засобів підвищення надійності програмного забезпечення протягом усього ЖЦ ПЗ з урахуванням сучасних тенденцій у розробленні і тестуванні ПЗ.
Зазначена проблема має комплексний характер і для її розв’язання були поставлені та вирішені такі задачі:
1. Аналіз категорії якість, виділення її основних складових і вимог до них, визначення ролі надійності ПЗ як характеристики якості та її дослідження на етапах ЖЦ ПЗ.
2. Дослідження і розробка моделей оцінювання надійності ПЗ на етапах ЖЦ ПЗ;
3. Аналіз і розробка методів забезпечення надійності ПЗ;
4. Розробка методів оцінки рішень, повязаних із забезпеченням надійності ПЗ;
5. Розробка моделей і методів підтримки прийняття рішень при виборі стратегії створення ПЗ з урахуванням необхідного рівня надійності ПЗ;
6. Реалізація запропонованих моделей і методів;
7. Експериментальне дослідження розроблених засобів, моделей і методів оцінювання і підвищення надійності ПЗ.
Обєкт дослідження - програмне забезпечення і процес його розроблення.
Предмет дослідження - надійність програмного забезпечення, критерії та методи тестування програмного забезпечення.
Методи дослідження:
Для аналізу і розроблення моделей оцінки надійності ПЗ використовуються методи теорії ймовірностей і математичної статистики, для оцінювання параметрів моделей - метод максимальної правдоподібності, для експериментального оцінювання - компютерні програмні засоби обчислення (пакет програм MathCad2001), для постановки та вирішення задачі оптимізації тестового процесу - методи дослідження операцій та прийняття рішень.
Для розробки критеріїв інтеграційного тестування використовують концептуальне моделювання, системний аналіз, моделювання структури компонентно-базованого ПЗ, його подальша розробка й аналіз, науковий експеримент.
Наукова новизна одержаних результатів. В результаті проведених в дисертаційній роботі досліджень отримані такі результати:
· розроблено оригінальну концепцію управління надійністю протягом всього ЖЦ ПЗ ІУС, яку відрізняють від інших такі особливості: 1) оцінювання надійності ПЗ на всіх етапах ЖЦ; 2) управління надійністю в процесі розроблення ПЗ з урахуванням сучасних тенденцій у розробленні і тестуванні ПЗ, таких як: компонентно-базований підхід до програмування; уніфіковані технології проектування типу RUP і концептуальне моделювання; 3) реалізація у вигляді інструментальних засобів, які можуть бути використані керівниками проектів; 4) формалізація задачі оптимізації процесу тестування з урахуванням обмежень на фінансові витрати, час на розроблення та необхідного рівня якості ПЗ ІУС, що тестується.
· вперше запропоновано узагальнену математичну модель негомогенного пуасонівського процесу, яка відрізняється від попередніх тим, що її функція інтенсивності виявлення несправностей відповідає практиці проведення тестування і враховує процеси навчання, які відбуваються в групі тестерів;
· вперше на основі формального опису розроблюваного ПЗ сформульовані нові критерії (і метрики їх досягнення) для інтеграційного тестування компонентно-базованого програмного забезпечення: критерій покриття операцій інтерфейсу; критерій покриття викликів операцій; критерій покриття активізацій інтерфейсу; критерій покриття послідовностей викликів операцій; критерій покриття послідовностей активізацій; критерій покриття залежностей;
· вперше визначено метрику відповідності між повідомленнями і переходами (викликами й активізаціями), яка дозволяє одержати точні оцінки необхідної кількості тестів і може використовуватися для підтримки рішень при виборі найкращого компонента з поміж функціонально йому еквівалентних.
Практичне значення одержаних результатів.
Запропоновані в роботі моделі і методи становлять основу для створення інструментарію для підтримки оцінювання надійності ПЗ, проведення високорівневого тестування й оптимізації вибору тестового покриття. Вони можуть бути включені у будь-яку технологію розроблення ПЗ, яка враховує новітні тенденції, або використовуватися автономно.
Такі засоби дозволяють: формалізувати розроблення плану тестування на основі представлених метрик ступеня досягнення кожного з критеріїв; зменшити субєктивний вплив на вибір кількості тестів за рахунок запропонованих оцінок кількості тестів, необхідних для покриття кожного з критеріїв; обґрунтовано вибирати необхідну кількість тестів для кожного з критеріїв, виходячи з наявних обмежень на фінанси, час та обраного рівня якості.
Представлені в роботі моделі і методи реалізовані у вигляді методик і інструментальних засобів для:
- оцінки і підвищення надійності ПЗ на всіх етапах його ЖЦ;
- підтримки прийняття рішень у процесі розроблення ПЗ.
Ці засоби ввійшли в модуль керування надійністю в проекті з автоматизації створення інформаційних систем ІT.com (спільний проект кафедри програмної інженерії Університету ім. Фрідріха-Олександра, м. Нюрнберг і Sіemens AG);
Особистий внесок здобувача в матеріалах дисертаційної роботи становлять:
розроблення концепції управління надійністю на всьому життєвому циклі ПЗ ІУС;
розроблення узагальненої моделі негомогенного пуасонівського процесу, знаходження її параметрів та проведення експериментальних досліджень;
розроблення критеріїв та метрик для інтеграційного тестування ПЗ, проведення досліджень з їх практичного застосування, напрацювання рекомендацій щодо вибору критеріїв;
оцінки кількості тестів, необхідних для досягнення кожного з розроблених критеріїв;
метрика відповідності викликів та активізацій, яка дозволяє обґрунтувати вибір компонента серед функціонально еквівалентних йому;
постановка задачі оптимізації процесу тестування з урахуванням обмежень фінансових витрат, часу на розробку і необхідного рівня якості ПЗ, що тестується;
розроблення архітектури компонента керування надійністю ПЗ і модуля високорівневого тестування, який забезпечує керування надійністю ПЗ на всіх етапах його ЖЦ та реалізація окремих його функцій;
проектування компонентно-базованої системи віддаленої взаємодії користувача, авіакомпанії, туристичного агентства і банку;
аналіз практичної досяжності кожного з запропонованих критеріїв й визначення типових помилок, які виявляються кожним із критеріїв.
Апробація результатів дисертації. Результати досліджень доповідалися і обговорювалися на Національній науково-практичній конференції “Системний аналіз та інформаційні технології - 2000” (м. Київ), Міжнародній науково-практичній конференції “Системний аналіз та інформаційні технології - 2001” (м. Київ), Міжнародній науково-практичній конференції “УкрПРОГ’ 2004” (Кібернетичний центр ім. В.М. Глушкова Національної академії наук України, м. Київ), семінарі технічного університету Мюнхена (TUM, Munich, 2004), робочій групі Першої європейської конференції “Model Driven Software Engineering” (м. Нюрнберг, 2003), наукових семінарах університету ім. Фридриха-Олександра (м. Нюрнберг, м. Ерланген, Німеччина, 2003-2004), Міжнародній науково-практичній конференції “Системний аналіз та інформаційні технології - 2005” (м. Київ).
Публікації. Результати досліджень викладені в 12 друкованих працях, з них 8 – в збірниках наукових праць і наукових журналах, перелік яких затверджено ВАК України, 4 – в збірниках тез наукових конференцій.
Структура та обсяг роботи. Дисертаційна робота складається з вступу, чотирьох розділів, які містять 30 рисунків і 4 таблиці, списку використаної літератури з 126 найменувань, 2 додатків. Загальній обсяг роботи становить 181 сторінку, із яких 143 – основного тексту.
ОСНОВНИЙ ЗМІСТ РОБОТИ
У вступі обґрунтовується актуальність теми дисертаційної роботи, визначаються мета та задачі досліджень, основні положення, які виносяться на захист, а також стисло викладається наукова новизна і практичне значення результатів, отриманих в процесі досліджень.
В першому розділі виконано аналіз процесів забезпечення якості ПЗ ІУС, огляд існуючих рішень та здійснена постановка задачі дослідження.
Аналіз процесів забезпечення якості показав, що сучасне суспільство характеризується постійним зростанням ролі і значення інформації у світовій економіці, високими темпами розвитку ринку інформаційних технологій і послуг. Постійно розширюється сфера застосування ІУС. Невідємним елементом інформаційних систем є апаратні та програмні засоби. Компютери та контролери, начинені інтелектуальним ПЗ, використовуються в автоматизованих системах контролю і управління ядерними реакторами, повітряним рухом, різноманітними рухомими обєктами - ракетами, швидкісними потягами тощо.
Оскільки розроблення ПЗ вимагає значних фінансових і часових витрат, причому помилки можуть приводити до людських жертв і величезних фінансових збитків, то виникають проблеми створення якісного ПЗ при обмеженнях на фінанси та час.
Наведені і проаналізовані в цьому розділі численні приклади катастроф, викликаних помилками в ПЗ, підкреслюють важливість якості ПЗ. Проведений аналіз категорії “якість” дозволив виділити її основної складові і вимоги до них. Встановлено, що надійність може розглядатися як основна формалізована характеристика якості ПЗ.
Детальний розгляд задачі управління надійністю на всіх етапах ЖЦ ПЗ та проведене дослідження підтвердили необхідність забезпечення надійності ПЗ, починаючи із самих ранніх етапів ЖЦ ПЗ. Проведений аналіз стану досліджень в області тестування ПЗ, як засобу підвищення надійності в умовах застосування сучасних тенденцій у розробленні ПЗ, зазначених вище, дозволив зробити висновок, що існуючі засоби не задовольняють потребам щодо забезпечення надійності ПЗ. Отже, виникає необхідність в їхньому вдосконаленні чи розробці нових.
На основі виконаного аналізу в цьому розділі визначені мета й основні задачі дослідження, сформульовані проблемні питання управління якістю ПЗ, оцінювання поточного рівня надійності ПЗ і динаміки її росту/зниження, окреслені можливі шляхи досягнення необхідного рівня надійності ПЗ, які визначають структуру і зміст наступних розділів роботи.
Другий розділ присвячено дослідженню математичних основ надійності програмного забезпечення, аналізу існуючих моделей оцінювання надійності ПЗ, виявленню їхніх недоліків та переваг, розробці та експериментальному дослідженню моделі, яка враховує результати проведеного аналізу.
Для оцінювання надійності ПЗ використовують статичні та динамічні моделі. Статичні моделі базуються на припущенні, що якщо ідентифікувати усі вхідні комбінації даних для програми, то оцінка надійності може бути отримана шляхом виконання програми з усіма вхідними комбінаціями і дослідження отриманих результатів. Проведений аналіз показав, що застосування статичних моделей є обмеженим через значні фінансові витраті, пов’язані з великою кількістю тестів.
Динамічні моделі (або моделі зростання надійності) мають за мету дослідження розвитку надійності ПЗ у часі. В роботі проаналізовано модель Джелінського-Моранди, модель негомогенного пуасонівського процесу (Гоеля-Окумото), модель Шнайдевінда, базову модель Муси, гіперекспоненційну модель, модель Вейбула, S-подібну модель зростання надійності, геометричну модель, модель Муси-Окумото та модель Літлвуда-Верала.
В розділі спочатку обґрунтована недоцільність практичного застосування на великих проміжках часу моделей Джелінського-Моранди, Вейбула, геометричної моделі та моделі Літлвуда-Верала, оскільки вони були розроблені для апаратного забезпечення та відображають його основну характеристику: коли час прямує до нескінченності, надійність ПЗ прямує до нуля. Тобто в цих моделях початково закладена теза про те, що ПЗ з часом стає ненадійним.
Більш того, виконаний аналіз дозволив зробити висновок про те, що найбільш перспективними для практичного застосування є моделі, які базуються на негомогенному пуасонівському процесі. Для них надійність ПЗ прямує до одиниці, коли час прямує до нескінченності. Саме до цього типу належать моделі Гоеля-Окумото, Шнайдевінда, Муси і S-подібна модель зростання надійності.
Сукупним недоліком розглянутих в роботі моделей Гоеля-Окумото, Шнайдевінда і Муси є форма кривої інтенсивності виявлення несправностей. Крива є експоненційною функцією і строго спадає при 
. На основі реальних даних про кількість виявлених несправностей та їхній розподіл в часі, наданих Open Channel Software, автором проаналізовано якість роботи розглянутих моделей на практиці і встановлено, що така форма кривої інтенсивності не відповідає дійсності і не достатньо відображає процес тестування.
На практиці проведення процесу тестування має виглядати наступним чином:
- спочатку тестери не знайомі з проектом, вони знаходять дуже незначну кількість помилок, тобто інтенсивність виявлення помилок близька до нуля;
- з накопиченням досвіду інтенсивність виявлення помилок зростає;
- зрештою, у системі залишається невелика кількість несправностей, і виявлення кожної з них вимагає значного часу, тобто інтенсивність виявлення помилок спадає.
Що стосується функції інтенсивності виявлення несправностей S-подібної моделі, введення параметра t у першому ступені відрізняє її від функцій інтенсивності моделей Муси, Гоеля-Окумото і Шнайдевинда. Це дає можливість змінити форму кривої так, що спочатку інтенсивність зростає, а потім строго спадає, що більше відповідає практиці.
Проте, з огляду на наявність експоненти, ця зміна не є довгостроковою і не приводить до бажаних результатів. Отже, потрібне вдосконалення існуючих моделей, яке б враховувало вище зазначені переваги та недоліки.
З метою підвищення точності цієї моделі автор дисертаційної роботи пропонує та обґрунтовує використання такої форми кривої інтенсивності виявлення несправностей:
,
де n - додатковий параметр, який характеризує складність і розміри проекту.
Це дозволяє більш точно відтворювати форму кривої інтенсивності і враховувати наявні практичні результати.
У таблиці 1 представлені функції інтенсивності виявлення несправностей 
та кумулятивної кількості несправностей 
базових та узагальненої моделей, їхні параметри пов’язані з 
та
такими співвідношеннями:
, 
, 
, 
, 
.
де – загальна кількість несправностей. які були виявлені в системі від початку спостереження, - швидкість зміни функції інтенсивності виявлення несправностей
Табл.1. Звязок між моделями негомогенного пуасонівського процесу
| Назва моделі | Функція інтенсивності виявлення несправностей  |
Функція кумулятивної кількості несправностей |
| Модель Гоеля-Окумото |  |
 |
| Модель Шнайдевінда |  |
 |
| Базова модель Муси |  |
 |
| S-подібна модель |  |
 |
| Узагальнена модель негомогенного пуасонівського процесу |  |
 |
Застосуванням методу максимальної правдоподібності визначення параметрів 
, та n зведено до розв’язання системи рівнянь:
де вибір параметру n залежить від процесу проведення тестування, а його рекомендовані значення такі:
n=0 – для невеликого проекту, в якому розробник є одночасно і тестером (моделі Муси, Гоеля-Окумото і Шнайдевинда);
n=1 – для середнього проекту, в якому тестування і проектування ПЗ виробляється різними людьми з однієї робочої групи (S-подібна модель);
n=2 – для великого проекту, в якому групи тестування і розробки ПЗ працюють над проектом паралельно;
n=3 – для дуже великого проекту, в якому відділи тестування і розробки незалежні.
На основі наданих експериментальних даних проведено ряд досліджень, який дозволив дослідити вигляд функцій кумулятивної кількості несправностей 
запропонованої узагальненої моделі та інтенсивностей виявлення несправностей 
при різних вихідних даних та різних значеннях параметра n.
Наведені результати одного з експериментів демонструють, що найкраще наближення буде досягнуте при n=3, а найгірше – при n=0 (модель Муси, Шнайдевінда та Гоеля-Окумото). Це підтверджується і відповідними статистичними даними (табл.2), які характеризують різницю між вихідними даними (t_2) та відповідними значеннями функції 
при різних значеннях n.
Табл. 2. Статистичні дані до різниці при різних n і вихідних даних t_2
| Статистичні показники | різниця функцій t_2- |
різниця функцій t_2- |
різниця функцій t_2- |
різниця функцій t_2- |
| Mean | 16.13522 | 16.22889 | 19.88367 | 58.93807 |
| Median | 15.27700 | 14.11600 | 16.00000 | 60.89700 |
| Maximum | 33.58100 | 54.23600 | 49.10800 | 88.80200 |
| Minimum | 4.848000 | -1.280000 | 4.175000 | 15.96200 |
| Std. Dev. | 8.374089 | 17.37143 | 14.07056 | 23.63765 |
Загальний недолік усіх досліджуваних моделей полягає в тому, що вони застосовні тільки після створення ПЗ. Більш того, для їх ефективного використання потрібна значна кількість статистичних даних про кількість і розподіл відмов, а такі дані не завжди можна одержати. Тому, крім моделей оцінювання надійності створеного ПЗ необхідно застосовувати альтернативні підходи. Одним з таких підходів є тестування, яке дозволяє не тільки оцінювати надійність ПЗ протягом його розроблення, але і підвищувати його надійність. Саме йому і присвячений наступний розділ.
У третьому розділі був проведений аналіз класичних методів тестування (функціонального та структурного) з урахуванням зазначених вище сучасних тенденцій в розробці ПЗ, обґрунтована невідповідність існуючих критеріїв тестування новим умовам, сформульовані нові критерії для фази інтеграційного тестування, запропоновані метрики їх досяжності та оцінки кількості тестів, що необхідні для кожного з критеріїв, поставлена та вирішена задача оптимізації процесу тестування.
Аналіз розпочато з класичних методів тестування: функціонального та структурного. При функціональному тестуванні програма розглядається як чорна шухляда, тобто її текст не використовується. Відбувається перевірка відповідності поведінки програми її зовнішнім специфікаціям. Критерієм повноти тестування в цьому випадку є перебір усіх можливих значень вхідних даних, що не є завжди досяжним. В роботі детально проаналізовані такі види функціонального тестування: випадкове тестування; метод еквівалентного розбиття; метод аналізу граничних умов. Обґрунтовано, що їхнє застосування пов’язано з значними фінансовими витратами, причому локалізація несправностей не здійснюється.
При структурному тестуванні програма розглядається як біла шухляда, тобто її текст відкритий для користування. Відбувається перевірка внутрішньої логіки. Критерієм повноти є перебір всіх можливих шляхів на графі передач управління програми. Навіть для середніх за складністю програм число таких шляхів може досягати десятків тисяч. Крім великої кількості необхідних тестових прикладів виникає питання про створення тестів, які забезпечують задане покриття. В розділі проаналізовані такі види структурного тестування: тестування на основі потоку управління і тестування на основі потоку даних. При використанні першого типу тестується логіка програми, яка представлена у виді графа управління: вершинами є оператори, а ребрами - переходи між ними. В другому випадку увага приділяється взаємозвязкам між змінними. Виділяються вершини, у яких змінна ініціалізується або використовується, і вивчаються переходи і взаємозвязки між такими вершинами.
З огляду на сучасні тенденції в розробці ПЗ, насамперед компонентно-базоване програмування, де найчастіше компоненти представлені як чорні шухляди, вочевидь, що для них класичні методи структурного тестування, для яких рівень абстракції - це рівень операторів мови програмування, не застосовні. Структура такого ПЗ формалізується шляхом використання UML діаграм, які створюються на етапі ЖЦ ПЗ “аналіз вимог та проектування”. Отже, виникає необхідність у розробці спеціалізованих критеріїв тестування, починаючи з цього етапу ЖЦ ПЗ, а не з етапу тестування, як це було раніше.
У розділі сформульовано декілька критеріїв.
Критерій покриття інтерфейсу: кожна операція, оголошена в інтерфейсі повинна бути протестована принаймні один раз.
Критерій покриття інтерфейсів не є досить репрезентативним тому що він:
- повинний бути досягнутий на фазі модульного тестування;
- не розрізняє виклики, що виходять з різних компонентів.
Для того, щоб врахувати цю інформацію пропонується критерій покриття викликів операцій.
Нехай Cі позначає компонент Системи, і=1.. n, де n - кількість компонентів.
І(Cі) - Інтерфейс (Іnterface) компонента Cі.
sj,k - сервіс, оголошений у Ck,
j=1.. mk, де mk -кількість сервісів, оголошених у Ck критерій покриття викликів операцій має вигляд:
sj,k
I(Ck), i, i=1.. n, i
k, якщо можливо здійснити виклик sj,k з Cі, то тоді такий виклик необхідно протестувати хоча б один раз.
Для врахування контексту даних було введено критерій покриття активізації інтерфейсу: Cі- компонент, CiSystem, i=1.. n, де n - кількість компонентів
діаграми станів компонента Ci - State-Chart Diagram SD(Ci),
t – перехід (Transition), t= (Source, Target, Trigger, Effect, Guard),
якщо t SD(Ci), та Effect i, то t повинно бути протестовано хоча б раз під час інтеграційного тестування.
У цьому розділі було введено метрику, яка характеризує співвідношення між викликами та активізаціями:
СDj – діаграма взаємодії (collaboration diagram); CDjSystem; j=1..J, де J – кількість діаграм взаємодії в системі.
Sl,j – послідовність повідомлень; Sl,j СDj; i=1..nj, де nj – кількість послідовностей в діаграмі взаємодії СDj
Sl,j={mk}l,j, k=1..rl,j, rl,j - кількість повідомлень в послідовності Sl,j
mk – повідомлення в послідовності;
Ci – компонент; ClSystem; l=1..n, де n – кількість компонентів в системі
SD (Ci) – діаграма станів (state-chart diagram of component Ci)
tg,i – перехід (transition), tg,i SD (Ci), g=1..ni; ni – кількість переходів в діаграмі станів SD(Ci)
mk - повідомлення між компонентами Ci1 та Ci2.
mk 
tg1,i1 Ci1 | Effect(tg1,i1)=Name(mk)
tg2,i2 Ci2 | Trigger(tg2,i2)=Name(mk).
Тоді mk може бути представлено як: mk = ( tg1,i1, tg2,i2)k (*)
Позначимо:
Te(mk)={ tg1,i1| Effect(tg1,i1)=Name(mk) }
Tt(mk)={ tg2,i2| Trigger(tg2,i2)=Name(mk) }
Визначимо |T| як кількість елементів у множині T
|Te(mk)| 
;|Tt(mk)|t
Позначимо кількість можливих комбінацій між переходами, які викликають та тими, що відповідають через 
і визначимо її наступним чином: 
Вочевидь, що чим більше значення , тим більше потрібно тестів.
Критерії, наведені вище, гарантують, що кожен різновид взаємодії між компонентами (активізації, виклики і т.д.) перевірено принаймні один раз. Однак, функціонування компонентно-базованого програмного забезпечення передбачає взаємодію сукупності елементів, причому порядок взаємодії може бути важливим. Тому були розроблені критерії для послідовностей.
Для того, щоб обробити інформацію про порядок взаємодії було введено поняття відношення залежності: активізація Іnv2 повязана відношенням залежності з активізацією Іnv1, якщо існує шлях (executіon path), при якому активізація Іnv1 викликає активізацію Іnv2. Будемо говорити, що Іnv2 повязане з Іnv1 послідовністю активізацій, яка реалізує відношення залежності між цими двома активізаціями.
Критерій покриття залежностей: кожна послідовність активізацій, яка реалізує кожне відношення залежності, повинна бути протестована хоча б один раз.
Досягнення повного покриття даного критерію на практиці вкрай ускладнено через велику кількість необхідних тестів. Тому пропонується практичний спосіб розв’язання даної проблеми на основі використання UML діаграм. Відповідно до цього підходу враховуються тільки фактичні UML-послідовності в діаграмах взаємодії, а їхні підпослідовності окремо не розглядаються. Тому було розроблено ще два критерії.
Критерій покриття послідовностей викликів операцій: кожна послідовність повідомлень mk (*) у кожній діаграмі взаємодій UML повинна бути протестована хоча б один раз.
Критерій покриття послідовностей викликів операцій не враховує контексту. Щоб врахувати цей чинник, послідовності повідомлень з діаграм взаємодії варто доповнити інформацією про відповідні стани в діаграмах станів компонентів.
Критерій покриття послідовностей активізацій: кожна послідовність активізацій mk=(tg1,l1, tg2,l2)k (*) у кожній діаграмі взаємодії повинна бути протестована хоча б один раз.
Цей критерій є компромісом між критеріями покриття залежностей і покриття послідовностей викликів операцій. У ньому врахований контекст даних, розглядаються фактичні послідовності активізацій, але не досліджується окремо кожна підпослідовність, що дозволяє полегшити реалізацію цього критерію на практиці.
Особлива увага має бути приділена паралельному виконанню послідовностей повідомлень. Для цього розроблений критерій покриття паралельних потоків: для кожної діаграми взаємодії CD, кожна функціонально можлива комбінація виконання повідомлень у паралельних потоках має бути протестована хоча б один раз.
Для кожного з запропонованих критеріїв розроблені метрики, які дозволяють чисельно оцінити ступінь досяжності критерію.
В розділі представлені оцінки кількості тестів, необхідних для покриття кожного з розглянутих критеріїв. Вони дозволяють оцінити вартість тестування на ранніх етапах програмування, а отже вибрати критерій, якого можна досягти практично, виходячи з наявних у наявності фінансових ресурсів і часу. Визначено метрику відповідності між повідомленнями і переходами (викликами й активізаціями), яка дозволяє одержати більш точні оцінки необхідної кількості тестів і може використовуватися для підтримки рішення при виборі компонента з функціонально йому еквівалентних.
Аналіз запропонованих у роботі критеріїв дозволив сформулювати задачі оптимізації процесу тестування, які враховують обмеження фінансових витрат, часу на розробку та забезпечують необхідний рівень якості ПЗ, що тестується. Вони належать до класу задач лінійного булевого програмування з обмеженнями групового вибору. В залежності від характеру параметрів наведено стохастичну та детерміновану постановки задач, вказані умови зведення стохастичної задачі до детермінованої, та показані шляхи вирішення останньої.
Розглянемо детерміновану постановку задачі оптимізації вибору тестового покриття.
Кожен тест характеризується вартістю, часом, необхідним на його проведення та елементом функціональності, який він тестує.
Нехай 
а 
.
Введемо булеву змінну:
Тоді задача оптимізації вартості, при обмеженнях на час проведення тестування буде мати вигляд:
де K – кількість виділених груп об’єктів тестування, Jk – множина елементів функціональності, які мають бути протестовані для k-ої групи об’єктів тестування.
Обмеження:
1. На час (враховуючи можливість паралельного тестування):
,
де Тk –час, виділений на тестування кожної з груп об’єктів
2. Групового вибору (тести для різних типів елементів функціональності різних груп об’єктів не перетинаються, і необхідно вибрати один тест для кожного елементу):
,
,
якщо 
, 
, 
- множина всіх елементів функціональності.
Дослідження, проведені в розділах 2 та 3 становлять основу для створення інструментарію для підтримки оцінювання та забезпечення надійності ПЗ.
Четвертий розділ присвячено практичному дослідженню розроблення та функціонування модуля управління надійністю як складової частини системи автоматизованого проектування інформаційних систем (ІС).
У рамках дослідницького проекту ІT.Com по автоматизації проектування ІС автором було спроектовано архітектуру модуля, управляючого надійністю ПЗ (рис. 2), інтегровано його у загальну архітектуру системи, здійснено аналіз особливостей функціонування та проведено дослідження його технологічних аспектів.
Модуль управління надійністю складається з модулей оцінювання надійності та її забезпечення. Моделі, представлені в другому розділі були покладені в основу модуля оцінювання, а на базі запропонованих критеріїв було спроектовано модуль високорівневого тестування. Була розроблена класифікація тестів та охарактеризовані типові помилки, що виявляються кожним з критеріїв.
Проведено аналіз практичної досяжності кожного з запропонованих критеріїв, який показав, що критерії, повязані з урахуванням контексту даних (критерій покриття активізацій, покриття послідовностей активізацій, покриття залежностей), є ресурсомісткішими за часом і фінансовими витратами, але при цьому забезпечують якіснішу перевірку надійності ПЗ. Найскладнішим для практичної реалізації є критерій покриття залежностей. Найпростішими є критерії покриття операцій інтерфейсу, викликів операцій і послідовностей викликів операцій, однак, вони найчастіше не забезпечують необхідну надійність перевірки. Компромісними варіантами у відношенні витрати/якість є критерії покриття активізацій і послідовностей активізацій. Вони найбільш оптимальні для практичного застосування.
Експериментальне дослідження модуля високорівневого тестування було здійснено з використанням спроектованої компонентно-базованої системи віддаленої взаємодії користувача, авіакомпанії, туристичного агентства і банку – “Base - IT.Com”. В ході тестування було виявлено ряд помилок у структурі спроектованої компонентно-базованої системи, які могли б призвести до значних фінансових втрат та були пов’язані з паралельним виконанням послідовностей операцій.
Дослідження показало, що використання UML діаграм дозволяє на ранніх етапах проектування виявляти помилки у структурі та визначати ті критерії, досягнення яких можливе, виходячи з наявних часових і фінансових ресурсів, і, відповідно, оцінити вартість наступного тестування.
У додатках наведено детальний аналіз катастроф медичного комплексу Therac-25 та ракети Ariane-5, викликаних помилками в ПЗ, та опис експериментальної компонентно-базованої системи “Base - IT.Com”
ВИСНОВКИ
Науковою задачею, вирішеною в дисертаційній роботі, є розроблення моделей оцінки і засобів підвищення надійності програмного забезпечення протягом усього ЖЦ ПЗ з урахуванням сучасних тенденцій у розробленні і тестуванні ПЗ.
При вирішенні задачі отримано такі результати:
Сформульовано концепцію управління надійністю на всьому ЖЦ ПЗ і запропоновано комплекс засобів оцінювання та підвищення надійності компонентно-базованого ПЗ;
Запропоновано узагальнену модель негомогенного пуасонівського процесу, в якій враховані всі переваги базових моделей негомогенного пуасонівського процесу, а також введений додатковий параметр, який характеризує складність програмного проекту та практику проведення тестування з урахуванням процесів навчання.
Проведено чисельне моделювання запропонованої моделі. Експериментальні дані дозволили встановити, що запропонована модель дає більш точні оцінки надійності і відповідає практиці проведення тестування. Параметри моделі були розраховані за методом максимальної правдоподібності, для значення параметру, який характеризує складність та практику проведення тестування запропоновані відповідні рекомендації.
Сформульовано нові критерії і метрики для інтеграційного тестування компонентно-базованого програмного забезпечення, які ґрунтуються на описі структури програмного забезпечення, а саме: критерій покриття операцій інтерфейсу; критерій покриття викликів операцій; критерій покриття активізацій інтерфейсу; критерій покриття послідовностей викликів операцій; критерій покриття послідовностей активізацій; критерій покриття залежностей. Запропоновані формальні критерії дають можливість розробити плани проведення тестування вже на ранніх етапах створення ПЗ.
Розроблено оцінки кількості тестів, необхідних для покриття кожного з розглянутих критеріїв, які дозволяють оцінити вартість тестування на ранніх етапах створення ПЗ, а отже вибрати критерій, якого можна досягти практично, виходячи з наявних фінансових ресурсів і часу.
Визначено метрику відповідності між повідомленнями і переходами (викликами та активізаціями), яка дозволяє одержати більш точні оцінки необхідної кількості тестів та може використовуватися для підтримки рішень при виборі компонента з функціонально еквівалентних йому.
Сформульовано задачі оптимізації процесу тестування, які враховують обмеження фінансових витрат, часу на розроблення та забезпечують необхідний рівень якості ПЗ, що тестується.
Розроблено архітектуру системи автоматизованого проектування ІС, яка враховує аспекти створення програмного продукту, його тестування і управління такими параметрами як вартість проекту, час реалізації та якість.
Запропоновано архітектуру компонентів управління параметрами проекту, управління надійністю ПЗ і модуля високорівневого тестування, які забезпечують управління надійністю ПЗ протягом всіх етапів його ЖЦ.
Спроектовано компонентно-базовану систему віддаленої взаємодії користувача, авіакомпанії, туристичного агентства і банку, на основі якої було зроблене практичне дослідження високорівневого тестування.
Проаналізовано практичну досяжність кожного з запропонованих критеріїв і охарактеризовані типові помилки, які виявляються кожним із критеріїв, що дає можливість підвищити надійність ПЗ.
СПИСОК ОПУБЛІКОВАНИХ ПРАЦЬ
1. Дідковська М.В. Аналіз моделей оцінювання надійності програмного забезпечення // Вісник НТУУ “КПІ”. Інформатика, управління та обчислювальна техніка. №41, Київ, 2004. С.103-120.
2. Тимошенко Ю.О., Дідковська М.В., Кобринський С.Ю. Розробка методу функціональної сегментації для тестування програмного забезпечення // Наукові вісті, №5(37), Київ, 2004. С. 48-56.
Запропоновано методику проведення функціональної сегментації для об’єктно-орієнтованого програмного забезпечення.
3. Лунтовский А.О., Дидковская М.В., Глоба Л.С. Программные модели и технологии разработки распределенных информационных систем // Электроника и связь, №9, Киев, 2000. С.15-23.
Здійснено аналіз та моделювання розподілених інформаційних систем.
4. Дідковська М.В. Застосування методу впровадження несправностей при тестуванні достовірно функціонуючих обчислювальних систем // Електроніка і зв’язок, №13, Київ, 2001. С.116-119.
5. Дидковская М.В., Тимошенко Ю.А. Метод внедрения неисправностей как элемент технологической безопасности информационных систем // Электроника и связь, №14, Киев, 2002. С. 165-167.
Розроблена система впровадження несправностей в елементи пам’яті, проведені дослідження їхньої прихованості та виконано аналіз можливості застосування методу в задачах тестування безпеки інформаційних систем.
6. Дідковська М.В., Тимошенко Ю.О. Дослідження прихованості несправностей в обчислювальній системі на базі експериментальної системи впровадження несправностей // Електроніка і зв’язок, №16, Київ, 2002. С. 53-55.
Розроблена експериментальна система впровадження несправностей та виконаний аналіз прихованості несправностей в обчислювальній системі.
7. Дідковська М.В., Тимошенко Ю.О. Оцінювання надійності програмного забезпечення // Електроніка і зв’язок, №19, Київ, 2003. С.6-10.
Здійснено аналіз методів оцінювання програмного забезпечення.
8. Didkovska M. Criteria for integration testing of component-based software // Електроніка і зв’язок, №23, Київ, 2004. С.90-94.
9. Тимошенко Ю.О., Дідковська М.В. Узагальнена модель негомогенного пуасонівського процесу для оцінювання надійності програмного забезпечення // Проблеми програмування №2-3, Київ, 2004. С.480-489.
Запропонована узагальнена модель негомогенного пуасонівського процесу для оцінювання надійності програмного забезпечення. Представлені методи обчислення її параметрів.
10. Дидковская М.В. Метод внедрения неисправностей как элемент технологической безопасности информационных систем // НТУУ КПІ, 2000, ІІ ННПК “Системний аналіз та інформаційні технології”, Київ, 2000. С.146-150.
11. Дидковская М.В., Кобринский С.Ю. Программное внедрение неисправностей как метод оценивания достоверности функционирования вычислительных систем // НТУУ КПІ, 2001, ІІІ МНПК “Системний аналіз та інформаційні технології”, Київ, 2001. С.39-43
Здійснено моделювання методу впровадження несправностей в процесор, проведено дослідження прихованості несправностей та зроблені висновки щодо використання даного методу для оцінювання достовірності функціонування обчислювальних систем.
12. Дидковская М.В. Интеграционное тестирование компонентно-базированного программного обеспечения: критерии, оценки, метод выбора // НТУУ КПІ, 2005, VII МНПК “Системний аналіз та інформаційні технології”, Київ, 2005. С.189.
АНОТАЦІЯ
Дідковська М. В. Методи оцінки та засоби підвищення надійності програмного забезпечення. – Рукопис.
Дисертація на здобуття наукового ступеня кандидата технічних наук за спеціальністю 05.13.06 – “Автоматизовані системи управління та прогресивні інформаційні технології” - Національний технічний університет України “Київський політехнічний інститут”, Київ, 2006.
Дисертація присвячена розробці моделей оцінювання і засобів підвищення надійності програмного забезпечення протягом усього життєвого циклу ПЗ, з урахуванням сучасних тенденцій у розробленні і тестуванні ПЗ.
Запропоновано узагальнену модель оцінювання якості програмного забезпечення на основі негомогенного пуасонівського процесу та обчислено її параметри. Функція інтенсивності виявлення несправностей запропонованої моделі враховує процеси навчання та відображає процес проведення тестування. Експериментальним шляхом доведено її працездатність та переваги порівняно з попередньо існуючими моделями оцінювання надійності.
Розроблено нові критерії та метрики інтеграційного тестування ПЗ з урахуванням новітніх тенденцій до компонентно-базованого програмування та з використанням діаграм UML. Зазначені критерії надають можливість розробити плани проведення тестування на ранніх етапах створення ПЗ та дозволяють отримати перелік об’єктів та подій, які необхідно протестувати для кожного з запропонованих критеріїв. Цей процес легко автоматизується, що є необхідною складовою загального процесу автоматизації тестування, а також обов’язковим компонентом при перевірці якості спроектованого тесту.
Ключові слова: програмне забезпечення, надійність ПЗ, моделі оцінювання надійності ПЗ, тестування ПЗ, інтеграційне тестування ПЗ, критерії та метрики, компонентно-базоване ПЗ, автоматизація тестування.
АННОТАЦИЯ
Дидковская М.В. Методы оценки и средства повышения надежности программного обеспечения. - Рукопись.
Диссертация на соискание ученой степени кандидата технических наук по специальности 05.13.06 - Автоматизированные системы управления и прогрессивные информационные технологии - Национальный технический университет Украины Киевский политехнический институт, Киев, 2006.
Диссертация посвящена разработке моделей оценки и средств повышения надежности программного обеспечения на протяжении всего жизненного цикла ПО, с учетом современных тенденций в разработке и тестировании ПО.
Предложена обобщенная модель оценивания качества программного обеспечения на основе негомогенного пуассоновского процесса и вычислены ее параметры по методу максимального правдоподобия. Функция интенсивности выявления неисправностей данной модели учитывает процессы обучения и отображает ход проведения тестирования. Экспериментальным путем доказана работоспособность и определены преимущества новой модели оценивания надежности по сравнению с уже существующими.
Модели оценивания надежности применяются после того, как ПО создано и для их правильной работы требуется значительное количество статистических данных про отказы. Для получения оценок по мере разработки ПО, а также обеспечения надежности, применяется тестирование.
Проведенное исследование функционального тестирования показало, что данный вид тестирования характеризуется очень большим количеством необходимых тестов, более того возникают сложности при обеспечении независимости этих тестов.
Учитывая современные тенденции к использованию компонентно-базированного программирования, в котором зачастую компоненты представлены, как “черные ящики”, и доступны лишь их автоматы состояний, а не сам исходный код, автором было показано, что классические методы структурного тестирования с уровнем абстракции равным уровню операторов языка программирования не применимы. Возникла необходимость в разработке специализированных критериев для интеграционного тестирования, которые будут работать на ином уровне абстракции, и учитывать предоставляемые автоматы состояний компонентов, а также ставить акцент именно на взаимодействии между модулями, а не на их внутренней работе.
С данной целью были разработаны новые критерии и метрики интеграционного тестирования ПО с учетом новейших тенденций к компонентно-базированному созданию ПО и с использованием диаграмм UML, а именно: критерий покрытия операций интерфейса, критерий покрытия вызовов операций, критерий покрытия активизаций интерфейса, критерий покрытия последовательностей вызовов операций, критерий покрытия последовательностей активизаций и критерий покрытия зависимостей.
Проведен анализ практической достижимости каждого из предложенных критериев, который показал, что критерии, связанные с учетом контекста данных (критерий покрытия активизаций, покрытия последовательностей активизаций, покрытия зависимостей), являются более ресурсоемкими по времени и финансовым затратам, но при этом обеспечивают более качественную проверку надежности ПО. Наиболее сложным для практической реализации является критерий покрытия зависимостей. Наиболее простыми являются критерии покрытия операций интерфейса, вызовов операций и последовательностей вызовов операций, однако, они зачастую не обеспечивают требуемую надежность проверки. Компромиссными вариантами в отношении затраты/качество являются критерии покрытия активизаций и последовательностей активизаций. Они наиболее оптимальны для практического применения.
В работе была представлена классификация тестов на основе жизненного цикла ПО, и охарактеризованы типовые ошибки, выявляемые каждым из критериев, что дает возможность повысить надежность ПО.
Предложенные критерии предоставляют возможность разработать планы проведения тестирования на ранних этапах создания ПО и позволяют получить перечень объектов и событий, которые необходимо протестовать для каждого из предложенных критериев. Данный процесс легко автоматизируется, а это является необходимой составляющей общего процесса автоматизации тестирования, а также обязательным компонентом при проверке качества спроектированного теста.
Ключевые слова: программное обеспечение, надежность ПО, модели оценивания надежности ПО, тестирование ПО, интеграционное тестирование ПО, критерии и метрики, компонентно-базированное ПО, автоматизация тестирования.
SUMMARY
Didkovska M.V. Estimation methods and means of software reliability increase. – Manuscript.
Thesis for a candidate’s degree in technical science by speciality 05.13.06 – Automatic control systems and modern information technologies. National Technical University of Ukraine “Kyiv Polytechnic Institute”, Kyiv, 2006.
The thesis is devoted to the development of software reliability estimation models and means of software reliability increase during the whole software life cycle, according to the modern tendencies in software development.
Generalized and extended software reliability estimation model based on the nonhomogeneous Poisson process was developed. Function of failure intensity of this model has complex form, which coincides with the results obtained in practice. It allows to take into account the process of learning during testing.
The application of reliability grows models is limited, because it’s not always possible to obtain all necessary input data for models. In such a case a testing can be used.
During the investigation the new integration testing criteria and measures that are based on design description of software component interaction were introduced. They are innovative and utilize formal design description as a basis. These criteria have practical value because the fulfillment of criteria can be automatically checked using well-known notation of UML-diagrams. Formal coverage criteria offer testers ways to select test data and provide necessary stopping rules. They allow to develop test plans in the early phases of software development.
Key words: software, software reliability, software reliability estimation, software testing, integration testing, component-based software, computer-aided testing.
WWW.LIBRAR.ORG.UA – Бібліотека України