В последние годы значительное внимание уделяется стандартизации жизненного цикла ПС, в результате чего разработаны и утверждены достаточно совершенные международные стандарты ISO 12207:1995 и ISO 09000-3:1991, а также отраслевой стандарт министерства обороны США DOD STD-2167 А. Относительно слабая непосредственная поддержка в этих стандартах тестирования и отладки ПС частично объясняется интенсивным развитием и совершенствованием современных технологий их разработки, внедрением языков четвертого поколения и CASE-технологий. В результате этого появился ряд стандартов де-факто, которые за время их активного жизненного цикла не успевают доработать и формализовать в стандарты де-юре. Кроме того, широкое разнообразие типов и функций, создаваемых ПС и БД препятствует унификации процессов и технологий их тестирования. Приведенные в п.3.3 принципы тестирования и аттестации ПС обобщены и конкретизированы в группе стандартов, посвященных тестированию и испытаниям прикладных программ и их интерфейсов в информационных системах:

  1. ISO 12207:1995. Процессы жизненного цикла программных средств.
  2. ISO 9000-3:1991. Общее руководство качеством и стандарты по обеспечению качества. Ч.3: Руководящие указания по применению ISO 9001 при разработке, поставке и обслуживании программного обеспечения.
  3. DOD-STD-2167 А: 1988. Разработка программных средств для систем военного назначения.
  4. ISO 09646-1-6:1991. ИТ. ВОС. Методология и основы аттестационного тестирования ВОС.
  5. IEEE 1003.3. Методы тестирования для определения соответствия стандартам POSIX.
  6. ISO 13210:1994. ИТ. Методы тестирования для измерения соответствия стандартам POSIX.
  7. ANSI/IEEE 829-1983 (ред. 1991). Документация при тестировании программ.
  8. ANSI/IEEE 1008-1986 (ред. 1993). Тестирование программных модулей и компонент ПС.
  9. ANSI/IEEE 1012-1986 (ред. 1992). Планирование проверки (оценки) (verification) и подтверждения достоверности (validation) программных средств.
  10. ISO 12119: 1994. ИТ. Требования к качеству и тестирование.

Наиболее полно ЖЦ, технология разработки, тестирования и обеспечения качества сложных программных средств отражены в стандарте ISO 12207:1995 — Процессы жизненного цикла программных средств (см.п.1.5). Рекомендуется при формировании характеристик качества ПС руководствоваться стандартом ISO 9126 и предложенной в нем номенклатурой показателей. Обеспечение гарантий качества представлено работами, которые включают использование планирования, методологии, процедур и стандартов обеспечения качества в соответствии с контрактом с учетом доступных ресурсов. Рекомендуется обеспечивать качество конечного продукта в соответствии с документацией, путем планирования и выполнения специальных работ в процессе всего жизненного цикла ПС. Верификация ПС отражена работами, которые включают организацию, планирование и техническое обеспечение верификации. Представлена структура контракта на верификацию, содержание процесса, состав требований, проектирование процесса верификации, обобщение и документирование результатов. Валидация — удостоверение правильности (аттестация) представлена работами, которые должны гарантировать полное соответствие спецификациям, требованиям и документации на ПС и возможность его безопасного и надежного применения пользователем. Рекомендует ее выполнять путем тестирования во всех возможных ситуациях исходных данных и проводить независимыми специалистами. По существу, этот процесс аналогичен сертификации, которая в стандарте не упоминается.

В стандарте DOD-STD-2167 А процесс испытаний регламентируется рядом документов, а также определено содержание отчетов, завершающих частные процессы проверок. Подчеркивается необходимость привлечения независимых специалистов для проведения официальных квалификационных испытаний на каждой фазе ЖЦ ПС. Этому должно предшествовать тестирование программ разработчиками, подтверждающее их готовность к официальным (сертификационным) проверкам, а также подготавливаться средства автоматизации тестирования, методики испытаний и анализа результатов. В части тестирования стандарт систематизирует описания тестов, план и набор тестов проверки интегрированной системы, описания процедур тестирования компонентов и ПС в целом, методику выполнения корректировок ПС. В стандарте DOD-STD-2167 А около 30% требований, документов и соответствующих им процессов непосредственно связаны с тестированием и испытаниями программ.

Отдельный раздел в стандарте регламентирует процедуры испытаний интегрированной системы, включающей кроме программ весь комплекс реальных технических средств. Тестирование должно завершаться отчетом и актом о результатах комплексных приемо-сдаточных испытаний заказчиком. В стандарте не используется термин "сертификация", однако регламентированные официальные квалификационные испытания ПС в системе, независимыми от разработчика специалистами, контролируемыми заказчиком, по существу соответствуют понятию сертификации в области разработки оборонных систем.

Стандарты — ISO 9646 —1-6 регламентируют проверку функциональных возможностей и поведения испытываемой реализации ИС относительно требований и рекомендаций ISO, а также заявлений и документации разработчиков о функциональных возможностях данной реализации. Цель аттестационного тестирования — снизить вероятность несовместимости различных компонентов, в которых реализованы протоколы ВОС.

Часть 1 содержит вводный материал стандарта ISO 09646, поясняющий цели, основные требования и общую схему аттестационного тестирования. Выделены три методические стадии аттестационного тестирования: спецификация абстрактных тестовых комплектов для конкретных протоколов ВОС; реализация процесса тестирования на заданных тестовых комплектах; процесс оценки соответствия, выполняемый испытательной лабораторией, и составление отчета по результатам тестирования. Рекомендуются методы, последовательность применения и структура тестовых комплектов. Классифицированы и описаны методы локального, распределенного, скоординированного и удаленного тестирования, а также особенности их применения к протоколам различных уровней ВОС. Значительное внимание уделено методике анализа результатов тестирования — обеспечению их достоверности, повторяемости, сравнимости и наглядности.

Часть 2 обеспечивает общий подход к специфицированию аттестационных тестов на абстрактном уровне и независимому их выполнению. Определены аттестационные требования к стандартам ВОС и бланкам-заявкам протокольных реализации, подлежащих тестированию. Описаны процессы разработки и генерации абстрактных тестовых комплектов, соответствующих аттестационному тестированию, их структура и спецификация. Формализованы заявка о проверке соответствия реализации протоколу, процедуры управления тестированием и использование спецификаций абстрактных тестовых комплектов.

В части 3 стандарта описаны рекомендации по формированию спецификаций комплектов абстрактных тестов.

Часть 4 устанавливает процедуры и порядок выполнения тестов на основе стандартизированных в специальных документах абстрактных тестовых комплектов. Определены основные способы планирования выполнимых тестовых последовательностей, включения дополнительных тестов, повышения эффективности процедур тестирования. Сформулированы требования к созданию комплекта выполнимых тестов, обеспечивающие их соответствие эталонному стандартному комплекту абстрактных тестов, и способы образования их подмножеств. Изложены дополнительные руководящие материалы по реализации тестов и по процессу оформления основных документов тестирования.

Часть 5 устанавливает требования к проведению аттестационного тестирования, необходимые для обеспечения сопоставимости результатов тестирования подобных изделий, выполненных в различных испытательных лабораториях. Рассмотрены задачи подготовки к тестированию, операции его проведения и составление отчетов по результатам тестирования. Подробно изложены роли и распределение ответственности между испытательной лабораторией и клиентами в процессе выбора и параметризации тестов, при проведении тестирования и согласовании его результатов, а также при разработке отчета о завершенном аттестационном тестировании системы и конкретного протокола. В приложениях приведены рекомендуемые формы отчетов испытательных лабораторий по результатам тестирования информационной системы и протоколов, а также форма дополнительной информации о реализации тестирования.

В части 6 установлены требования к разработке спецификаций для аттестационного тестирования протоколов ВОС. Определены требования к тестированию статического и динамического соответствия каждого протокола и каждого информационного объекта, входящего в состав профиля. Представлена сводка спецификаций тестирования профилей и процесс разработки спецификаций тестов.