Аннотация.

В статье приводится описание порядка проведения технической экспертизы программной документации при проведении сертификационных испытаний программных средств (ПС).

Экспертиза программной документации является частью сертификационных испытаний программных средств, в том числе, программного обеспечения, входящего в состав автоматизированных систем.

Определения.

Программный документ: документ, содержащий сведения, необходимые для разработки, изготовления, эксплуатации и сопровождения программного обеспечения.

Программное обеспечение: совокупность программ системы обработки данных и программных документов, необходимых для эксплуатации этих автоматизированной системы.

Эксплуатационный документ: программный документ, содержащий сведения, необходимые для обеспечения функционирования и эксплуатации программного обеспечения.

Автоматизированная система: организационно-техническая система, представляющая собой совокупность следующих взаимосвязанных компонентов: технических средств обработки и передачи информации, методов и алгоритмов обработки в виде соответствующего программного обеспечения, данных, персонала и пользователей, объединенных по организационно-структурному, тематическому, технологическому или другим признакам для выполнения автоматизированной обработки данных.

Экспертиза программной и эксплуатационной документации по разработке, модернизации и внедрению программных средств информационных систем (программная документация) включает проверку документации на комплектность, соответствие нормативно - технической документации, а также на присутствие в ней необходимых сведений для оценки автоматизированной системы и ее компонентов (описание программы, область применения, функциональные и технические характеристики и т.д.).

Качество программной документации - есть совокупность свойств, обусловливающих ее пригодность удовлетворять определенные потребности разработчиков и пользователей, связанные с разработкой, использованием и сопровождением программной документации в соответствии с ее назначением.

Порядок технической экспертизы документации.

Техническая экспертиза программной документации проводится по следующим основным направлениям:
• проверка на комплектность, оформление и содержание;
• проверка соответствия программной документации требованиям технического задания;
• проверка соответствия программной документации требованиям установленных стандартов (состав, оформление, содержание);
• оценка качества документации в соответствии с установленными критериями;
• и другие, по требованиям заказчика.

Порядок проверки на комплектность, оформление, содержание и на соответствие требованиям НД.

Проверка документации на комплектность предполагает проверку соответствия требованиям нормативных документов (ГОСТ 19.101 и ГОСТ 34.201).

Требования к составу и структуре документов, выполненных по ГОСТ 34.201, установлены в РД 50-34.698 Методические указания. Информационная технология. Комплекс стандартов и руководящих документов на автоматизированные системы. Автоматизированные системы. Требования к содержанию документов.

Состав и структура документов, выполненных по ГОСТ 19.001, ГОСТ 19.101, ГОСТ 19.105, ГОСТ 19.106, ГОСТ 19.501 - ГОСТ 19.508, ГОСТ 19.603, ГОСТ 19.604, ГОСТ 19.701, ГОСТ 24.301 - ГОСТ 24.303, ГОСТ 24.401, ГОСТ 24.402, зависит от конкретного ПС.

Проверка оформления документации (состав, структура, техническое исполнение) и согласованности документов включает следующие разделы:
• соответствие наименования (заголовка) документа требованиям НД;
• соответствие наименования (заголовка) документа его содержанию (по заголовкам разделов, подразделов, пунктов);
• соответствие заголовков разделов, подразделов и пунктов требованиям НД;
• соответствие заголовков разделов, подразделов и пунктов их содержанию;
• правильность употребления и оформления ссылок на НД;
• соответствие положений проверяемого документа положениям действующих НД;
• соответствие положений проверяемого документа положениям других документов той же системы документации и положениям документации на другие ПС, взаимодействующие с данным;
• соответствие текста нормам и правилам орфографии и пунктуации;
• правильность употребления и написания терминов и других знаковых средств (терминологическая экспертиза).

Проверка содержательной стороны документов (полнота, точность и доступность) оценивается экспертами на основе личного опыта с учетом установленных критериев оценки полноты, точности, доступности документа.

Проверка соответствия состава и содержания программной документации требованиям установленных стандартов включает использование комплекса стандартов, регламентирующих документирование автоматизированной системы на различных стадиях его создания: стандарты серий "Информационная технология", "Единая система стандартов автоматизированной системы управления", "Единой системы программной документации": ГОСТ 24.301, ГОСТ 24.302, ГОСТ 24.303, ГОСТ 24.304, ГОСТ 24.401, ГОСТ 24.402, ГОСТ 34.201, ГОСТ 34.602, а также серии ГОСТ 19.ХХХ.

При проверки программной документации применяются также стандарты Международной организации по стандартизации, принятые в качестве межгосударственных и национальных стандартов, регламентирующие главным образом документирование программного обеспечения. К ним относятся: ГОСТ Р ИСО/МЭК 9126 "Оценка программной продукции", ГОСТ Р ИСО/МЭК ТО 9294 "Руководство по управлению документированием программного обеспечения", СТ РК ИСО/МЭК 6592, ГОСТ ИСО 9127.

При проверке соответствия программной документации требованиям технического задания к контракту экспертная комиссия руководствуется технологической документацией по экспертной оценке документации в Испытательной лаборатории "Системы и технологии", которая содержит Паспорта выполнения технологических процессов (Приложение 2).

Порядок оценки качества документации.

Оценка качества программной документации выполняется с использованием ГОСТ 28195 Оценка качества программных средств. Общие положения, ГОСТ 28806-90 Качество программных средств. Термины и определения, ГОСТ Р ИСО/МЭК ТО 9294-93 Информационная технология. Руководство по управлению документированием программного обеспечения.

Методика оценки качества программной документации в соответствии с установленными критериями; дает возможность получения оценки качества документации и разработки мероприятий направленных на повышение ее качества.

В зависимости от возможностей, целей и задач оценки качества программной документации применяют следующие методы определения значений показателей ее качества: экспериментальный, расчетный, экспертный, социологический.

Исходя из требований заказчика по проведению оценки программной документации, настоящая методика включает использование экспертного и социологического метода.

Экспертный метод позволяет устанавливать уровень показателей качества на основе решений, принимаемых группой специалистов-экспертов. Социологический метод близко примыкает к экспертному методу и основывается на сборе и анализе мнений фактических или потенциальных пользователей информационной системы и ее программной документации.

Перечень свойств и характеристик программной документации, характеризующих ее качество, приведен в Таблице 1.

В общем случае, процедура определения качества программной документации строится на выяснении следующего ряда положений:
• соответствие содержания всех разделов (подразделов) документа их заголовкам;
• достаточность раскрытия материала разделов и подразделов документа;
• верность ссылок в документе ссылки на другие документы;
• понятность всех разделов документа при изучении;
• достаточность в документе информации для понимания всех понятий и физический величин;
• и другие.

Оценка качества документа проводится экспертом с учетом требований к структуре и содержанию каждого документа. Документ является качественным, если он обладает свойствами и характеристиками, соответствующими характеристикам, приведенным в Таблице 1.

В случае выявления замечаний по качеству документа, эксперт формулирует несоответствие, а также дает рекомендации по устранению замечания. Кроме того, при оценке качества программной документации оцениваются следующие характеристики документа: аутентичность; достоверность; целостность; пригодность для использования.

Порядок оформления экспертного заключения.

Экспертное заключение на программную документацию должно содержать следующие основные разделы:
• предмет экспертизы;
• сведения о заказчике и разработчике документации;
• описание требований технического задания к отчетной документации;
• методика проведения и порядок проведения экспертной оценки;
• описание результатов выполнения экспертной оценки, замечания и рекомендации экспертов;
• выводы технической экспертизы.

Таблица 1. Свойства и характеристики программной документации.