ISSN 1991-3087
Рейтинг@Mail.ru Rambler's Top100
Яндекс.Метрика

НА ГЛАВНУЮ

Выбор критериев качества педагогических программных средств для их экспертной оценки

 

Костюченко Андрей Александравич,

ассистент кафедры информатики и вычислительной техники Черниговского национального педагогического университета им. Т. Г. Шевченко, Украина.

 

The problem of quality evaluation of educational software, as one of constituents of computer-oriented learning tools, is considered in the article. General software quality indicators are analyzed. A list of quality indicators of educational software based on them is formulated and their content is disclosed. The methods that can be used for quality evaluation of educational software are described and the use of the peer review as the most complete and reliable method is grounded. The list of criteria for the expert committee to examine educational software is.

Keywords: educational software, indicators of educational software quality, expert evaluation.

 

Постановка проблемы

 

Почти одновременно с появлением в школе компьютеров начали создаваться компьютерные программы, предназначенные для обучения школьников программированию. Потом появились программы для поддержки обучения других предметов. За такими программами закрепился термин «педагогическое программное средство». Педагогическое программное средство (ППС) − это совокупность компьютерных программ, предназначенных для компьютерной поддержки учебы и достижения конкретных учебных целей [1, с. 5].

Основная проблема использования ППС в учебе чаще всего связана собственно с процессом его создания. Достаточно часто ППС создаются программистами, мало связанными со школой или учителя-предметники с малым опытом создания программных средств (ПС).

Независимо от избранного пути создания ППС, необходимо не забывать о контроле за его качеством. Такой контроль качества должен осуществляться не только с точки зрения функциональных возможностей, но и с точки зрения дидактичных и методических возможностей применения ППС в учебном процессе. При таких условиях достаточно актуальной является разработка критериев качества к ППС.

Анализ публикаций по проблеме исследования. Значительный взнос в исследование проблем применения ППC освещены в работах Жалдака М.И., Горошка Ю.В., Морзе Н. В. та др. Общим вопросом обеспечения качества ПС посвященные работы зарубежных ученых Philip Bayard Crosby, Joseph M. Juran, Frank M. Gryna, Черткова Е. А., Гурова В. В. та украинских ученых Моргуна И. А., Боцула М. П. та др. Вопроси качества ППС освещаются в работах Демьяненка В. М., Шишкина М. П., Жугастровой О. В.

Целью статьи есть рассмотрение существующих показателей качества ПС и формирования на их основе перечня показателей качества ППC и раскрытие их содержания; освещение методов, которые могут быть применены для оценки качества разрабатываемых ППС и формирование перечня критериев, за которыми экспертная комиссия должна проводить экспертизу созданного ППС.

 

Изложение основного материала исследования

 

Процесс обеспечения качества ПС является процессом обеспечения соответствующих гарантий того, что ПС отвечает установленным требованиям. Само понятие качества ПС определяется как совокупность свойств ПС, которые обусловливают его пригодность удовлетворять заданным потребностям в соответствии с его назначением [4]. Качество ПС оценивается большим количеством разнообразных характеристик, которые в свою очередь, включат в себя еще целый ряд подхарактеристик.

Разработка спецификации качества сводится к построению своеобразной модели качества создаваемого ПС. В этой модели должен быть перечень всех тех свойств, которые нужно обеспечить в создаваемом ПС. При этом каждая из этих свойств должна быть в достаточной степени конкретизирована для возможности ее оценки в разработанном ПС.

Выбор показателей качества ПС представляет собой достаточно сложный процесс. Существует достаточно много классификаций показателей качества ПС. Так в международном стандарте ISO 9126:2001 [5] определен универсальный для любого класса ПС набор из шести показателей качества :

-        функциональность (functionality) - предоставление пользователю возможности, при заданных условиях, решать нужные ему задачи в пределах соответствующей предметной области;

-        надежность (reliability) - предоставление пользователю возможности безотказного использования при заданных условиях за установленный период времени;

-        удобство использования (usability) или практичность - предоставление пользователю возможности удобного использования;

-        производительность (efficiency) или эффективность - возможность, при заданных условиях, обеспечивать необходимую работоспособность относительно выделенных для него ресурсов;

-        удобство сопровождения (maintainability) - удобство проведения всех видов деятельности, связанных с сопровождением программы;

-        переносимость (portability) - сохранение работоспособности при перенесении из одного окружения в другое, учитывая организационные, аппаратные и программные аспекты окружения. Иногда эта характеристика называется мобильностью.

Согласно другого международного стандарта ISO 9126:2004 [6] предлагается более узкий набор характеристик:

-        эффективность (effectiveness) - предоставление пользователю возможности решать его задачи конкретной предметной области с необходимой точностью;

-        производительность (productivity) - предоставление пользователю необходимых результатов в рамках ожидаемых расходов ресурсов;

-        безопасность (safety) - обеспечение низкого уровня риска причинения урона жизни и здоровью людей, бизнеса, собственности или окружающей среде;

-        удовлетворение пользователей (satisfaction) - возможность приносить удовольствие (комфорт, приемлемость использования, полезность) пользователям при использовании ПС в заданной предметной области.

Взяв за основу стандарт качества ПС ISO 9126:2001, сформулируем перечень показателей качества ППС и раскроем их содержание. Рассмотренные показатели могут быть разделены на две группы: показатели, которые в большей мере касаются пользователей − надежность, функциональность, удобство использования или практичность, эффективность или производительность; качества, которые в большей мере касаются программистов − переносимость, легкость в освоении текста программы, модифицируемость.

Надежность – предоставление пользователю возможности, за счет ППС, безотказно выполнять определенные функции при заданных условиях в течение заданного периода времени. При этом под отказом выполнения понимают возникновение в ППС ошибок. Таким образом, надежный ППС не исключает наличие в нем ошибок − важно лишь, чтобы эти ошибки при его практическом использовании в заданных условиях проявлялись достаточно редко. Удостовериться, что ППС отвечает данному требованию можно при его использовании путем тестирования, а также при практическом использование.

Надежность определяется стойкостью и защищенностью.

Стойкость характеризуется обеспечением корректного функционирования, не принимая во внимание задание неправильных (ошибочных) входных данных, аппаратный отказ и ошибки во время выполнения программы. В стойких системах реализована обработка неудач, которые возникли, без потери данных и прекращения работы.

Защищенность характеризуется возможностью противостоять умышленным или неумышленным деструктивным (разрушающим) действиям пользователя и возможностью возобновлять определенный уровень работоспособности и целостность данных после таких действий.

Функциональность - это предоставление пользователю возможности, за счет ППС, выполнять набор функций, которые удовлетворяют заданиям или возможным потребностям пользователей в соответствующей предметной области.

Функциональность определяется завершенностью, корректностью, точностью и автономностью.

Завершенность характеризуется степенью присущности ППС всех необходимых частей и черт, которые нужны для выполнения своих явных и неявных функций.

Корректная программа возвращает правильный результат при представлении на вход правильных данных и отвечает всем требованиям к спецификации данных.

Точность характеризуется приемлемостью величины погрешности в результатах, полученных с помощью ППС, учитывая предметную область.

Автономность характеризуется возможностью выполнять предложенные функции без дополнительного программного обеспечения, которое не входит в состав операционной системы или оборудования.

Удобство использования (практичность) - это характеристика ППС, согласно которой минимизируются усилия пользователя по подготовке входных данных и анализу полученных результатов, а также вызываются позитивные эмоции при его использовании.

Удобство применения определяется уровнем документированности для пользователя, информативностью, коммуникабельностью.

Уровень документированности для пользователя − свойство, которое характеризует наличие, полноту, понятность, доступность и наглядность учебной, инструктивной и справочной документации, необходимой для применения ППС.

Информативность (относительно уровня документированности для пользователя) − свойство, которое характеризует наличие в составе ППС данных, необходимых и достаточных для понимания его назначения, принятых ограничений, форматов входных данных и результатов работы отдельных компонентов, а также текущего состояния программы в процессе её функционирования.

Коммуникабельность − свойство, которое характеризуется возможностью введения данных пользователем в удобной форме и получением пользователем полезных сообщений в простой форме и с простым для понимания содержанием.

Эффективность (производительность) − это отношение уровня услуг, которые получает пользователь при использовании ППС к объему использованных ресурсов компьютера.

Эффективность определяется: эффективность относительно времени, эффективностью относительно памяти, эффективностью относительно внешних устройств.

Эффективность относительно времени − мера, которая характеризуется выполнением положенных на ППС функций за приемлемый отрезок времени.

Эффективность относительно памяти − мера, которая характеризуется выполнением положенных на ППС функций при определенных ограничениях на используемую память.

Эффективность относительно внешних устройств − мера, которая характеризуется выполнением положенных на ППС функций при ограниченном наборе системных устройств.

Переносимость − сохранение работоспособности ППС при его перемещении из одного аппаратного и программного окружения в другое без особого труда.

Переносимость определяется независимостью от устройств, модульностью, совместимостью программного обеспечения.

Независимость от устройств − свойство, которое характеризует работоспособность программы на разнообразном аппаратном обеспечении (разных типах, марках, моделях ЭВМ) .

Модульность − свойство, которое характеризует программу с точки зрения организации ее как системы модулей, причем изменение одного из них не влияет на другие модули.

Совместимость программного обеспечения − мера того, насколько просто объединить разные программы вместе для их общего приложения. Основы совместимости выплывают из общих проектных решений. Например, обеспечивается ли за ППС возможность хранить и загружать данные, для их дальнейшей обработки, из структурированных файлов представлений данных которые хорошо документированы: CSV (Comma - Separated Values), INI (Initialization file), XML (eXtensible Markup Language).

Легкость в освоении − это характеристика, за которой можно минимизировать усилие по изучению и пониманию текста программы и документации к ней.

Легкость в освоении определяется документированностью для разработчиков, читабельностью, внутренней и внешней согласованностью.

Документированность для разработчиков − свойство, которое характеризует наличие документации для разработчика, требований к создаваемому ППС, описанию результатов разных этапов разработки, описания ограничений и их обоснования, комментариев в тексте программы.

Читабельность − свойство, которое характеризует легкость восприятия текста программ, возможность понять назначения каждого оператора и идентификатора, то есть каждый из идентификаторов должен нести смысловую нагрузку.

Внутренняя согласованность должна обеспечивать единую терминологию, единую трактовку понятий и значений. Особенное значение эта характеристика приобретает при создании программных комплексов, когда над проектом работает группа специалистов, и в процессе работы необходимые контакты для согласования программных модулей.

Внешняя согласованность обеспечивается однозначным соответствием создаваемого ППС требованиям, изложенным в техническом проекте на его разработку.

Модифицируемость − эта характеристика отображает возможность внесения изменений в ППС без значительных расходов времени на следующее налаживание. Эта характеристика содержит в себе характеристику расширяемости, то есть характеризуется возможностью пользователя, за счет ППС, к использованию большего объема аппаратных ресурсов или расширению функциональных возможностей отдельных компонентов. Данное свойство не является существенным для малых проектов, но становится определяющей, когда происходит создание больших программных комплексов.

Наличие показателей качества ППС, еще не дает однозначного метода оценки качества созданного ППС. Поэтому возникает проблема, как оценить качество ППС и проверить, удовлетворяет ли ППС перечисленным выше показателям. Необходимо отметить, что в современных теоретических и практико-ориентированных исследованиях существует несколько подходов к проблеме оценки качества ППС. Среди них можно выделить:

·                       критериальная оценка их методической пригодности, которая базируется на использовании показателей качества;

·                       экспериментальная проверка педагогической целесообразности их использования, которое базируется на практической апробации в учебном процессе на протяжении определенного периода;

·                       экспертная оценка качества, основанная на компетентном мнении экспертов, которые знают данную область знаний и имеют научно-практический потенциал для принятия решений;

·                       комплексная оценка качества, которое интегрирует все или некоторые из отмеченных выше подходов.

Для оценки всех доступных показателей качества ППС в настоящее время целесообразно применять метод экспертной оценки. Данный метод заключается в следующем: назначается группа экспертов и каждый из этих экспертов после изучения ППС складывает свое собственное мнение относительно его качества, которое базируется на собственном опыте и критериях качества; после чего выставляет определенные баллы по каждому из критериев. Потом происходит сведение полученных результатов от всех экспертов в один вывод относительно качества ППС. Каждый эксперт, который принимает участие в процессе оценивая качества ППС и от мнения которого зависит решение, должен владеть необходимым компетентностями в соответствующей предметной области.

При проведении экспертизы можно сформировать две группы экспертов. К первой необходимо отнести авторитетных специалистов в сфере образования, к которой будет относиться ППС, и специалистов-программистов. В частности один человек может выступать как специалистом в сфере образования, так и специалистом-программистом. К второй группе будут относиться пользователи, которыми могут выступать специалисты первой группы, учителя-предметники, лучшие студенты старших курсов, которые уже проходили практику в школе.

В условиях большого многообразия функциональных возможностей ППС, разного их содержательного наполнения, а также возрастных особенностей учеников, достаточно сложно сложить универсальную систему критериев качества для всех классов ППС. Поэтому в связи с большим количеством разнообразных показателей появляется задача в отборе наиболее важных. Однако всегда существует вероятность того, что не все существенные факторы будут включены в рассмотрение. Однако, согласно принципа Парето, при анализе системы существенными являются лишь некоторые факторы, причем 20 из них определят 80 свойств системы.

На критерии качества, которые могут быть использованы при экспертной оценке разработанного ППС, кроме показателей качества имеют значительное влияние и требования к ППС. В работе [3] перечислены основные требования которые могут выставляются к ППС, среди них выделены: педагогические требования (дидактичные, методические, обоснование выбора тематики), технические требования, эргономичные требования, физиологически-гигиенические требования, эстетические требования, требования к оформлению документации.

Исходя, из рассмотренных показателей качества ППС и требований к ППС мной был сформулирован перечень критериев качества ППС, за которыми экспертная комиссия должна проводить экспертизу ППС. Все предлагаемые критерии качества ППС сгруппированы за несколько уровнями.

Технический уровень:

·                       стойкость к ошибкам и некорректным действиям пользователя в том числе и деструктивным;

·                       корректность работы ППС;

·                       точность вычислений;

·                       легкость в расширении функциональных возможностей;

·                       функциональная полнота согласно установленным требованиям;

·                       эффективность использования аппаратных ресурсов;

·                       работа с периферийным оборудованием (при необходимости);

·                       возможность сохранения данных и повторного их использования;

·                       возможность внесения изменений во входные данные;

·                       возможность отмены произведенных действий (при необходимости);

·                       наличие возможности анализа ошибок при введении входных данных.

Эргономичный уровень:

·                       наличие удобного меню и панелей инструментов;

·                       возможность использования комбинаций клавиш для быстрого доступа к услугам ППС;

·                       наличие вспомогательных окон;

·                       наличие контекстных подсказок;

·                       понятность аббревиатур, терминов и объяснений, их близость к реальной предметной отрасли;

·                       удобство и простота работы из ППС.

Эстетический уровень:

·                       четкость изображений, построений, текстовых данных;

·                       соответствие изображений на экране реальным исследуемым объектам;

·                       возможность налаживания представления данных на экране.

Педагогический уровень:

·                       соответствие понятий и терминов, которые используются, уровню подготовки пользователей (учеников или студентов);

·                       возможность моделирования исследуемых объектов, явлений, процессов из предметной отрасли;

·                       учитывание своеобразия и особенностей учебного предмета;

·                       поддержка со стороны ППС организационных форм и методов учебы;

·                       отражение современного состояния научных и педагогических знаний;

·                       формирование мышления учеников при использовании ППС;

·                       формирование опыта самоконтроля и самокорекции приобретенных компетентностей;

·                       приобретение опыта експерементально-опытной деятельности.

 

Вывод

 

Следовательно, определенно, что вопрос оценки качества ППС тесно связан с оценкой качества ПС и требованиями к ППС. Показано, что для оценки качества созданного ППС удобным с точки зрения использования и достоверности полученных результатов является применение метода экспертной оценки группой экспертов. Приведен перечень критериев качества ППЗ, которые могут выступать в качестве базовых показателей при проведении экспертной оценки созданного ППЗ.

 

Литература

 

1.                   Волинський В. П. Методичні рекомендації до використання педагогічних програмних засобів у навчальному процесі / В. П. Волинський, Г. О. Козлакова. – К.: НПУ ім. М. П. Драгоманова, 2007. – 59 с.

2.                   Черткова Е. А. Разработка спецификации требований к компьютерным обучающим системам / Е. А. Черткова, И. В. Ретинская, К. К. Дауренбеков // Качество, Инновации, Образование. – 2009. – №3. – С. 63-67.

3.                   Требования к ППС [Електронний ресурс]. – Режим доступу : wiki.irkutsk.ru/index.php/Требования_к_ППС.

4.                   Чуканов В. О. Оценка качества программных средств учебного назначения / В. О. Чуканов, В. В. Гуров // Качество. Инновации. Образование. – 2007. – № 5. – С. 27-32.

5.                   ISO/IEC 9126-1:2001 Software engineering. Software product quality. Part 1: Quality model.

6.                   ISO/IEC TR 9126-4:2004 Software engineering. Product quality. Part 4: Quality in use metrics.

 

Поступила в редакцию 18.09.2013 г.

2006-2019 © Журнал научных публикаций аспирантов и докторантов.
Все материалы, размещенные на данном сайте, охраняются авторским правом. При использовании материалов сайта активная ссылка на первоисточник обязательна.