ISSN 1991-3087

Свидетельство о регистрации СМИ: ПИ № ФС77-24978 от 05.07.2006 г.

ISSN 1991-3087

Подписной индекс №42457

Периодичность - 1 раз в месяц.

Вид обложки

Адрес редакции: 305008, г.Курск, Бурцевский проезд, д.7.

Тел.: 8-910-740-44-28

E-mail: jurnal@jurnal.org

Рейтинг@Mail.ru Rambler's Top100
Яндекс.Метрика

Методы определения правильности выборочных ответов.

 

Хоа Тат Тханг,

аспирант Московского Государственного Строительного Университета.

 

На сегодняшний день, для определения правильности выборочных ответов, большинство систем дистанционного обучения использует простой анализ выборочного ответа [2]. То есть правильность выборочного ответа оценивается путем сравнения ответа и эталона. Если ответ полностью совпадает с эталоном, то ответ считается правильным. Но если ответ частично отличается от эталона, то ответ считается неправильным и студент при этом не набирает никакого балла. Если учесть,  что чаще всего применяется схема "N вариантов – из них один правильный", то такой подход является оправданным. Но в том случае, если применяется схема "N вариантов – из них k правильных (0≤k<N)" или когда требуется установить соответствие, то такой подход не корректен. Следует ввести дифференцированную оценку. Например, ответ (1,3,5) ближе к эталону (3,4,5) чем ответ (2,4,5), поэтому он должен быть оценен выше. Для дифференцирования оценки необходимо использовать подход, который позволял бы определять степень сходства ответа и эталона. Далее рассмотрен подход, предложенный автором.

 

Схема «N вариантов – из них k правильных (0≤k<N)».

 

Пусть даны два множества Мэ (множество эталона) и Мо (множество ответа). Элементы двух множеств состоят из пар (х, μ(х))

Где - множество вариантов

           

или:

Мэ = { ( хэ1  , μ(хэ1)), (хэ2  , μ(хэ2)),( хэ3  , μ(хэ3)),…, (хэN  , μ(хэN))   }

Мо = { ( хо1  , μ(хо1)), (хо2  , μ(хо2)),( хо3  , μ(хо3)),…, (хоN  , μ(хоN))  }

Пусть N = Мах( |  Мэ |, | Мо |) = максимальная мощность множеств = количество элементов в множестве.

Пусть

Мк = Мэ ∩ Мо  

К = |Мк|

Тогда, если примем r за расстояние между множествами  (0 <= r <=1), то

r =1- К/N

Степенью сходства множеств – величина обратная к величине расстояния

δ = 1 – r  =  К/N.

Таким образом, если вопрос имеет оценку = с, то оценка, получаемая студентом =

Недостаток этого метода в том, что – если в задании «N вариантов – из них k правильных» студент не отмечает ни один верный вариант, то он все равно получает оценку = с*(N-k)/N. Если число верных вариантов близко к N, то такой вариант приемлемый. Но в противном случае, целесообразно применить другой метод.

Пусть даны два множества Мэ (множество эталона) и Мо (множество ответа). (Здесь учитываются только отмеченные варианты)

Где - множество вариантов

или:

Мэ = {  хэ1э2, хэ3,…,хэM1    }

Мо = {  хо1о2, хо3,…,хоM2  }

Пусть N = Мах(|Мэ |, | Мо |) или Мах(М1, М2)

Пусть

Мк = Мэ ∩ Мо  

К = |Мк|

Тогда если примем r за расстояние между множествами  (0 ≤ r1), то

r =1- К/N

Степенью сходства множеств – величина обратная к величине расстояния

δ = 1 – r  =  К/N.

Таким образом, если вопрос имеет оценку = с, то оценка, получаемая студентом =

Таким образом, если студент не может выбрать один верный ответ то он не получает ни какую оценку.

 

Схема «Установление соответствия».

 

Для ответа студент должен выбрать в левой колонке соответствующий элемент. Для определения расстояния между эталоном и ответом нам легче представлять эталон и ответ как две точки в N арном пространстве. И так:

Хэ = {xэ1, xэ2,…, xэk,…, xэN} – Хэ – эталонный ответ

Хо = {xо1, xо2,…, xоk,…, xоM} - Хо – ответ студента (здесь M <= N)

Коэффициент сравнения определяют следующим образом:

Для определения расстояния между двумя точками воспользуемся обычная формула

Отсюда видно, что наибольшее значение R = N (если все координаты разные или ответ полностью не совпадает с эталоном) а наименьшее значение R = 0 (если все координаты совпадают или ответ полностью совпадает с эталоном)

Если обозначаем 0<=r <=1 то имеем:

Степенью сходства множеств – величина обратная к величине расстояния

δ = 1 – r;  .

Таким образом, если вопрос имеет оценку = с, то оценка, получаемая студентом =

 

Схема «Установление последовательности».

 

Для списка элементов правильность ответа проверяется путем определения расстояния между списками. Понятие расстояния между списками базируется на работе Кендала [6], где введена мера сравнения порядка списков.

Пусть имеется два списка Хэ, Хо

Хэ = {xэ1, xэ2,…, xэk,…, xэN} – Хэ – эталонный ответ

Хо = {xо1, xо2,…, xоk,…, xоN} - Хо – ответ студента

состоящие из элементов одного и того же базового множества R.

Требуется определить расстояние между списками.

Коэффициент сравнения определяют следующим образом:

где l<k

Расстояние по Кендалу вычисляется по следующей формуле:

Если компоненты обоих списков упорядочены однотипно, то имеется место следующее равенство: для всех l,k и результат суммирования равен половине числа размещений из n по два. Число размещений из n по два равно:

Поэтому

При этом максимальное расстояние между списками равно 2. Оно получается

в том случае, когда элементы списков упорядочены в противоположном порядке.

Если обозначаем 0<=r <=1 то имеем:

Степенью сходства множеств – величина обратная к величине расстояния

δ = 1 – r;  .

Таким образом, если вопрос имеет оценку = с, то оценка, получаемая студентом =

 

Вопрос в свободной форме.

 

Задания в свободной форме, бывают в виде арифметического выражения и в виде текстового выражения. В свою очередь, арифметическое выражение может быть вычислимым значением и формулой. По Карпову И.П. [2]. Для вычислимого значения целесообразно определить эталон (правильное значение) и допустимую погрешность ε. Один из вариантов использования погрешности заключается в том, что, если ответ находится в ε-окрестности эталона:

(E – ε) ≤ А ≤ (E + ε)

где Е – эталон, А – полученный ответ, то ответ считается правильным, иначе ответ неверен.

Если выражение требуется рассматривать как формулу, то можно воспользоваться алгоритмом унификации, разработанным в 1966 г. Ж Питра и независимо от него Дж. Робинсоном [5]. Этот алгоритм позволяет определить идентичность любых двух выражений и не зависит от формальной системы, к которой применяется.

 

Использование ответов, вводимых в свободной текстовой форме, является самой естественной и наиболее сложной задачей при организации системы контроля знаний. Задача распознания текстов на естественном языке была поставлена на рубеже  60х – 70х гг. Были различные попытки ее решения, например [1, 3, 4]. Было создано ряд экспериментальных программ, способных вести диалог с пользователем на естественном языке. Однако широкого распространения такие системы пока не получили – как правило, из-за невысокого качества распознавания фраз, жестких требований к синтаксису “естественного языка”, а также больших затрат машинного времени и ресурсов, необходимых для их работы. Чем длиннее текст, тем сложнее его распознавать.

Для решения этой задачи автор предлагает такой способ:

Необходимо дать обучаемому образец ответа.

·                     дополнять надо наиболее важное;

·                     дополняющее слово или словосочетание ставится в конце предложения и лучше должно быть единственным;

Если может быть несколько верных ответов, необходимо их все включить в ответ, чтобы обучаемый выбрав любой верный ответ, получил оценку.

Дополняющее слово или выражение рекомендуется использовать как можно короче.

Если ответ длинный или слишком длинный, в таком случае ответ рекомендуется оценивать только преподавателем.

Для облегчения компьютерного анализа, при сравнении ответа обучаемого и эталона, лучше их все преобразовать в тексты высшего или нижнего регистра. Потом удалить все лишние пробелы, только после этого сравнивать

 

Литература.

 

1.                  Искусственный интеллект : В 3-х кн. Кн. 1. Системы общения и экспертные системы: Справочник / Под ред. Э.В. Попова. – М.: Радио и связь, 1990. – 464 с.

2.                  Карпова И. П. Исследование и разработка подсистемы контроля знаний в распределительных автоматизированных обучающих системах./ Москва 2002

3.                  Коутс Р., Влейминк И. Интерфейс "человек-компьютер": Пер. с англ. – М: Мир, 1990. – 501 с.

4.                  Лехто Г.Ф., Тарасов В.А. Экспертные технологии контроля и диагностики знаний обучаемых // Материалы Международной конференции-выставки "Информационные технологии в непрерывном образовании" // Петрозаводск, 5- 9 июня 1995 г. – http://petrsu.karelia.ru/psu/general/conferences/data/19950605/

5.                  Лорьер Ж.-Л. Системы искусственного интеллекта. / Пер. с франц. – М.: Мир, 1991. – 568 с. (Алгоритм унификации – с. 116-161.)

6.                  Фор А. Восприятие и распознавание образов / Пер. с фр. / Под ред. Г.П. Катыса. – М.: Машиностроение, 1989. – 272 с.

 

Поступила в редакцию 11 февраля 2008 г.

2006-2018 © Журнал научных публикаций аспирантов и докторантов.
Все материалы, размещенные на данном сайте, охраняются авторским правом. При использовании материалов сайта активная ссылка на первоисточник обязательна.