В качестве основы методики рассматривается сравнительный педагогический эксперимент, в котором проверке подлежат выдвинутые рабочие гипотезы, например, возможность повышения качества и прочности усвоения учебного материала, усиления мотивации и активности обучающихся при использовании в образовательном процессе новых информационных технологий обучения и др.
Для обеспечения возможности сравнения результатов педагогического эксперимента целесообразно разделить обучающихся на экспериментальные и контрольные группы, а также выявить начальный и итоговый уровни их обученности для получения точной картины состояния знаний, навыков и умений до и после эксперимента. С учетом сказанного предлагается следующая схема проведения сравнительного педагогического эксперимента.
Первый этап включает в себя выбор и выравнивание контрольных и экспериментальных групп на основе проведения входного тестирования, а также определение варьируемых и не-варьируемых условий эксперимента.
Тестирование производится с использованием педагогических тестов - системы заданий возрастающей трудности, с целью определения начального уровня обученности студентов. По результатам тестирования производится выбор экспериментальных и контрольных групп. Проверку их однородности и тем самым правильности выборки целесообразно осуществлять с использованием t-критерия Стьюдента (равенство средних), критерия c2 (хи _ квадрат) или f-критерия Фишера (однородность дисперсии), позволяющих учитывать психофизиологические свойства обучающихся и уровень их подготовленности.
На примере использования t-критерия Стьюдента для независимых переменных покажем, как может быть произведена оценка однородности контрольных и экспериментальных групп.
В данном случае предполагается выдвижение двух гипотез: нулевой гипотезы (Н0), согласно которой различия уровня подготовленности обучающихся недостаточно значительны, и поэтому распределение оценок относится к одной генеральной совокупности, т.е. выборка произведена правильно; и альтернативной гипотезы (Н1), согласно которой различия между обоими распределениями достаточно значительны и связаны с малым объемом выборки.
В психологии и педагогике принято считать, что нулевую гипотезу можно отвергнуть в пользу альтернативной, если по результатам статистического анализа вероятность случайного возникновения найденного различия не превышает 5 из 100. Если же этот уровень достоверности не достигается, считается, что разница вполне может быть случайной и поэтому нельзя отбросить нулевую гипотезу.
Таким образом, требуется доказать, что распределение оценок при входном тестировании в контрольной и экспериментальной группах является выборками из одной генеральной совокупности, т.е. что нулевая гипотеза верна.
Для определения достоверности разницы средних при двух независимых выборках целесообразно использовать метод Стьюдента (Годфруа Ж. Что такое психология. Т 2. - М., 1992) и по формуле определить значение его критерия:
где и M2 - среднее значение первой и второй выборок;
и S2 - дисперсия (среднее квадратическое отклонение) соответственно для первой и второй выборок;
и п2 - количество оценок в первой и второй выборках.
Дисперсия определяется по формуле
где (x1-х)2 - квадрат отклонений отдельных значений признаков от средней арифметической; п - количество признаков.
Геометрически S2 является показателем того, насколько кривая распределения оценок размыта относительно ее среднего арифметического значения.
Определив дисперсию, целесообразно рассчитать значение t - критерия Стьюдента и сравнить его с табличным, приведенным в соответствующих справочных материалах (Годфруа Ж. Что такое психология. Т 2. - М., 1992; Рабочая книга социолога. - М., 1983).
Если табличное значение t больше, чем расчетное (tтабл. > t), делается вывод о том, что нулевая гипотеза не отвергается и обе выборки относятся к одной генеральной совокупности, т.е. они однородны для уровня достоверности 0,05 (вероятность 5%), что и требовалось доказать. Если же расчетное значение t оказывается больше, чем табличное (tтабл. < t), то следует говорить о том, что сделанные выборки (для уровня достоверности 0,05) не относятся к одной генеральной совокупности. А это значит, что выбранные контрольная и экспериментальная группы не являются однородными.
Полученные результаты целесообразно перепроверить с использованием критерия х2 или f - критерия Фишера.
Рассмотрим для примера порядок проверки полученных результатов с использованием критерия х2. В этом случае применяется формула (Рабочая книга социолога. - М., 1983)
где n1 и п2 - количество оценок у слушателей в контрольной и экспериментальной группах;
ni1 и пi2 - среднеарифметическое значение успеваемости в контрольной и экспериментальной группах.
Получив расчетное значение х2, необходимо, как и в предыдущем случае, сравнить его с табличным значением (при уровне значимости менее 5%), взятым из справочных источников. Если Х2табл. >Х2, то это означает, что нулевая гипотеза не отклоняется и следует считать контрольную и экспериментальную группы выборками из одной генеральной совокупности.
Таким образом, с помощью t - критерия Стьюдента или критерия х2 можно сделать вывод об однородности или неоднородности контрольной и экспериментальной групп.
На данном этапе следует определить, а при необходимости уточнить, варьируемые (подлежащие изменению) и неварьируемые условия проведения эксперимента.
В качестве варьируемых условий эксперимента могут рассматриваться следующие:
- занятия под руководством преподавателя проводятся с контрольной группой в аудитории, а с экспериментальной группой в дисплейном классе;
- в экспериментальной группе средством самостоятельного изучения учебного материала выступает комплект компьютерных средств, а в контрольной группе - традиционный учебник (учебное пособие или другое традиционное средство обучения);
- в экспериментальной группе студенты имеют возможность провести текущий контроль своих знаний, используя специальную компьютерную программу, а в контрольной такая возможность не предусмотрена и т.д.
В качестве варьируемых условий проведения эксперимента можно рассматривать, например:
- изучение одинаковой для контрольной и экспериментальной групп дозы учебной информации;
- постановку одинаковых для обеих групп дидактических задач и др.
Второй этап является наиболее ответственным и включает в себя собственно педагогический эксперимент. В его ходе могут проводиться: чтение лекции по запланированной теме в контрольной и экспериментальной группах, учебные занятия с использованием методов семинара, практической работы, самостоятельной работы под руководством преподавателя и без его участия, лабораторной работы и т. п. Но если в экспериментальной группе обучение проходит с использованием, например, информационных технологий, то в контрольной это делается с применением только традиционных методик обучения.
Третий этап включает выходное тестирование и может задействоваться на итоговых занятиях с целью определения достигнутого уровня обученности студентов, который должен соответствовать изначально заданным дидактическим целям. Методом в этом случае выступает, как и на первом этапе, педагогическое тестирование.
Проверку достоверности полученных результатов целесообразно осуществлять с использованием t-критерия Стьюдента, но уже при зависимых выборках (Годфруа Ж. Что такое психология. Т.2. - М., 1992), к которым относятся результаты одной и той же группы респондентов до и после эксперимента (воздействия независимой переменной). Для этих целей можно воспользоваться формулой
,
где d - разность между результатами в каждой сравниваемой паре до и после эксперимента;
∑d - сумма этих частных разностей;
∑d 2 - сумма квадратов частных разностей;
п - число обучающихся.
Если tтабл. > t, Р < 0,05, то это означает, что нулевая гипотеза отвергается и разница между выборками является достоверной. Это свидетельствует о том, что на данную разницу оказало влияние введение независимой переменной, например, обучение с применением новой информационной технологии.
Четвертый этап (выходное анкетирование) проводится в экспериментальных группах с целью выявления субъективной оценки обучающихся относительно качества прохождения учебных занятий с использованием информационной технологии обучения. Здесь целесообразно особое внимание уделить определению мотивации обучения с применением комплекта компьютерных средств, а также оценке психологической и психофизиологической нагрузки, испытываемой респондентами в период экспериментального обучения.
На каждом этапе сравнительного педагогического эксперимента целесообразно производить сбор эмпирического материала, его статистическую обработку и предварительный анализ полученных результатов. На завершающих этапах по разности результатов предварительного и итогового педагогического тестирования определяется сравнительная эффективность применения новой информационной технологии обучения и традиционной методики обучения.
В этом случае измерение и оценку дидактической эффективности можно с достаточной степенью достоверности проводить по количественно-качественным показателям учебного процесса путем обобщения и сравнения одних статистических данных с другими. Такими показателями выступают выбранные и обоснованные критерии эффективности, которые можно рассматривать как обобщенные результаты достижения поставленных целей.
Пятый этап (отсроченное тестирование) целесообразно проводить, как правило, через месяц, или больший интервал, с целью определения остаточных знаний, навыков и умений, приобретенных студентами за период экспериментального обучения. На данном этапе, как и на третьем, определяется сравнительная эффективность применения информационной технологии обучения и традиционной методики. При этом оценивается наличие у обучающихся остаточных знаний, навыков и умений в рамках анализируемой предметной области.
Точность и чистота педагогического эксперимента могут быть достигнуты с помощью специальных мер по снятию интерферирующего влияния методики представления материала, личностных характеристик преподавателя и окружающей среды. Для этого следует рекомендовать апробацию разработанной методики
еще на предварительных этапах эксперимента, что позволит избежать ряда ошибок, которые могут оказать влияние на конечные результаты.
При проведении сравнительного педагогического эксперимента оценку дидактической эффективности применения в учебном процессе информационной технологии обучения предлагается проводить используя следующий математический аппарат.
В общем виде эффективность применения в учебном процессе информационной технологии обучения (Эито) можно определить по формуле
где Р0 - результаты, достигнутые в процессе обучения; определяются на основе как качественных, так и количественных показателей; Рц - результаты, соответствующие целям обучения, выраженные в соответствующих параметрах.
Для проведения сравнительного анализа эффективности применения в учебном процессе информационной технологии обучения и традиционной технологии обучения целесообразно воспользоваться следующей формулой:
где Эито - эффективность информационной технологии обучения; Сэ - сумма оценок, полученных экспериментальной группой по итогам обучения с ее использованием; Ск - сумма оценок, полученных контрольной группой.
Если затраты времени на обучение при использовании информационной и традиционной технологий различны, то эффективность первой определяется по формуле
где Квр - временной коэффициент, который выводится через отношение времени, необходимого на обучение в контрольной группе, ко времени, затраченному на подготовку слушателей экспериментальной группы. Этот коэффициент определяется по формуле
В качестве одного из основных критериев оценки эффективности применения информационной технологии обучения в педагогических исследованиях часто используется коэффициент оценки (уровня знаний) Ко:
где Кито - оценка группы, полученная с использованием ИТО; Кто -оценка группы, полученная при традиционной технологии обучения.
В случае, если в учебном процессе более эффективным окажется применение информационной технологии обучения, а не традиционной технологии обучения, значение Ко должно быть больше единицы. (В научных публикациях встречаются значения Ко в пределах 1,5-3). [1о].
