Методические рекомендации по составлению и применению контролиру ющих материалов
СОДЕРЖАНИЕ: В томском политехническом университете накоплен достаточно большой опыт по созданию и применению контролирующих тестовых материалов (КМ), предназначенных для оценки качества подготовки специалистов [1]Методические рекомендации по составлению и применению контролирующих материалов
В Томском политехническом университете накоплен достаточно большой опыт по созданию и применению контролирующих тестовых материалов (КМ), предназначенных для оценки качества подготовки специалистов [1].
К сожалению, до настоящего времени попытки придать разработанным КМ статус федеральных материалов не увенчался успехом. Тем не менее усилия в этом в этом направлении не прекращаются.
Очевидно, что подготовка специалистов в соответствии с государственным образовательным стандартом высшего профессионального образования (ГОС) потребует создания унифицированных КМ.
Работа над созданием и использованием КМ разработанных в ТПУ позволит, если даже не удастся эти материалы привести к статусу федеральных, легче адаптироваться к процедурам тестирования. Чем дальше ТПУ продвинется в этом направлении, тем больше шансов получить разрешение Минобразования на использование «своих» КМ.
Представляется, что настоящие методические рекомендации помогут упорядочить работу по оценке качества подготовки специалистов во всех институтах и факультетах университета.
Назначение контролирующих материалов
Контролирующие материалы (КМ) предназначены для проверки соответствия уровня подготовки специалистов требованиям Государственных образовательных стандартов высшего профессионального образования (ГОС).
КМ предназначены также для системной работы по оптимизации образовательного процесса: они могут быть рекомендованы для отраслевого применения при аттестации (аккредитации) вузов, специальностей.
(КМ) не заменяют традиционно используемые в вузовской практике «предметные» итоговые экзамены, зачеты, защиту выпускной квалификационной работы в ГЭК; они представляют собой систему экспресс-методов и средств для внешней экспертной оценки уровня подготовки специалистов, его соответствия требованиям ГОС и призваны к жизни переходом вузов на систему образования, регламентированную ГОС.
Если форма и процедуры «предметной» аттестации, в соответствии с уставом высшей школы, могут быть определены самим преподавателем, то унифицированные образовательные стандарты, по определению являющиеся неведомственными документами, предполагают унифицированную систему, в том числе и внешнего контроля.
Известно, что заложенные в ГОС требования могут трактоваться весьма широко. В связи с этим не менее важное предназначение КМ состоит в том, что в них конкретизирован уровень требований к знаниям, умениям специалиста и определен этот уровень для данного вуза, руководствующегося данным комплектом КМ. Они являются объективным показателем качества подготовки специалистов.
Виды контролирующих материалов
Комплект КМ, обеспечивающих выполнение функций в соответствии с назначением, включает следующие 3 разновидности документов: комплексные контрольные задания, задания для междисциплинарного экзамена и задания для проверки остаточных знаний.
- Комплексное контрольное задание (ККЗ) – полидисциплинарное задание, представляющее собой техническую задачу, детализированную вопросами преимущественно из циклов специальных и общепрофессиональных дисциплин. ККЗ предназначено для оценки уровня подготовки дипломированных специалистов (инженеров)
- Задание для междисциплинарного экзамена (МЭ) – задание по базовой для направления дисциплине естественно-научного цикла, имеющее междисциплинарный характер в том отношении, что ответы на вопросы задания предполагают применение методологии и аппарата математики, физики и возможно других дисциплин естественно-научного цикла. Задания для МЭ являются элементом итоговой аттестации бакалавров.
- Задание для проверки остаточных знаний – задание по отдельным дисциплинам естественно - научного и общеобразовательного циклов, предназначенное для проверки усвоения студентами базовых положений дисциплины и умения использовать полученные ранее – в предыдущих семестрах – знания при решении конкретных задач.
Разработка контролирующих материалов
Комплексные контрольные задания разрабатываются сотрудниками выпускающих кафедр. Содержание ККЗ должно соответствовать требованиям ГОС по профессиональной подготовке специалистов.
ККЗ содержит вопросы по 6 … 8 наиболее весомым специальным и общепрофессиональным дисциплинам; выполняется ККЗ в аудитории в течение 2,5 … 3 часов с использованием любой литературы и технических средств и представляется в письменном виде. Сроки выполнения ККЗ определяются приказом ректора, определяющим работу ГЭК.
Задания для междисциплинарного экзамена разрабатываются по предложению выпускающей кафедры преподавателями кафедры, ведущей преподавание базовой для направления дисциплины естественно - научного цикла при консультациях и другом участии выпускающих кафедр и кафедр отделения фундаментального образования. Задания для МЭ выполняются студентами с использованием литературы. Процедура экзамена устанавливается руководителями обучения по направлению, сроки – приказом ректора, определяющим работу ГЭК
Задания для проверки остаточных знаний (ОЗ) разрабатываются по предложению выпускающей кафедры преподавателями, ведущими обучение по естественно – научным и общепрофессиональным дисциплинам – всего по 4 … 5 дисциплинам. В разработке заданий обязательно участие выпускающих кафедр.
При создании контрольных заданий по специальности (направлению) целесообразно выполнить следующие этапы работы:
· Определение сферы, объектов и видов деятельности выпускника; определение типовых задач деятельности и требований к уровню подготовки специалиста.
· Установление взаимосвязи между задачами деятельности, требованиями к уровню подготовки и учебными дисциплинами.
· Определение процедуры итогового испытания, структуры и содержания заданий и разработка контролирующих материалов.
Определение сферы, объектов и видов деятельности выпускника; определение типовых задач деятельности и требований к уровню подготовки специалиста
Содержание этого этапа определяется Государственным образовательным стандартом, однако, с учетом того, что ГОС устанавливает минимальный уровень требований, возможно некоторое, не противоречащее ГОС, расширение, либо коррекция сферы, объектов и видов деятельности выпускника, учитывающее региональные либо университетские особенности, научные школы и т.п.
Определение типовых задач деятельности выпускника целесообразно представить в виде таблицы, устанавливающей соответствие видов деятельности и типовых задач, которые способен решить выпускник. Последние будут использованы для составления комплексных контрольных заданий по дисциплинам
Результаты такого анализа для направления 552900 «Технология и автоматизация машиностроительных производств» приведены во фрагменте в табл. 1.
Таблица 1.
| Вид деятельности |
Примеры типовых задач |
| Экспериментально- исследовательская |
Планирование и постановка экспериментальных исследований по изучению механизмов, приводов технологических машин, конструкций сборочных единиц. Постановка исследований по влиянию технологических факторов на качество изготавливаемых изделий. ……………………………………………………………... |
| Проекто- конструкторская |
Конструирование (модернизация) несложной сборочной единицы. Выбор рационального конструкционного материала. Построение чертежей детали, сборочной единицы, в том числе с использованием средств машинной графики. ……………………………………………………………….. |
| Производственно- управленческая |
Расчет себестоимости изготовления детали, изделия. Создание безопасных условий работы при производстве, ремонте и эксплуатации станков и роботов ……………………………………………………………. |
|
Организационно- технологическая |
Анализ технологических процессов изготовления деталей. Разработка управляющих программ для обработки деталей на автоматизированном оборудовании. …………………………………………………………….. |
На основе проведенного анализа по уточнению и детализации сферы, объектов и видов профессиональной деятельности выпускника, определения типовых задач, следует сформулировать требования к уровню подготовки, распределив их по степени усвоения на предписанные ГОС категории:
- иметь представление,
- знать и уметь использовать,
- иметь опыт.
К последней категории могут быть отнесены навыки и умения, которые студенты имеют возможность получить в процессе выполнения курсовых проектов (работ) на лабораторных и практических занятиях, производственной практике.
Установление взаимосвязи между задачами деятельности, требованиями к уровню подготовки и учебными дисциплинами
При выполнении этого этапа вначале следует проанализировать есть ли соответствие между типовыми задачами деятельности (табл. 1) и требованиями ГОС: нет ли упущений в выбранном из ГОС либо сформулированном дополнительно перечне требований к уровню подготовки. После этого следует приступать к заполнению матрицы взаимосвязи требований ГОС с дисциплинами.
Построение матрицы взаимосвязей необходимо для решения следующих задач:
- Расставить акценты в преподаваемой дисциплине – построить рабочую программу и контрольные задания так, чтобы в наибольшей степени обеспечить выполнение требований ГОС.
- Определить весомость дисциплины в комплексных контрольных заданиях и разделов дисциплин – в контрольных заданиях
- Определить структуру контрольных заданий – количество и содержание вопросов по отдельным дисциплинам.
Фрагмент матрицы взаимосвязи требований ГОС с общеобразовательными и специальными дисциплинами приведен в табл. 2.
Таблица 2
| Требования ГОС по общепрофессиональным и специальным дисциплинам |
||||||||||
| Категории |
Содержание |
Инженерная графика |
Материаловедение |
Сопротивление материалов |
Нормирование точности |
Теория автоматического управления |
Детали машин |
Технология машиностроения |
Оборудование автоматизированных производств |
Программное управление оборудованием |
| Иметь представление |
- о современных средствах машинной графики …- о перспективах развития технологии машиностроении |
+ |
+ |
+ |
||||||
| Знать и уметь использовать |
- методы управления процессами и объектами в машиностроении - методы прочностных расчетов конструкций |
+ |
+
|
+ |
+ |
|||||
| Иметь опыт |
- выбора конструкционных материалов, - работать на станках с ЧПУ, - использовать методы и средства нормирования точности |
+ |
+ |
+ |
+ |
+ |
||||
Структура и содержание заданий, разработка контролирующих материалов и процедура проведения итогового испытания
В соответствии с Положением Госкомобразования об итоговой аттестации выпускников вузов, уровень подготовки бакалавров оценивается по результатам защиты выпускной работы и сдачи междисциплинарного экзамена.
С целью оптимизации содержания означенных испытательных актов, целесообразно, на этапе анализа ГОС, в части требований к уровню подготовки бакалавра и работ по установлению взаимосвязи между предписанными ГОС задачами профессиональной деятельности, и учебными дисциплинами, четко разграничить те представления, знания и умения, которые предполагается проверить в процессе защиты выпускной работы и те, которые проверяются в рамках междисциплинарного экзамена.
Прежде чем приступить к разработке контролирующих материалов следует определиться с сутью, назначением и содержанием междисциплинарного экзамена (МЭ) и выпускной работы. Предполагается рассматривать МЭ как проверку способности выпускников анализировать технические явления, объекты, ситуации с позиции фундаментальных знаний с привлечением методологии и аппарата таких дисциплин естественно - научного цикла как высшая математика, физика, химия, теоретическая механика.
Выполнение всех остальных требований ГОС подлежит проверке при подготовке и защите выпускной работы, задание на которую представляет собой комплексную техническую задачу, решение которой предполагает использование знаний по общепрофилирующим и специальным дисциплинам.
Для инженеров, обучающихся после II ступени, (получения звания бакалавра), государственная аттестация осуществляется только по результатам защиты выпускной квалификационной работы.
Для инженеров, обучающихся по образовательной траектории: «1 ступень высшего образования (2 года) +3 года обучения по учебному плану инженера» аттестация включает дополнительно «междисциплинарный экзамен».
На внешнем (ведомственном) уровне качество подготовки специалистов может определяться по результатам оценки остаточных знаний (ОЗ) по отдельным социально-экономическим и естественно - научным дисциплинам, всего – по 3 - 4 дисциплинам учебного плана и выполнения комплексного контрольного задания (ККЗ).
Итоговая оценка N складывается из результатов решения контрольных заданий по оценке остаточных знаний и оценки за выполнение ККЗ – Ni . При этом коэффициент весомости контрольных заданий ki определяется экспертным путем:
где n – общее число оценок.
ККЗ призвано оценить подготовку специалиста по общепрофессиональным и специальным дисциплинам. ККЗ представляет собой научно – техническую задачу, соответствующую квалификационной характеристике специалиста, детализированную вопросами по отдельным общепрофессиональным и специальным дисциплинам – по 5 - 10 вопросов в каждом задании.
С учетом взаимосвязей требований ГОС и дисциплин, выделяются обеспечивающие дисциплины, материал которых следует использовать для формулировки вопросов в комплексном контрольном задании и экспертным путем устанавливается значимость дисциплин pj общей совокупности вопросов.
Например, для составления ККЗ определено m дисциплин учебного плана №№ 1, 2, 3 … m. Экспертным путем установлена весомость pj
каждой дисциплины, например, p1
- 0,15; p2
–0,12; p3
–0,08 … 
.
Таким образом, устанавливается, что в общей совокупности вопросов всех ККЗ содержится 15% вопросов по дисциплине № 1, 12% - № 2, и т.д.
При этом, естественно, в каждом отдельном комплексном контрольном задании могут быть не представлены вопросы по всем выбранным дисциплинам; экспертным путем можно определить 3 … 4 “обязательных” дисциплины, либо сочетания дисциплин, которые должны быть представлены во всех заданиях.
Аналогично ведется подготовка к составлению контрольных заданий для оценки остаточных знаний по отдельным дисциплинам, с той разницей, что составляющими элементами заданий являются не обеспечивающие дисциплины, а разделы данной дисциплины.
Время выполнения ККЗ как и всех других видов заданий (исключая ВКР) не должно превышать 2,5 … 3 часа. Ответы представляются в письменном виде; в работе над заданиями рекомендуется использование литературы и технических средств.
В последнее время появились работы, посвященные анализу адекватности оценки результатов тестирования [2, 3 и др.].
В общем случае оценка за тест зависит не только от уровня знаний тестируемого, но и от качества испытательных материалов, которые в первую очередь определяются двумя показателями – корректностью формулирования тестовых заданий и адекватностью механизма оценивания результата тестов.
Корректность формулирования заданий достигается тщательной логико-лингвистической проработкой материалов, включаемых в тестовые задания. Что же касается адекватности механизма оценивания результатов тестирования, то этот показатель является вероятностной характеристикой и определяется законами математической статистики, так как каждый билет формируется из n тестовых заданий, подмножество которых случайным образом извлекается из множества N тестовых заданий, охватывающих в совокупности содержание всего проверяемого учебного курса. Иначе говоря, каждое тестовое задание является случайной величиной х генеральной совокупности N, а группа заданий n, включенных в один тест, является случайной выборкой из этой генеральной совокупности. Для такой модели тестов, оценивание знаний тестируемого сводится к задаче контроля качества, решаемой на основе одноступенчатого плана выборочного статистического контроля [3].
Список литературы
1. Контролирующие материалы для итоговой аттестации выпускников вузов. Часть 1 … 4. Томск: Изд. ТПУ. 1998. – 580с.
2. Матушевский Г.У. Проектирование педагогических тестов для контроля знаний//Информатика и образование. – 2000. - №6. – С.7-10.
3. Лазаренко Г.П. Анализ адекватности механизма оценивания результатов педагогического тестирования// Известия вузов. Машиностроение. – 2001. - №4. – С.81-83.
4. Андрианов Ю.И. Квалиметрия в приборостроении и машиностроении. – Л.: Машиностроение. – 1990. - 223с.
Составитель: М.Г. Гольдшмидт