процессы измерения и оценки педагогических параметров и характеристик это
Педагогическая квалиметрия
О педагогической квалиметрии у нас заговорили в начале 70-х годов. Термин «квалиметрия» (от лат. cval — качество и metres — измерять) означает направление педагогических исследований, главным содержанием которого являются измерения и оценки педагогических параметров и характеристик. Но в этом своем основном значении понятие квалиметрии употребляется редко. Распространилось аналогичное понятие, образованное из двух разрозненных частей — русской «квалификация» и латинской «метрос» (измерение), которым обозначается область педагогического исследования, направленного на диагностирование специфических профессиональных качеств педагогов. Совокупность этих качеств, как уже отмечалось, называется профессионализмом, мастерством, новаторством, а методика их оценки традиционно определяется как аттестация (педагогов, учебных заведений).
Анализ проблемы свидетельствует, что вопросы, которые теперь относятся к области педагогической квалиметрии, решались всегда, но на качественном, неметрическом уровне, без использования современных количественных методов.
Отдельного рассмотрения заслуживает соотношение квалиметрии и аттестации учителей. Под последней понимают изучение педагогов с целью установления соответствия занимаемой должности и присвоения одной из квалификационных категорий. В Положении о порядке аттестации учителей 1 разъясняется, что аттестация педагогических работников учебно-воспитательных учреждений проводится в соответствии с целью активизации творческой профессиональной деятельности, стимулирования непрерывного профессионального образования, повышения у педагогов мотивации качественного труда, профессиональной ответственности за результаты обучения и воспитания.
Аттестация учителей основывается на принципах демократичности, систематичности, коллегиальности, морального и материального поощрения, стимулирования непрерывного образования, гласности.
1 См.: Педагогический вестник. — 1992. — № 23.
Квалификация служит механизмом обеспечения аттестации, дает для нее необходимый инструментарий, исследова-‘ тельские средства.
|
Как диагностировать и измерить педагогический профессионализм?
Общий подход к установлению уровня педагогической квалификации основывается на выделении составных частей этой характеристики. Затем осуществляется диагностирование и оценивание каждой составляющей, выводится общий (интегрированный) показатель квалификации.
В зарубежной педагогике показателями педагогического мастерства выступают наиболее значимые и измеряемые характеристики педагогической деятельности, как, например, результаты обучения, исполнение педагогом своих должностных обязанностей, количество нарушений и конфликтов с учащимися, родителями, администрацией и т. д.
Этим же путем идут и отечественные исследователи ква-лиметрических проблем. Предложено несколько систем оценки профессиональных качеств педагога. С 20-х годов берет начало традиционная система признаков педагогической квалификации:
1) идеологические характеристики педагога;
2) научно-теоретическая подготовленность;
3) методика преподавания предмета;
4) психолого-педагогическая культура;
В последнее время наблюдается тенденция выделения все более конкретных составляющих педагогического профессионализма. Например, Н. Портнов выделяет следующие критерии аттестации для педагогов Российской Федерации:
1) качество знаний обучаемых по предмету, их воспитанность;
2) запас фактических знаний по предмету;
3) умение пользоваться полученными знаниями (грамотно писать, решать задачи и т. п.);
4) понимание сущности процессов и явлений в природе и обществе;
5) степень самостоятельности учащихся, умение приобретать знания;
6) уровень знакомства учащихся с важнейшими машинами, механизмами, принципами их работы, практическая подготовленность учащихся;
‘ Нетрудно заметить, что ни один из этих показателей не касается непосредственно педагога, но только лишь учащихся: мастерство педагога при таком подходе устанавливается опосредствованно, по обученности школьников. Подобный подход мог бы быть доказательным только при условии тщательного фиксирования начального (исходного) уровня обученности и воспитанности учащихся. Зафиксировав по завершении обучения конечное состояние и сопоставив его с исходным, мы действительно могли бы оценить вклад педагога в обученность и воспитанность обучаемых, а значит, и его профессионализм. Но диагностика начального и конечного уровней в наших учебных заведениях пока не проводится, а поэтому и показатели педагогического профессионализма не «привязаны» к надежному основанию.
Известно также, что результаты обучения и воспитания зависят не только от учителя. Значительное влияние на них оказывают и другие известные факторы: вклад педагога в конечную результативность, по некоторым оценкам, не превышает 15—48%; этот вклад, очевидно и не может быть выше, хотя бы потому, что обученность лишь наполовину зависит от педагога. Поэтому устанавливать уровень профессионализма педагога по обученности одаренного или отстающего ученика нельзя. Что бы мы сказали о профессионализме врача, получившего безнадежного больного?
Понимая эти противоречия, исследователи ищут способы прямых измерений педагогического профессионализма. Для этого, в частности, увеличивается количество диагностируемых показателей, чтобы максимально всесторонне охарактеризовать деятельность учителя. Дополнительно изучаются:
• работа учителя по повышению своей квалификации (закончил курс И ПК, прошел переподготовку и т. п.);
‘ См.: Положение о порядке аттестация учителей // Пед. вестник. — 1992. — i23.
• качество уроков и внеклассной деятельности (подготовки и проведения);
• эмоциональность и занимательность воспитательных дел;
• умение осуществлять индивидуальный подход к учащимся в процессе обучения и воспитания;
• осуществление индивидуальной помощи семье в воспитании и перевоспитании детей.
Оценивая профессионализм и труд учителя, важно учитывать его личностные качества: добросовестность, педагогический талант, уважительное отношение к коллегам и обучаемым, трудолюбие, активность, терпимость к критике, личную дисциплинированность. Справедливость этих пожеланий не вызывает никаких возражений, за исключением «пустяка» — как это все определить? Отвечая, Н. Портнов, в частности, советует учитывать отзывы родительского комитета, представителей общественности. Объективность оценок достигается двумя путями: там, где возможно, на основе документальных данных, а качество учебного процесса — экспертным путем, проведением контрольных работ, анализом уроков и внеклассных дел, осуществляемых квалифицированными специалистами и методистами.
|
Ни одна из педагогических проблем не вызывает столь острой реакции учительства, как проблема аттестации. «Учительская газета» в статье «Положение о порядке аттестации учителей» писала: «Однако критерии аттестации, как общие, так и дифференцированные, отсутствуют. Выделение всех известных общих требований к учителям (знание предмета, стремление к новаторству, этика и т.д.) практически ничего не дает, возможны субъективизм, необъективность. Особенное недовольство вызывает требование проводить собеседование, т.е. практически сдавать экзамены. На практике это может превратиться в прямое издевательство над учителями. Достаточно пройти курсы при И ПК и сдать там необходимые зачеты, ничего больше в этом плане требовать нельзя. Совсем недопустимо вводить процентные соотношения: сколько в школе должно быть разных категорий учителей. Неудачное название «Учитель 2-й катего-
Вступите в спор, выскажите свои соображения.
Процессы измерения и оценки педагогических параметров и характеристик это
Шпаргалка по педагогике (для педагогов)
1. Понятие педагогики и этапы ее развития
Слово «педагогика» греческого происхождения. В дословном переводе означает «детовождение».
В современном понимании педагогика представляет собой совокупность знаний и умений по обучению и воспитанию, эффективных способов передачи накопленного опыта и оптимальной подготовки подрастающего поколения к жизни и деятельности.
Источники развития педагогики:
– многовековой практический опыт воспитания, закрепленный в образе жизни, традициях, обычаях людей, народной педагогике;
– философские, обществоведческие, педагогические и психологические труды;
– текущая мировая и отечественная практика воспитания;
– данные специально организованных педагогических исследований;
Истоком европейских систем воспитания стала древнегреческая философия. Виднейшие ее представители: Демокрит, Сократ, Платон, Аристотель. Своеобразным итогом развития греческо-римской педагогической мысли стало произведение «Образование оратора» Марка Квинтилиана, древнеримского философа и педагога.
Средневековое образование, зажатое в тисках теологии и схоластики, во многом потеряло прогрессивную направленность античных времен. На этом историческом этапе были образованные для своего времени философы, создавшие обширные педагогические труды: Тертуллиан, Августин, Аквинат.
Эпоха Возрождения дала целый ряд ярких мыслителей, педагогов-гуманистов. Это Эразм Роттердамский, Витторино де Фельтрэ, Франсуа Рабле, Мишель Монтень.
Выделение педагогики из философии и оформление ее в научную систему произошло в XVII в. и связано с именем чешского педагога Яна Амоса Коменского. Предложенные им принципы, методы, формы обучения стали основой педагогической мысли.
Английский философ и педагог Джон Локк сосредоточил главные усилия на теории воспитания («Мысль о воспитании»).
Французские материалисты и просветители XVIII в. Д. Дидро, К. Гельвеций, П. Гольбах, Ж.Ж. Руссо вели непримиримую борьбу с догматизмом, схоластикой и вербализмом в педагогике.
Деятельность французских просветителей во многом определила творчество швейцарского педагога Иоганна Песталоцци. Им была предложена прогрессивная теория обучения и нравственного воспитания учащихся.
Мировую славу русской педагогике принес К.Д. Ушинский.
В конце XIX – начале XX в. интенсивные исследования педагогических проблем начаты в США, куда постепенно смешается центр педагогической мысли. Были сформированы общие принципы, выведены закономерности человеческого воспитания, разработаны и внедрены эффективные технологии образования. Виднейшие представители американской педагогики – Джон Дьюи и Эдвард Торндайк.
Активное участие в творческих исканиях новой педагогики послеоктябрьского периода принял С.Т. Шацкий.
Выдающимся отечественным педагогом по праву является А.С. Макаренко. Он переосмыслил классическое педагогическое наследие, участвовал в педагогических изысканиях 1920–1930 гг., разработал ряд новых направлений воспитания.
Моральные проблемы воспитания молодежи исследовал В.А. Сухомлинский. Его дидактические советы сохраняют свое значение и при осмыслении современных путей педагогической мысли и школы.
Современный этап развития педагогики основан на саморазвитии научной отрасли, сочетающей процессы интеграции и дифференциации с взаимодействием с другими науками.
2. Объект, предмет, задачи и функции педагогики
Объект педагогики – это явления действительности, которые обусловливают развитие человека, иначе говоря, это образование, изучением которого занимается целый ряд наук (философия, психология, социология и др.). Педагогика – это единственная специальная наука об образовании в ряду наук, которые могут изучать те или иные стороны образовательной деятельности.
Предметом педагогики выступает образование как реальный целостный педагогический процесс, целенаправленно организованный в специальных социальных институтах (семье, образовательных и культурно-воспитательных учреждениях).
Педагогика как наука изучает сущность, закономерности, тенденции, перспективы образования и средства развития человека на протяжении всей его жизни. На этой основе педагогика разрабатывает теорию и технологию организации образовательного процесса, формы и методы взаимодействия педагога и учащихся, а также стратегии и способы их взаимодействия.
Педагогика в первую очередь изучает три главные составляющие образовательного процесса:
– цели обучения (для чего учить);
– содержание обучения (чему учить);
– формы и методы обучения (как учить).
Основные задачи педагогики направлены на создание эффективной педагогической системы во всех направлениях человеческой жизни: общественной, личной, политической и т. д.
К таким задачам можно отнести:
– выявление и изучение закономерностей в области воспитания и обучения, управления образовательными и воспитательными системами;
– изучение и распространение педагогического опыта;
– прогнозирование дальнейшего развития образовательных систем;
– разработку новых методов, средств и форм обучения и воспитания;
– внедрение результатов педагогических исследований в практику образования;
– участие в международных педагогических проектах, обмене информацией, изучение зарубежного опыта педагогической работы;
– разработку систем функционирования педагогических учреждений и повышения их эффективности. Педагогическая наука осуществляет те же функции, что и любая другая научная дисциплина: описание, объяснение и предсказание явлений того участка действительности, который она изучает. Но педагогическая наука, объект которой лежит в социально-гуманитарной сфере, имеет свою специфику. Педагогическая действительность не может ограничиться лишь объективным отображением изучаемого. В ней совмещаются две функции, которые в других научных областях обычно поделены между различными дисциплинами:
Научно-теоретическая функция, которая реализуется на трех уровнях:
– описательном (изучение передового, инновационного педагогического опыта);
– диагностическом (выявление состояния педагогических явлений, успешности и эффективности совместной деятельности педагогов и учащихся);
– прогностическом (экспериментальные исследования педагогического процесса и построение более эффективных моделей этого процесса). Конструктивно-техническая функция также реализуется на трех уровнях:
– проективном (разработка методических материалов, учебных планов, учебных пособий);
– преобразовательном (внедрение достижений педагогической науки в практику);
– рефлексивном и корректировочном (анализ и оценка влияния результатов научных исследований на практику обучения и воспитания).
Лекция 4 Педагогическое измерение как форма диагностики обучения
1. Основные теоретические положения педагогических измерений
2. Компоненты процесса педагогических измерений.
3. Измерительный инструмент.
4. Обработка и анализ данных измерения.
Согласно наиболее распространенному определению, введенному в 1946 г. американским психологом С.Стивенсом, измерение — это процедура приписывания чисел некоторым характеристикам объектов в соответствии с определенными правилами. Данное определение — результат формального обобщения опыта количественных измерений, широко применяемых в физике и других естественных науках, однако на протяжении многих лет его брали за основу и в эмпирических науках.
По мере развития педагогики, психологии и социологии возникла потребность во введении не только количественных, но и качественных оценок для величин, отличающихся по степени проявления того или иного свойства. Качественные оценки являются менее точными по сравнению с количественными в силу применяемых способов и инструментов измерения. Например, классифицирующие понятия в образовании («знающий», «подготовленный» и др.), которые дифференцируют обучающихся по уровню знаний и играют важную роль в учебном процессе, определяются субъективно учителем или группой учителей. Нередко качественные оценки выражают с помощью чисел, которые выбирают на основе экспертных суждений и соглашений. Приписываемые числа могут трактоваться по-разному. Так, в традиционном педагогическом контроле у каждого учителя есть свои представления о том, за что нужно ставить «5», «4», «3» и т.д.
Неоднозначность оценивания в образовании усугубляется латентным (скрытым, исключающим возможность непосредственного измерения) характером измеряемых переменных. В силу латентности оцениванию подвергаются не сами характеристики обученности и обучаемости, а их эмпирические референты — наблюдаемые признаки измеряемых характеристик. Выбор последних происходит интуитивно, поэтому их соответствие латентным характеристикам нуждается в доказательстве на основе экспертного и статистического анализа эмпирических результатов измерения.
Современная теория измерений появилась в 80-х гг. XX в. Она строится на более строгой аксиоматической основе|. В соответствии с новыми представлениями, измерение трактуется как конструирование числовой функции, осуществляющей изоморфное отображение некоторой эмпирической структуры в соответствующим образом подобранную числовую структуру.
Изоморфизм — важное понятие математики, которое определяет ряд условий взаимно однозначного отображения двух множеств с сохранением их свойств в процессе такого отображения. Хотя это понятие впервые появилось в высшей алгебре, в наше время оно используется довольно широко, хотя и не вполне строго, например в педагогических измерениях. Поскольку эмпирическая структура и строящаяся по результатам оценивания числовая структура (шкала) изоморфны, имея шкалу, можно, не обращаясь непосредственно к измеряемым объектам, восстановить все их свойства, характерные для эмпирической структуры.
Компоненты процесса педагогических измерений.Процесс педагогических измерений включает:
— выбор предмета измерения (латентных характеристик объектов) и их числа;
— выбор эмпирических референтов (наблюдаемых характеристик объектов);
— выбор измерительных процедур;
— конструирование и использование измерительных инструментов;
— выбор шкалы (если измеряемая переменная одна) или шкал (если измеряют более одной переменной при многомерных измерениях);
— построение отображения результатов измерения на шкалу (шкалы в случае многомерных измерений) по определенным процедурам и правилам;
— обработку, анализ и интерпретацию результатов измерения.
В силу неизбежности ошибок измерения оцениваемые характеристики объектов могут принимать более или менее точные значения, поэтому эти характеристики принято называть переменными измерения. Любые отклонения от стандартизированных условий измерения, обработки, анализа и интерпретации полученных результатов увеличивают ошибки измерения, которые представляют наибольшую опасность в эмпирических науках в силу латентного характера переменных. Поэтому так важен анализ устойчивости и точности (надежности) результатов тестирования, что выгодно отличает тесты от традиционных оценочных средств.
Еще одна характеристика качества результатов тестирования-валидность-отражает адекватность эмпирических результатов поставленным целям измерения. В силу многогранности целей анализ валидности должен быть многоаспектным, но в любом случае важное место занимает доказательство адекватности эмпирических референтов концептуально выделенной переменной (переменных) измерения (конструктная валидность).
Измерительный инструмент.Измерительный инструмент включает два компонента. Первый компонент — само измеряющее устройство, роль которого в педагогических измерениях чаще всего, но не всегда выполняет тест. В самом обобщенном виде под гестом можно понимать совокупность контрольных заданий в стандартизированной форме, обладающих необходимыми системообразующими статистическими характеристиками и обеспечивающих обоснованные оценки концептуально выделенной переменной (переменных) измерения с высокой объективностью. Таким образом, в самом определении теста заложены требования к его качеству, отсутствующие в традиционных оценочных средствах.
Второй компонент измерительного инструмента — заранее подготовленная шкала, которая служит для фиксации результатов измерения и на которой откладываются оценки (количественные или качественные) измеряемой переменной. В процессе упорядочения оценок каждому элементу совокупности наблюдаемых эмпирических данных ставится в соответствие определенный балл, устанавливающий положение наблюдаемого элемента на шкале, где можно размещать сырые (первичные) баллы (результаты суммирования оценок по отдельным заданиям теста) или производные баллы, получающиеся в результате преобразования первичных оценок для повышения сопоставимости и удобства интерпретации результатов учащихся.
Шкала с отложенными оценками переменной является целью измерения. При измерениях с высокой надежностью и валидностью она адекватно отображает оцениваемые характеристики и представляет их без существенных искажений. В зависимости от количества оцениваемых характеристик объекта можно говорить об одномерных (одна переменная) или многомерных (более одной переменной) измерениях. Соответственно по результатам измерения строится одна шкала или несколько шкал, число которых в последнем случае обычно бывает равно числу переменных измерения.
Обработка и анализ данных измерения.Последний компонент процесса педагогических измерений, включающий обработку, анализ и интерпретацию данных, служит для выявления обеспечиваемого качества результатов измерения, коррекции тестов и представления полученных данных в форме, удобной для интерпретации и сравнения. Благодаря сопоставимости тестовых баллов, достигаемой в процессе обработки, по результатам педагогических измерений можно выстраивать качественный анализ результатов учащихся, проводить мониторинг и принимать обоснованные управленческие решения в образовании.
Объективность педагогических измерений. Может ли быть абсолютная объективность?Появление первых стандартизованных тестов в образовании вызвало массовую позитивную реакцию, поскольку первоначально они рассматривались как средство получения объективных оценок подготовленности обучаемых, преодолевающее субъективизм традиционных оценочных средств. По мере развития теории педагогических измерений и накопления опыта применения тестов пришло понимание того, что абсолютная объективность — это недостижимая характеристика результатов любых, в том числе и педагогических, измерений в силу существования ошибочных компонентов, неизбежно смещающих оценки. Поэтому при использовании тестов можно говорить лишь о высокой или низкой объективности, степень проявления которой связана с величиной надежности теста.
Процедурная объективность.Под процедурной объективностью (первая трактовка термина «объективность измерений») понимается независимость результатов тестирования от субъективных суждений педагога, использующего тест. Эта независимость обеспечивается благодаря равенству условий тестирования, использованию для одной группы тестируемых параллельных (совпадающих по трудности и другим характеристикам) вариантов теста, стандартизации процедуры проверки результатов и максимальной ее автоматизации, исключающей влияние педагога на оценки.
Сведение всех видов объективности только к процедурной недопустимо, поскольку при таком подходе не выдвигается никаких требований к качеству теста. В этом случае может создаться впечатление, что для получения объективных данных о подготовленности испытуемых достаточно перейти от традиционных экзаменов к любым, в том числе некачественным, тестам, устранив влияние педагога на оценку тестирования путем автоматизации процедуры подсчета баллов испытуемых.
Классическая, или традиционная, объективность.Второе, углубленное, понимание объективности измерений рассматривается в классической теории тестов и основывается на понятиях «сырой балл» и «истинный балл», отличающихся друг от друга на величину ошибки измерения.
Сырой (первичный, наблюдаемый, индивидуальный) балл получается простым суммированием результатов испытуемого поотдельным заданиям теста. При дихотомической оценке результатов по заданиям (1 или 0) индивидуальный балл равен количеству правильно выполненных заданий теста. Истинный балл в классической теории отождествляется с абсолютно объективной оценкой свойств испытуемого, свободной от влияния любых ошибок измерения. В отличие от сырого балла, который меняется в зависимости от теста и способа подсчета результата испытуемого, истинный балл трактуется как не зависящая от средств измерения константа, характеризующая оцениваемое свойство испытуемого в момент измерения, но меняющаяся в процессе обучения.
Согласно основной аксиоме классической теории тестов, любой наблюдаемый балл равен сумме истинного балла и ошибки измерения. В тех случаях, когда ошибка измерения не превышает выбранных пределов точности измерений, говорят о высокой объективности результатов тестирования, а оценки испытуемых принимают за их истинные баллы. Таким образом, углубленное понимание объективности измерений требует оценивания величины ошибки измерения, на размер которой влияют не только условия проведения тестирования, но и качество теста.
Инвариантная, или специфическая, объективность.Третья трактовка объективности основана на современной теории конструирования тестов — Item Response Theory (IRT). Преимущества IRT, позволяющие оценить подготовленность обучаемых независимо от трудности заданий теста, приводят к достижению так называемой инвариантной объективности измерений, которая предпочтительнее объективности, обеспечиваемой классической теорией тестов.
Для достижения специфической объективности необходима подгонка данных тестирования к требованиям моделей теории IRT и длительная серьезная работа над тестом. Поэтому на практике тестологи часто сталкиваются с тем, что эффект инвариантной объективности либо реализуется со слишком большими затратами, либо не реализуется вообще в силу недостаточно высокого качества теста.
Размерность пространства измерений, одномерные и многомерные конструкты, латентные переменные Концептуальные и реальные переменные измерения, конструкты.
Измерение начинается с постановки цели, в соответствии с которой выбирают одну (одномерный случай) или несколько (многомерный случай) переменных. В последнем случае для обозначения измеряемых характеристик часто используют обобщающий термин — «конструкт». Каждый разработчик теста уверен в том, что он ясно представляет себе измеряемые характеристики и способен на основании своего педагогического опыта точно подобрать задания, обеспечивающие оценивание конструкта. Многие тестологи так и остаются в полном заблуждении относительно того, что на самом деле измеряет тест, поскольку не проверяют соответствие задуманного конструкта и реальных результатов измерения.
Анализ такого соответствия является необходимым этапом оценивания валидности измерения. Нередко его пытаются провести априорно, до начала тестирования, экспертным путем, и в результате, как правило, получают недостоверную информацию. Для корректного оценивания валидности необходим статистический анализ эмпирических данных тестирования, поэтому понять, что же мы на самом деле измеряем, можно лишь после применения теста.
Сложность процедуры установления размерности пространства измерений увеличивает проблемы, связанные с неоднозначной трактовкой многих конструктов в образовании и в других социальных науках (рис. 2).
|
Каждый педагог вкладывает в оценивание учебных достижений свое видение оптимального набора переменных измерения. Неоднозначность трактовки конструкта усугубляется по мере продвижения от начальных ступеней образования к более высоким ступеням, когда содержание большинства учебных курсов приобретает междисциплинарный характер.
Операционализации. Операционализация заключается в придании оцениваемым
латентным характеристикам подготовленности учащихся формы, удобной для фиксации определенными правилами измерения. При педагогическом измерении в качестве таких характеристик
Латентная переменная А | Наблюдаемая переменная В |
Рис. 3. Связь между латентной и наблюдаемой переменными
подготовленности обучаемых обычно выступают знания, умения, навыки, компетентности и т.д.
В процессе операционализации происходит выделение набора эмпирических индикаторов, в роли которых выступают задания теста. Количество правильно выполненных заданий, подсчитанное и преобразованное по определенным правилам, дает основание для присвоения испытуемому определенного места на шкале переменной измерения.
Контрольные вопросы
1. Процедурная объективность.
3.Инвариантная, или специфическая, объективность.
4Классическая, или традиционная, объективность.