АНАЛИЗ ОБЪЕКТИВНЫХ И СУБЪЕКТИВНЫХ ФАКТОРОВ ОЦЕНКИ ИССЛЕДОВАТЕЛЬСКИХ РАБОТ УЧАЩИХСЯ И МЕТОДЫ МИНИМИЗАЦИИ СУБЪЕКТИВНОГО ВЛИЯНИЯ
В типичной образовательной ситуации, которая, как правило, определяет характер учебного процесса, реализуется стандартная позиционная схема "учитель" - "ученик". Первый транслирует знания, второй их усваивает; все это происходит в рамках отработанной классно-урочной схемы.
При оценке результатов исследовательской деятельности (школьников) мы сталкиваемся с таковой ситуацией: нет готовых эталонов знания, явления, увиденные в живой природе, требуют самостоятельного анализа в каждой конкретной ситуации. Это инициирует начало эволюции к ситуации совместного постижения окружающей действительности, выражением которой является пара "коллега-коллега". Направляя свой труд на какие-либо конкурсы, конференции и т.д., учащийся и его руководитель должны ясно представлять себе требования, которые будут предъявляться к его работе, теми экспертами, которые будут проводить оценку его труда. Здесь мы не будем останавливаться на тех требованиях, которые излагаются в положениях о конкурсах потому, что мы не сообщим ничего нового. Заслуживают упоминания лишь о тех ошибках и отношении к ним экспертов, которые наиболее часто встречаются в работах учащихся, но не могут регламентироваться положениями.
При оценке любых конкурсных материалов на результаты их оценки жюри влияют как объективные (качество исполнения работы), так и субъективные факторы, зависящие от взаимодействия сторон: участника конкурса с одной стороны и членов жюри с другой. Как бы ни хотелось свести субъективный фактор к минимуму, он всегда присутствует и иногда оказывает серьезное влияние на результаты оценки. Что является объективным, а что субъективным в данной ситуации? И как свести влияние субъективного человеческого фактора к минимуму?
Объективные показатели качества работы и принципы ее оценки. 1. Оценка письменной работы.
Первое и самое важное при оценке письменной работы – это ее содержание. Очень важно, чтобы теме работы соответствовали цели и задачи исследования; методика работы была направлена на сбор материала для решения задач и была достаточно подробно описана; материалы приводились в соответствии с методикой и соответствовали цели и задачам исследования и излагались полностью; выводы и заключения были корректны, соответствовали и подтверждались собранным материалами. С этой точки зрения очень приятно читать хорошо структурированные работы, авторы которых используют корректный научный язык. К сожалению, авторы далеко не всегда уделяют внимание структурированности работы. В работе должно быть: * введение, в котором содержится постановка проблемы, цель, задачи, описание района и сроков проведения исследований, литературный обзор, благодарности и другое. * После этого следует раздел методика сбора и обработки материалов. Даже в том случае, когда учащийся использует стандартную методику, необходимо ее полное описание. Это связанно с тем, что по описанию методики эксперт может составить мнение о том, насколько квалифицированно учащийся овладел методикой. * После описания методики следует раздел полученные результаты, в котором приводятся все собранные результаты и материалы исследования. Иногда в этом же разделе производится - * обсуждение полученных результатов, которое можно вынести в отдельный раздел, в котором производится сопоставление фактов и выдвигаются рабочие гипотезы. * В заключении работы необходимо представить раздел выводы или предположения (заключения), которые можно сделать на основании произведенных исследований. Необходимо представлять себе, что работа не обязательно должна иметь выделенные рубрики, однако логика изложения должна быть примерно такая.
Относительно корректности исследований следует понимать, что очень редко учащиеся, в силу объективных причин, действительно могут собрать достаточно материала для того, чтобы сделать далеко идущие выводы. В таком случае гораздо ценнее то, что учащийся честно определит степень достоверности своей информации. Хуже бывает, например, когда производят определение распространенных и сходных видов птиц с дистанции 1,5 километра с помощью маломощного бинокля и на основании этого пытаются делать окончательные выводы.
К некорректности мы так же относим неиспользование ссылочного аппарата при цитировании первоисточников, особенно в случаях прямого цитирования целыми абзацами (особенно это проявляется при использовании ресурсов интернета). Так же (по всей видимости, с развитием электронных методов передачи данных) появилось корпоративное написание разных (но сходных по тематике) работ разными авторами из одной организации. Порой встречается прямое совпадение между работами, по несколько абзацев подряд. (!)
В учебно-исследовательских работах недопустимо использование литературного, публицистического, официально-делового и разговорного стилей изложения материала. Довольно часто учащиеся используют личностный подход к подаче материала, в научном языке это принято только в том случае, когда это делает большой ученый. В работе учащегося, как правило, имеет место больший вклад научного руководителя. Именно поэтому рекомендуется вместо местоимения «я» применять местоимение «мы». Существуют определенные правила научного языка, и в том случае, когда самостоятельно учащийся не может их освоить, необходимо обращаться за примерами к научной литературе. Довольно раздражающим бывает «наукообразный» способ изложения материала. Это относится к работам, перегруженным терминологией. Особенно неприятно, когда учащийся не очень точно представляет себе значение термина. Использования большинства терминов можно и нужно избегать всегда, когда есть эта возможность. От терминологической насыщенности работа не становится более научной.
Учащимся так же следует уделять особое внимание оформлению работ. В представлении тезисов и аннотации не имеет большого смысла пытаться использовать фотографию и авторский рисунок, это связанно с тем, что большинство сборников публикует только черно-белое изображение. Это же надо учитывать, когда представляются графики и диаграммы (самые важные элементы оформления). То, что EXEL показал в цвете, цветные линии, столбики и кружочки на сером фоне необходимо заменять черными пунктирами и штриховками. Так же в связи с этим необходимо разумно ограничивать количество линий на одном графике. Однако представлять данные только в виде таблиц так же не имеет смысла, наглядное представление в виде графиков и диаграмм намного более удобочитаемо. Рекомендуется использовать графики для иллюстрации динамических процессов во времени, столбчатые диаграммы для сравнения единых показателей у разных групп, и круговые диаграммы для отображения процентных соотношений. Второе и тоже немаловажное при оценке письменной работы – это ее соответствие формальным требованиям конкурса, изложенным в Положении каждого конкретного конкурса.
Необходимо разделять три основных типа работ, представляемых на конкурсы: 1. работа (доклад, статья) в которой материал можно изложить достаточно полно; 2. тезисы (обычно 1-2 страницы) в которых материал излагается кратко в первую очередь за счет удаления списка литературы и очень краткого введения и описания методики; 3. аннотация (резюме), в которых не приводится собственно материалов, а приводятся основные данные о работе и краткие выводы.
2. Оценка стендового доклада
При подготовке стендового доклада учащийся должен обратить особое внимание на оформление стенда. Стенд должен быть максимально информативен. Все, что не уместилось на стенде, учащийся может изложить устно (если интервьюирование имеет место!), это очень важное, принципиальное отличие от письменной работы. Соотношение между оформлением и текстом, представляемым на стенде, должно быть примерно 1:1, при этом важно учитывать легкость восприятия материалов зрителем. Оформление и буквы должны быть крупными. Оформление можно и нужно сделать цветным. Желательно совсем избежать табличного представления материала. Можно активно использовать фотографии для пояснения методики сбора материала, показа исследуемых объектов и для иллюстрации полученных результатов (конкурс «Шаг в будущее») При оценке стенда экспертам нравится, когда представление о стенде и проделанной работе можно составить быстро и в то же время достаточно полно. Как правило, стендовая сессия формируется так, чтобы у учащихся и экспертов оставалось время для того, чтобы посмотреть работы других секций и направлений. В связи с этим время пребывания экспертной комиссии и докладчика у стенда должно быть ограничено. При ответах на вопросы докладчик должен показать свободное владение материалом, глубокое освоение методики и понимание проблематики своего исследования.
Резкое недовольство экспертов вызывает агрессивное поведение докладчика у стенда, выражающееся, как правило, в двух вариантах: • настоятельное требование выслушать докладчика, до того, как ему задан вопрос; • обида (видимая, а иногда и интонационная) на задаваемые вопросы, выражающаяся в том, что учащийся делает вид, или произносит вслух: «Ну вот, опять валят». Эксперты, принимающие участие в оценке работ, являются независимыми и незаинтересованными в конечных результатах соревнований по секции (на взрослых конференциях вообще отсутствует элемент соревновательности). Намного хуже, если представленная работа не вызвала никаких вопросов (хотя некоторые эксперты предпочитают работать именно в этом режиме).
3. Представление устного доклада
Апогеем любой конференции является представление устных докладов на секционных (а, может быть, когда-нибудь пленарных) заседаниях. В устном докладе учащемуся необходимо не только знать свой материал, но суметь его донести до коллег. Огромную роль в этом играют некоторые артистические (декламационные) навыки учащегося и хорошая подготовка доклада. Важно понимать, что устный доклад так же сильно отличается от письменной работы, как и от стендового доклада. Текст устного доклада должен готовиться отдельно и не должен быть перегружен сухими перечислениями и цифровой информацией. Вся цифровая информация может быть представлена в виде таблиц, графиков и диаграмм, которые на сей раз, должны легко читаться из аудиторных рядов. Очень важно, чтобы докладчик по ходу работы обращал внимание аудитории на упоминающиеся по тексту значимые показатели. Экспертам (да и аудитории) нравится, когда докладчик излагает свой материал громко, четко, доступно и в достаточном объеме. Доклад должен быть заранее отрепетирован, в том числе и с точки зрения соблюдения регламента. Лучше иметь небольшой запас времени (1-2 минуты), который потратится на волнение и т.д., чем не успеть изложить принципиально важную часть своего материала и быть остановленным по регламентным соображениям. В докладе можно частично сократить описание методики и района проведения исследований, а основное время потратить на обоснование выводов и собственно выводы.
На секционных заседаниях экспертам и аудитории не нравится ряд вещей: • когда докладчик читает доклад, уткнувшись носом в страницу, – доклад надо докладывать, а не читать. • недопустимо изложение материала по одной работе двумя и более докладчиками. Во-первых, всегда один из авторов будет лучшим декламатором, чем другие; во-вторых, это расхолаживает и отвлекает публику; в-третьих, это начинает выглядеть не как доклад молодых или будущих ученых, а как пионерская речевка. Если у работы несколько авторов, что отнюдь никем не возбраняется, то пусть один из них докладывает материал, а другой (другие) показывают иллюстративные материалы. Отвечать на вопросы по докладу можно всем вместе; • более важное значение на секционной части конференции приобретают вопросы, поэтому так же важно соблюдать вежливость и корректность по отношению к коллегам. Особенно неприятно выглядит, когда учащийся, которому задавались вопросы из аудитории, после своего доклада пытается спрашивать у остальных участников конкурса в агрессивной форме.
Субъективные факторы, влияющие на результаты оценки работы.
Все мы остаемся людьми, даже если входим в состав компетентного жюри какого-либо конкурса. Здесь мы не будем обсуждать вопросы, связанные с некомпетентностью либо (даже!) коррумпированностью жюри, а остановимся лишь на некоторых субъективных факторах, основанных на самом взаимодействии «оцениваемый» – «оценщик». 1. Профессионализм оценивающего. Для судейства конкурсов высокого уровня обычно подбирают ученых, специалистов высокого уровня профессионализма, способных составить достаточно объективное мнение о любом исследовании, выполненного на уровне учащегося, даже если данная работа не входит в круг узкой специализации оценивающего. Однако даже в этом случае химик вряд ли сможет справедливо судить работу по изучению этологии, а эколог – по систематике. Обычно в этих случаях говорят: «Главное, что оценивает НАШЕ ЖЮРИ – собственный вклад учащегося в проведенное исследование». Этот критерий оценить можно, но все равно предпочтителен вариант, когда соблюдается хотя бы незначительная специализация.
2. Сфера интересов судьи. Биология и экология – науки, состоящие из множества разделов (часть экологии вообще – не наука, а ПОЛИТИКА, достаточно вспомнить т.н. «зеленых»). Если специалисту высокого класса, энтомологу, к примеру, представлены 2 работы примерно одного уровня исполнения: скажем, по изучению насекомых и по исследованию фитоценоза, всегда имеется некоторый шанс, что предпочтение будет отдано той, чья тематика ближе оценивающему….. Остается и прямо противоположный вариант – эксперт побоится, что его обвинят в предвзятости и отдаст предпочтение работе, не связанной с его профессиональной специализацией. Здесь иногда «работает» и такой фактор: «а зачем мне хлопоты с доводкой и подготовкой ЭТОЙ работы! Пусть ДРУГИЕ постараются, я-то – не специалист в этой области!»
Принципы минимизации влияния субъективного фактора на оценку конкурса:
1. увеличение числа оценивающих. Наиболее эффективным методом повышения объективности судейства любых конкурсов является увеличение числа оценивающих с последующим вычислением среднего балла. Однако это не всегда возможно при пленарных и секционных выступлениях, по той простой причине, что число компетентных судей ограничено. Возможность применить принцип множественного жюри легче обеспечивается при т.н. стендовых докладах (этот принцип применен в крае на соревнованиях «Шаг в будущее», однако здесь объективность тоже остается не вполне достижимой из-за высоких требований к оформлению самого стенда, а возможности у всех разные). В принципе, при наличии, скажем, 10 членов судейской коллегии и нахождении среднего балла, достоверность средней оценки достаточно велика, но часто этот принцип реализуется не до конца и число судей на секциях часто равно 1.
2. принцип однозначных ответов. Другим принципом реализации объективного судейства является тестирование, т.е. оценка конкретных вопросов с имеющимися заранее ответами, причем подготовка и вопросов, так и ответов не входит в компетенцию данной судейской коллегии. В последнее время развитие получают он-лайн тестирование в системе Интернета либо с использованием специальных компьютерных программ (см. статью). Последний вариант требует определенных затрат и технического оснащения учреждения, где проводится мероприятие, поэтому широкое распространение получит еще не скоро. Тестирование достаточно удобно и объективно, но имеет свои недостатки: • не позволяет оценить исследовательскую работу, • не способствует развитию способности выражать свои мысли в устной и письменной форме, • имеет ограниченный круг вопросов. Первые два пункта являются неразрешимыми в принципе в условиях тестирования, для уменьшения влияния последнего число тестов должно быть максимально большим (что не всегда возможно по чисто техническим причинам, таким, как ограниченность времени) и они должны по тематике охватывать многие разделы науки, по которой проводится тестирование. Предпочтительным вариантом формирования тестов является такой, когда вопросы по разным разделам чередуются без всякой видимой закономерности, а соответствующая статистическая обработка результатов (или соответствующая компьютерная программа) позволяет определить уровень знаний тестируемого по каждому из отдельных направлений и тем.
3. Еще одним недостатком тестирования является тот факт, что вопросы и ответы часто готовятся не там, где проводится конкурс и, таким образом, функции самого местного жюри сводятся к простому подсчету правильных ответов (для чего не требуется быть специалистом). А, следовательно, ошибки, которые могут попасть в тесты, невозможно исправить!
Как мы видим, невозможно избежать ошибок при подготовке положений, материалов и вопросов для проведения конкурса. Мы должны лишь сделать все возможное для минимизации их негативного воздействия и субъективного фактора в общую оценку работ.
