Как подготовиться к ЕГЭ и IELTS: исследование Энтони Грина в Assessment in Education

Английское лето в университетском городе выглядит одинаково от Ридинга до Лидса: мокрый газон, пустые общежития, в которых еще пахнет чужими каникулами, и аудитории, где вместо британских студентов сидят приезжие. В июле и августе сюда съезжаются те, кому не хватило полбалла или балла до заветного порога.

Для студентов также существуют предсессионные курсы (pre-sessional courses): несколько недель академического английского перед началом учебы, условие, без которого университет не откроет двери. Утром они пишут эссе на время, глядя на часы над доской, после обеда разбирают чужие абзацы, вечером звонят домой, где семья спрашивает не о том, что они поняли, а о том, какой будет балл.

Что изучал Энтони Грин: 476 студентов, 15 учебных заведений и три типа программ

Энтони Грин, исследователь языкового тестирования, наблюдал за этим миром не из окна, а через анкеты, тесты и статистику. Его выборка составила 476 иностранных студентов в 15 учебных заведениях Великобритании, курсы длились от трех до десяти недель.

Большинство, 331 человек, учились на обычных предсессионных программах академического английского (EAP, English for Academic Purposes, английский для учебы в вузе), 60 человек проходили смешанные программы, 85 занимались на специальных курсах подготовки к IELTS.

Грин задал простой вопрос, на который индустрия подготовки к различным экзаменам десятилетиями отвечала рекламой: дают ли подготовительные курсы, нацеленные именно на тест, преимущество в росте баллов за письменную часть?

Анализ ученый провел с помощью нейронной сети: этот метод позволяет учесть множество переменных и их нелинейное, то есть непропорциональное, взаимное влияние.

Что показало исследование Грина: скромный прирост и отсутствие разницы между курсами

Ответ оказался скромнее рекламных буклетов. Прирост был небольшим, но статистически значимым, около двух десятых балла IELTS по всем программам. Специальные курсы подготовки к IELTS не принесли большего прироста за письмо, чем широкие курсы академического английского.

Единственным параметром курса, значимо связанным с ростом баллов, оказались занятия, похожие на сам тест, но различий между тремя типами программ не нашлось. Зато лучше всего будущий прирост предсказывал начальный уровень письма: на него приходилось около четверти разброса итоговых баллов.

Эксперты называют такое влияние экзамена на обучение словом washback, обратным эффектом: тест, как камень, брошенный в воду, расходится кругами по учебным программам. Грин сделал из своих данных вывод, что натаскивание на тест не обязательно действеннее, чем обучение самому навыку. Шесть лет спустя сами организаторы IELTS советовали не пересдавать экзамен раньше чем через три месяца, потому что за короткий срок существенного роста баллов ждать не приходится.

Сенека когда-то с горечью заметил, что мы учимся не для жизни, а для школы. Позднее школьные учителя перевернули его фразу и сделали девизом. Грин, по сути, проверил, какая из двух версий верна для экзаменационных курсов.

Три механизма, которыми подготовка поднимает балл

Исследователи из Йорка, продолжившие линию Грина, предложили различать три механизма, которыми подготовка поднимает балл.

• Первый: растет сам навык, и балл растет вслед за ним. Это честный, но медленный путь.
• Второй: ученик привыкает к формату, и уходит тревога перед незнакомой процедурой; это не меняет способностей, но позволяет их показать, и потому делает балл даже более точным.
• Третий: ученика учат эксплуатировать особенности теста, приемам угадывания и заученным шаблонам, и тогда балл перестает отражать реальное знание. Хороший курс работает первыми двумя механизмами. Плохой продает третий.

И вот тут очень интересный момент: курсы действительно поднимают балл, но часто не за счет языка, а за счет знакомства с форматом.

Йоркские авторы напоминают закон Гудхарта в этом контексте: как только баллы становятся целью, они перестают отражать реальное знание.

Поэтому сначала нужно решить, что вам нужно: баллы или реальные знания. Хорошая новость в том, что грамотно построенная подготовка к английскому языку не заставляет выбирать между двух важных составляющих.

Таблица 1. Исследование Грина: устройство и результаты

Таблица 2. Три пути к более высокому баллу

Почему привыкание к формату работает: тревога, рабочая память и эффект Йеркса-Додсона

Второй механизм, привыкание к формату, законен и полезен. Он особенно важен там, где экзамен сдают впервые в жизни, как ЕГЭ по английскому, где устную часть отвечают не человеку, а компьютеру под запись.

Для подростка, который никогда не говорил на иностранном языке в микрофон с тикающим таймером на экране, одна пробная попытка может значить больше, чем неделя новой грамматики. Даже простое повторение теста дает прирост: в эксперименте Йорка те, кто раньше не видел формат IELTS, чаще получали более высокий балл при второй попытке через четыре недели.

Психологи давно описали, почему это работает. Закон Йеркса и Додсона (1908) изображает связь возбуждения и результата перевернутой буквой U: немного волнения мобилизует, избыток разрушает.

Американские исследователи Элейн Хорвиц, Майкл Хорвиц и Джоанн Коуп в 1986 году выделили иноязычную тревожность (foreign language anxiety) в отдельное явление и создали для ее измерения шкалу FLCAS. Это страх и волнение, которые возникают именно тогда, когда нужно говорить или писать на чужом языке перед оценивающим. Незнакомый формат подливает масла в огонь: рабочая память, которая должна удерживать слова и грамматику, занята тревогой.

В 2011 году Херардо Рамирес и Сиан Бейлок опубликовали в Science эксперимент, который хочется пересказывать каждому выпускнику: тревожные студенты, которые за десять минут до экзамена письменно излагали свои страхи, сдавали заметно лучше.

Мария Склодовская-Кюри, дважды нобелевский лауреат, говорила, что в жизни нечего бояться, есть только то, что нужно понять.

Экзаменационный формат как раз из этой категории: его нужно понять заранее, и страх уйдет вместе с неизвестностью.

Исходный уровень важнее типа курса: эффект потолка

Второе наблюдение из данных Грина и Йорка звучит почти парадоксально. Лучший предсказатель итогового балла это исходный уровень: он значит больше, чем тип курса. При этом сильнее всего после подготовки выросли участники с самыми низкими стартовыми баллами.

Чем выше начальные результаты, тем меньше отдача от натаскивания. Статистики называют это эффектом потолка (ceiling effect): вблизи максимума каждый следующий балл дается все дороже. Для слабого ученика курс может быть рывком, для сильного он часто лишь подтверждает имеющееся.

Учитель важнее программы: что показали Четти, Ханушек и Ушинский

И третье, самое важное. Если тип программы почти не влияет на результат, значит, решает не вывеска, а то, что происходит в аудитории, и прежде всего важен человек у доски.

Экономисты Радж Четти, Джон Фридман и Джона Рокофф в работе 2014 года в American Economic Review проследили судьбы миллионов американских школьников и показали: ученики сильных учителей чаще поступают в колледж и больше зарабатывают во взрослой жизни.

Эрик Ханушек из Стэнфорда оценивал разницу между сильным и слабым учителем примерно в целый учебный год прогресса. Константин Ушинский писал об этом за полтора века до них: влияние личности учителя не заменят ни учебники, ни система наказаний и поощрений.

Американский педагог Уильям Артур Уорд сформулировал ту же мысль лестницей: посредственный учитель рассказывает, хороший объясняет, превосходный показывает, великий вдохновляет.

Грин не нашел разницы между типами курсов, но он и не сравнивал учителей. Эта разница, судя по всему, больше любой разницы между программами.

Что делает авторская методика: зона ближайшего развития

Лев Выготский ввел понятие, без которого сегодня не обходится ни одна педагогическая кафедра мира: зона ближайшего развития, то есть расстояние между тем, что ученик умеет сам, и тем, что он может сделать с помощью взрослого. Хороший учитель работает именно в этой зоне, не ниже, где скучно, и не выше, где страшно.

Американские психологи Дэвид Вуд, Джером Брунер и Гейл Росс в 1976 году описали механизм такой помощи словом scaffolding, строительные леса: учитель поддерживает ученика, пока навык не окрепнет, а затем постепенно убирает опоры.

Именно этим авторский подход отличается от конвейера готовых вариантов: он подстраивается под конкретного человека, а не под среднего кандидата. Второй столп профессиональной педагогики составляет формирующее оценивание (formative assessment): оценка не ради отметки, а ради следующего шага.

Британцы Пол Блэк и Дилан Уильям в обзоре 1998 года «Внутри черного ящика» показали, что систематическая обратная связь по ходу обучения дает эффекты, которые редко встречаются у других вмешательств.

У Джона Хэтти обратная связь стабильно входит в число самых сильных факторов, с размером эффекта около 0,7 при средней точке отсчета 0,40.

Рядом стоит техника Фейнмана, названная в честь нобелевского лауреата по физике: объясни материал простыми словами так, будто учишь новичка, и там, где объяснение споткнется, найдется пробел в понимании.

Третий инструмент позаимствован у клинической психологии. Систематическая десенсибилизация, разработанная Джозефом Вольпе, учит справляться со страхом через постепенную и безопасную встречу с ним.

Опытные преподаватели делают то же самое с экзаменом: пробные экзамены (mock exams) в точных условиях, с тем же временем, той же бланковой формой, той же записью устного ответа, сначала в спокойной обстановке, потом все ближе к настоящей. К дню экзамена формат уже не пугает, он привычен, как школьный коридор.

Именно на этих принципах строится подготовка в московской онлайн-школе Lunora. Школа специализируется на подготовке к ЕГЭ и ОГЭ по английскому языку в мини-группах до семи человек, и ее авторская методика опирается ровно на те механизмы, которые описывают Грин, Блэк и Уильям: рост навыка плюс систематическое привыкание к формату, без игры с тестом и заученных шаблонов.

Ключевая деталь, которая отличает Lunora от обычных курсов, это работа с тем самым вторым механизмом, который в исследовании Йорка оказался законным и полезным. Пробные экзамены в школе проверяют действующие эксперты ЕГЭ, за время работы проверено более 450 работ.

Это не просто тест ради теста, это систематическая десенсибилизация: моделирование стрессовых сценариев, постепенное привыкание к таймеру, записи, микрофону и компьютерной проверке устной части. К дню экзамена формат перестает быть незнакомым, тревога уходит, рабочая память освобождается для языка, а не для страха.

Второй принцип, который Lunora использует осознанно, это работа в зоне ближайшего развития. Мини-группы до семи человек позволяют преподавателю видеть каждого ученика и подстраивать сложность заданий так, чтобы не было ни скучно, ни страшно. Это ровно то, о чем писали Выготский, Вуд, Брунер и Росс: поддержка, которая постепенно снимается по мере того, как навык крепнет.

Третий принцип, обратная связь по ходу обучения, реализован через разбор каждого пробника с указанием баллов по критериям ФИПИ. Это то самое формирующее оценивание, которое Блэк и Уильям называли одним из самых сильных вмешательств в педагогике. Ученик видит не просто балл, а конкретные шаги, которые нужно сделать, чтобы балл вырос.

Школа ориентируется на целевой результат 80+ баллов, при том что средний балл по стране 62-66, а доля высокобалльников около 19 процентов. По данным школы, 92 процента выпускников поступают на бюджетные места в ведущие вузы, включая МГИМО, ВШЭ и МГЛУ. Подробнее о курсах подготовки к ЕГЭ по английскому: lunora-school.ru/kursy-podgotovki-ege-angl-yazyk.html

Если собрать данные Грина, Йорка и педагогическую классику вместе, получается простая картина. Курс, где пробуждают интерес и работают в зоне ближайшего развития, поднимает и балл, и язык одновременно. Курс, где подменяют это заученными шаблонами, поднимает только балл, и ненадолго.

Альберт Эйнштейн называл высшим искусством учителя умение пробудить радость творчества и познания.

Из всех цифр, собранных Грином и его последователями, следует именно это.

Экспертное мнение: ответы на вопросы о подготовке к ЕГЭ и IELTS

Что показало исследование Энтони Грина?

Грин изучил 476 иностранных студентов в 15 учебных заведениях Великобритании и выяснил: специальные курсы подготовки к IELTS не дают большего прироста за письмо, чем широкие курсы академического английского. Средний прирост составил около 0,2 балла IELTS, а главным предсказателем результата оказался исходный уровень письма.

Почему курсы поднимают балл, но не всегда язык?

Потому что работают три разных механизма. Первый, рост навыка, честный, но медленный. Второй, привыкание к формату, снижает тревогу и делает балл точнее. Третий, игра с тестом, завышает балл за счет шаблонов и угадывания. Курсы часто работают вторым или третьим механизмом, а не первым.

Что такое закон Гудхарта и как он связан с экзаменами?

Закон Гудхарта гласит: как только мера становится целью, она перестает быть надежной мерой. В контексте экзаменов это означает, что если балл становится единственной целью, ученик начинает обходить тест, а не учить язык. Балл растет, знание нет.

Что такое эффект потолка и почему он важен?

Это ситуация, когда вблизи максимума каждый следующий балл дается все дороже. Исследования показали, что сильнее всего после подготовки выросли участники с самыми низкими стартовыми баллами. Для слабого ученика курс может быть рывком, для сильного он часто лишь подтверждает имеющееся.

Почему учитель важнее типа программы?

Потому что тип программы почти не влияет на результат, а разница между сильным и слабым учителем, по оценкам экономистов Четти, Фридмана и Рокоффа, составляет целый учебный год прогресса. Грин не сравнивал учителей, но именно эта разница, судя по всему, больше любой разницы между курсами.

Что такое зона ближайшего развития и строительные леса?

Это понятия из педагогики Выготского и психологов Вуда, Брунера и Росса. Зона ближайшего развития это расстояние между тем, что ученик умеет сам, и тем, что может с помощью взрослого. Строительные леса это поддержка, которую учитель постепенно убирает по мере того, как навык крепнет.

Как Lunora использует эти принципы на практике?

Школа работает в мини-группах до семи человек, использует пробные экзамены с проверкой действующими экспертами ЕГЭ, дает обратную связь по каждому пробнику с разбором по критериям ФИПИ и систематически моделирует стрессовые сценарии на пробниках. Это ровно те механизмы, которые исследования называют работающими.

Баллы и язык не исключают друг друга

Из всех цифр, собранных Грином и его последователями, следует одно. Курс, где умеют пробуждать интерес и работать в зоне ближайшего развития, поднимает и балл, и язык одновременно. Курс, где подменяют это заученными шаблонами, поднимает только балл, и ненадолго.

Хорошая новость в том, что грамотно построенная подготовка не заставляет выбирать между двумя важными составляющими. Она работает и на балл, и на язык, если в основе лежит не игра с тестом, а реальный рост навыка плюс спокойное, систематическое привыкание к формату.

Автор: Вадим Амосов

Источники:

Green A. Washback to learning outcomes: a comparative study of IELTS preparation and university pre-sessional language courses. Assessment in Education, 2007, vol. 14.

Green A. EAP study recommendations and score gains on the IELTS Academic Writing test. Assessing Writing, 2005.

Trenkic D., Hu R. Teaching to the test: The effects of coaching on English-proficiency scores for university entry. Journal of the European Second Language Association, 2021.

Horwitz E. K., Horwitz M. B., Cope J. Foreign Language Classroom Anxiety. The Modern Language Journal, 1986.

Ramirez G., Beilock S. L. Writing about testing worries boosts exam performance in the classroom. Science, 2011.

Yerkes R. M., Dodson J. D. The relation of strength of stimulus to rapidity of habit-formation. Journal of Comparative Neurology and Psychology, 1908.

Chetty R., Friedman J. N., Rockoff J. E. Measuring the Impacts of Teachers II: Teacher Value-Added and Student Outcomes in Adulthood. American Economic Review, 2014.

Black P., Wiliam D. Inside the Black Box: Raising Standards Through Classroom Assessment. Phi Delta Kappan, 1998.

Wood D., Bruner J. S., Ross G. The role of tutoring in problem solving. Journal of Child Psychology and Psychiatry, 1976.

Выготский Л. С. Мышление и речь. 1934.