Робо-ридеры - компьютеры, запрограммированные на сканирование эссе учащихся и выставление оценки.

Теория заключается в том, что учителя выделяли бы больше текста, если бы им не приходилось его читать. И чем больше ученики будут писать, тем лучше у них это получится, даже если основная аудитория их прозы - это последовательность алгоритмов.

Это звучит логично для Марка Шермиса, декана Колледжа образования Университета Акрона. Он помогает руководить конкурсом, учрежденным Фондом Уильяма и Флоры Хьюлетт, который обещает призовые в размере 100 000 долларов программистам, которые напишут лучшее программное обеспечение для автоматической оценки.

"Если вы учитель средней школы и даете письменное задание, вы возвращаетесь домой со 150 эссе", - сказал Шермис. "Вам понадобится некоторая помощь".

Но помощь от робо-ридера?

"Вау", - сказал Томас Джен, директор программы написания в Гарвардском колледже. Он сделал паузу на мгновение.

"Это ужасно", - сказал он наконец.

Автоматизированная оценка эссе была впервые предложена в 1960-х годах, но компьютеры тогда не справлялись с этой задачей. В конце 1990-х годов, по мере совершенствования технологий, несколько компаний, выпускающих учебники и тестирующие компании, вышли на рынок.

Сегодня компьютеры используются для оценки эссе по литературным экзаменам учащихся Южной Дакоты и нескольких других экзаменов с высокими ставками, включая тест TOEFL на свободное владение английским языком, который сдают иностранные студенты.

Но машины не оценивают эссе ни по SAT, ни по ACT, двум вступительным экзаменам в начальный колледж. И американские учителя в целом неохотно передают домашние задания своих учеников роботам-первоклассникам.

Конкурс Hewlett призван изменить это, продемонстрировав, что компьютеры могут оценивать так же проницательно, как учителя английского языка, только гораздо быстрее и без всех этих удручающих красных чернил.

Автоматизированная оценка эссе "не предполагает суждений", - сказал Шермис. "И это можно делать 24/7. Если учащиеся заканчивают эссе в 10 часов вечера, они получают обратную связь в 10: 01."

Возьмем, к примеру, интеллектуальный оценщик эссе, веб-инструмент, продаваемый Pearson Education, Inc. В течение нескольких секунд программа может проанализировать эссе на предмет орфографии, грамматики, организации и других особенностей и предложить учащимся внести исправления. Программа сканирует ключевые слова и анализирует семантические шаблоны, и Пирсон хвастается, что она "может "понимать" значение текста почти так же, как читатель-человек".

Джен, преподаватель литературы в Гарварде, не так уверен.

Он утверждает, что лучший способ научить хорошему письму - помочь студентам бороться с идеями; орфографические и синтаксические ошибки в ранних набросках следует игнорировать в пользу обсуждения тезиса. "Попытайтесь найти идею, которая просачивается", - сказал он. "Затем начните искать, правильно ли расставлены запятые". Ни один компьютер, по его словам, не может этого сделать.

Более того, Джен сказал, что он обеспокоен тем, что учащиеся откажутся от попыток создать красивую метафору или проницательную аналогию, если они будут знать, что их эссе не будут прочитаны, а будут отсканированы на долю секунды компьютерной программой.

"Мне нравится знать, что я пишу для настоящего читателя из плоти и крови, которого волнуют слова на странице", - сказал Джен. "Я уверен, что дети чувствуют то же самое".

Даже сторонники роботизированной аттестации признают ее ограничения.

Шутник может перехитрить многие программы подсчета очков, перемешивая ключевые фразы в бессмысленном порядке. Эссе о Христофоре Колумбе может напоминать о королеве Изабелле, отправившейся с 1492 солдатами на остров Фердинанда, - и все равно будет оценено как полностью соответствующее теме, сказал Шермис.

Компьютерам также нелегко справляться с экспериментальной прозой. Они предпочитают соответствие творчеству.

"Они ненавидят поэзию", - сказал Дэвид Уильямсон, старший директор по исследованиям некоммерческой службы тестирования в сфере образования, которая в конце 2010 года получила патент на автоматическую систему оценки эссе.

Но Уильямсон утверждает, что автоматизированные грейдеры не предназначены для определения следующего Джеймса Джойса. Они не оценивают художественные достоинства; они измеряют, насколько эффективно писатель передает основные идеи. Этого навыка не хватает многим американским студентам. Только каждый четвертый выпускник средней школы получил оценку "Хорошо" на последнем национальном экзамене по письменности.

Фонд Хьюлетта запустил конкурс роботов-оценщиков, протестировав несколько программ, уже представленных на рынке. Результаты не будут опубликованы в течение нескольких недель, но представители Hewlett заявили, что они справились очень хорошо.

Затем Хьюлетт предложил любителям разработать свои собственные алгоритмы.

Конкурс, размещенный на веб-сайте data science Kaggle.com привлек сотни конкурентов из всех слоев общества. У них есть время до 30 апреля, чтобы написать программы, которые будут оценивать эссе, усеянные неловкими фразами, такими как "Я вешаю сумку на плечо" или "Когда мне накладывали швы, некоторые части болели".

Цель состоит в том, чтобы заставить компьютер ставить каждому эссе ту же оценку, что и человек, оценивающий.

Мартин О'Лири, специалист по ледникам из Мичиганского университета, работал над конкурсом в течение нескольких недель.

Изучив тысячи образцов эссе, он обнаружил, что люди-оценщики, как правило, не дают студентам дополнительных баллов за использование сложной лексики. Поэтому он отказался от планов заставить свой компьютер сканировать эссе на наличие редких слов.

Вместо этого он заставляет своего робо-грейдера считать знаки препинания. "Количество запятых является очень сильным показателем оценки", - сказал О'Лири. "Это немного странно. Но чем больше, тем лучше ".

Копаясь в данных, О'Лири столкнулся с пугающей правдой: человеческие оценки, которым он пытается соответствовать, противоречивы. Они не согласны друг с другом по существу данного эссе. Они выставляют оценки, которые кажутся случайными. Действительно, исследования показали, что на читателей-людей влияют факторы, которые должны быть несущественными, например, то, насколько аккуратно ученик пишет.

"Реальность такова, что люди не очень хороши в этом", - сказал Стив Грэм, профессор Университета Вандербильта, который исследовал методы оценки эссе. "Это неизбежно, - сказал он, - что роботы-первоклассники скоро возьмут верх.

О'Лири не будет возражать, когда этот день наступит. Он проверяет свою программу на студенческой прозе, которая уже была оценена учителем. Когда оценки расходятся, О'Лири читает эссе, чтобы выяснить, почему.

"Чаще всего, - сказал он, - я согласен с компьютером".