overfitting = зубрёжка

[jayrandom]

Идея стандартизовать/унифицировать экзаменационные требования по всей стране вынуждает переходить на тесты, которые считаются более объективным способом оценки знания. Собственно, это способ исключить влияние экзаменатора из процесса тестирования, либо вообще заменить его машиной.

Когда ученик не синтезирует ответ сам, а выбирает его из конечного набора вариантов, падает мерность материала, на котором проверяется знание ученика. И тестирование человека становится неотличимым от тестирования машины, обладающей знанием. А эту область я волей случая был вынужден изучать в течении лет.

При обучении машины знанию используется некоторый набор примеров, на базе которых она пытается выстроить подходящую модель, чтобы в дальнейшем, опираясь уже на построенную модель, принимать относительно неё решения. Одна из ошибок, допускаемая при обучении машины, называется overfitting и заключается в придании обучающим примерам чрезмерного веса/внимания, из-за чего страдает предсказательная сила модели.

Человеческий аналог оверфиттинга - это зубрёжка. В результате зубрёжки человек очень хорошо помнит те примеры, на которых он обучался (например, запоминает страницами текст учебника), но не понимает их. В результате зубрёжки у него в голове не возникает модели с хорошей предсказательной силой, и поэтому он не способен делать из неё выводы.

Лет 10-15 назад при приёме на работу/учёбу неанглоязычных иностранцев, их/нас обязательно подвергали тестированию по одной из "зарекомендовавших себя" систем тестирования знания языка (TOEFL, IELTS, и т.д.). Когда я брал в библиотеке материалы для подготовки, меня восхитил размер сегмента рынка, работающий на повышение оценки по TOEFL клиента (я выбрал для себя TOEFL как имеющий наиболее широкий охват, отсюда такой фильтр). Не улучшение понимания языка, а именно решение прикладной задачи: повысить численную оценку за тест любой ценой. Приёмчики, которые рекомендовались в тех патентованых материалах, действительно работали, и как я впоследствии понял, имели сильный уклон в overfitting: учить язык с их помощью можно было очень условно, но оценка действительно повышалась.

Comments

[schloenski.livejournal.com]

Во первых строках с новым годом!

Во-вторых возражения. Зубрёжка это по-моему не оверфиттинг, это, действительно, решение прикладной задачи. Различие между пониманием и непониманием -- штука тонкая, не зря говорят "Выучи, потом поймёшь". Если надо будет :-) В случае с изучением языка разница вообще носит ускользающий характер; понимаем ли мы, в сущности, английский?

Я сам сдавал IELTS и думаю, что он мне очень помог. После Moscow English особенно.

Оверфиттинг это, по-моему, другое. Бывает такой тип комплексов: "Меня родители научили никогда не путать "одеть" и "надеть". Никогда-никогда-никогда. Что угодно, убить-украсть-замучать, но только никогда не путать "одеть" и "надеть"!!"

[jayrandom.livejournal.com]

С новым годом :)

TOEFL мне тоже очень помог с английским, но я не совсем об этом. Мне попадались книжки, заявленная цель которых была - не подтянуть уровень знания языка, а подтянуть TOEFL score. Каковая и достигалась при помощи всяких "приёмчиков". Приёмчики для TOEFL'а наверное не работали при сдаче IELTS'а, поэтому приёмчики - это оверфиттинг к конкретной системе тестирования.

Одеть и надеть - это, действительно, хороший пример оверфиттинга собственно к языку. Ещё исключения из правил правописания тоже, наверное, "требуют" от ученика оверфиттинга, т.к. заранее известно, что они не гармонируют с правилом/моделью.

[tanusha.livejournal.com]

Забавно и очень интересно ,))

меня во время учебы в школе всегда поражали несколько девочек в классе, которые могли текст учебника заучивать главами :) я так никогда не делала - мне было важно понять "о чем речь" - после этого все запоминалось само :) не в дословном виде, как у зубривших, но в достаточном, что бы воспроизвести суть :)) Видимо, именно поэтому, я часто решала те же задачи другими способами, чем решали те, которые зубрили :)))


И с Новым Годом!! :))

[livelight]

Известное же дело: каким бы способом одни люди ни измеряли то, что им нужно от других - эти другие будут работать над улучшением (со своей точки зрения) непосредственно измеримого показателя, потому что он нужен им, а вовсе не того, что нужно первым :)

[jayrandom.livejournal.com]

Беда в том, что процесс измерения перепоручен от человека машине. Это очевидная жертва качеством в угоду стандартизации.

[livelight]

Угу.

А вы про Англию говорите? В какой стадии там находится переход от многомерной проверки экзаменатором к таким тестам?
У нас разговоры идут в таком ключе, что Америка с Европой (якобы) уже давно перешли на свой ЕГЭ, и поэтому у них в образовании уже наступило полное гэ, а у нас оно только-только начинается. И университеты (те, которые действительно заслуживают этого названия) за головы хватаются, получая абитуриентов, которые последние несколько лет в школе готовились к ЕГЭ, а не учились предметам.

Кстати, это может быть и ответом на ваш предыдущий пост: с помощью понижения качества образования можно добиться того, что проучившийся 12 лет уже не будет overeducated. А держат его в школе эти самые 12 лет не для того, чтобы он учился каким-то знаниям, а для того, чтобы всё это время заниматься социализацией и кондиционированием (у нас обычно так переводят слово conditioning, лучшего перевода не знаю).

[jayrandom.livejournal.com]

Англию я беру просто как наиближайший пример, но этот дурдом, увы, происходит везде. В местных школах воцарилось два стандартных уровня аттестации: GCSE (типа "восьмилетки") и A-levels (типа "гимназических классов"). Сравнивать и обсуждать их мне неохота, но общая тенденция в разных странах одинаковая. Может, скорости только разные.

По второму параграфу - да, об этом много и с примерами писал Иллич. У него странами для примеров служили "передовые" США и "отстающие" латиноамериканцы.

Conditioning обычно переводят как обусловливание, но и кондиционирование тоже неплохо. Интересно, как переводят термин Тэда Качинского "oversocialization"?

[livelight]

Oversocialization в моих кругах обычно называют "социальным зомбированием" ;)

[dixi.livejournal.com]

у меня в инситуте была обратная проблема - я всё понимал, но заучивать было лень.

поэтмоу я мог решить задачи по физике для всей группы, а вот расписать ответ на вопрос "как в учебнике" или "как в лекциях" не мог.

сейчас считаю что глупостью было лениться не писать шпаргалки (тогда я этим брезговал). Банально потому что написание шпаргалки помогает просто запомнить нужную тему с подробностями.

[jayrandom.livejournal.com]

очень знакомо :)

[golger-i.livejournal.com]

Сильно оффтопик, но зато про сабж.
Зубрежка - это все таки очень полезная вещь. Не для всего, конечно. Но с ее помощью можно подключить к пониманию чего-нибудь двигательный центр. Невозможно же читать с листа, думая о нотах. Да даже в математике, если "набить руку", можно заранее увидеть направление решения задачи, еще до того, как начать "думать" о решении. Поскольку такое вИдение идет на гораздо более высокой скорости, становятся возможными качественно иные процессы. Например, запись музыки из головы на нотную бумагу в реальном времени, в процессе сочинения. На думание там времени нет, потому что если не записать сразу, что внутренним ухом слышится - оно забудется.
Очевидно, что то, о чем я говорю, идет в совершенно перпендикулярном направлении к стандартизации тестов, и к тестам вообще :)

оффтопик, но интересный

[jayrandom.livejournal.com]

Чтобы писать на бумагу в процессе сочинения, нужно наверное иметь какую-то совершенно гигантскую и непогрешимую оперативную память, к которой постоянно обращаешься и пишешь диктант.

Мне запись на бумагу даётся только через промежуточную звукозапись, с которой потом и пишу диктанты. Удерживать рождающуюся мелодию в голове не умею, она ускользает.

* * *

С другой стороны, мне знаком итеративный процесс родов из инженерной деятельности. Среда как раз и выступает в роли "памяти", в которой последовательно материализуются приближения к конечному продукту. Может быть, композиторы тоже пишут итерациями?

Re: оффтопик, но интересный

[golger-i.livejournal.com]

По рассказам одного профессора скрипки, лекции которого я как-то переводил в Бостоне, Шнитке писал на бумагу со звука, который слышал в голове, и всегда боялся, что не поспеет. Видимо когда-то он хорошо зазубрил сольфеджио, если мог так быстро писать. Именно чтобы не удерживать рождающуюся мелодию в голове, надо записывать ее с той же скоростью, с которой она "звучит". Бетховен, вроде, писал итерациями. Я знаю одну композиторшу, которая пишет все в голове, то есть запоминает, потом расписывает партии(!) не подходя к инструменту. Потом звонит и говорит: "ой, там в третьем от конца такте не соль си до, а соль си ля", при том, что у нее на руках моей партии уже нет. Правда это не сложная музыка, но все же.
Я, собственно, о чем -- что зубрежка не плоха сама по себе. Если ее правильно использовать, она дает замечательные результаты, которых по другому-то и непонятно как добиться.

[jayrandom.livejournal.com]

эх... а есть ещё люди, играющие в шахматы в слепую одновременно на 30 досках.