overfitting = зубрёжка
Jan. 2nd, 2010 05:42 pm![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
jayrandomИдея стандартизовать/унифицировать экзаменационные требования по всей стране вынуждает переходить на тесты, которые считаются более объективным способом оценки знания. Собственно, это способ исключить влияние экзаменатора из процесса тестирования, либо вообще заменить его машиной.
Когда ученик не синтезирует ответ сам, а выбирает его из конечного набора вариантов, падает мерность материала, на котором проверяется знание ученика. И тестирование человека становится неотличимым от тестирования машины, обладающей знанием. А эту область я волей случая был вынужден изучать в течении лет.
При обучении машины знанию используется некоторый набор примеров, на базе которых она пытается выстроить подходящую модель, чтобы в дальнейшем, опираясь уже на построенную модель, принимать относительно неё решения. Одна из ошибок, допускаемая при обучении машины, называется overfitting и заключается в придании обучающим примерам чрезмерного веса/внимания, из-за чего страдает предсказательная сила модели.
Человеческий аналог оверфиттинга - это зубрёжка. В результате зубрёжки человек очень хорошо помнит те примеры, на которых он обучался (например, запоминает страницами текст учебника), но не понимает их. В результате зубрёжки у него в голове не возникает модели с хорошей предсказательной силой, и поэтому он не способен делать из неё выводы.
Когда ученик не синтезирует ответ сам, а выбирает его из конечного набора вариантов, падает мерность материала, на котором проверяется знание ученика. И тестирование человека становится неотличимым от тестирования машины, обладающей знанием. А эту область я волей случая был вынужден изучать в течении лет.
При обучении машины знанию используется некоторый набор примеров, на базе которых она пытается выстроить подходящую модель, чтобы в дальнейшем, опираясь уже на построенную модель, принимать относительно неё решения. Одна из ошибок, допускаемая при обучении машины, называется overfitting и заключается в придании обучающим примерам чрезмерного веса/внимания, из-за чего страдает предсказательная сила модели.
Человеческий аналог оверфиттинга - это зубрёжка. В результате зубрёжки человек очень хорошо помнит те примеры, на которых он обучался (например, запоминает страницами текст учебника), но не понимает их. В результате зубрёжки у него в голове не возникает модели с хорошей предсказательной силой, и поэтому он не способен делать из неё выводы.
Лет 10-15 назад при приёме на работу/учёбу неанглоязычных иностранцев, их/нас обязательно подвергали тестированию по одной из "зарекомендовавших себя" систем тестирования знания языка (TOEFL, IELTS, и т.д.). Когда я брал в библиотеке материалы для подготовки, меня восхитил размер сегмента рынка, работающий на повышение оценки по TOEFL клиента (я выбрал для себя TOEFL как имеющий наиболее широкий охват, отсюда такой фильтр). Не улучшение понимания языка, а именно решение прикладной задачи: повысить численную оценку за тест любой ценой. Приёмчики, которые рекомендовались в тех патентованых материалах, действительно работали, и как я впоследствии понял, имели сильный уклон в overfitting: учить язык с их помощью можно было очень условно, но оценка действительно повышалась.
![[identity profile]](https://www.dreamwidth.org/img/silk/identity/openid.png){kind=small}
no subject
Date: 2010-01-04 09:31 pm (UTC)no subject
Date: 2010-01-05 06:18 am (UTC)Зубрежка - это все таки очень полезная вещь. Не для всего, конечно. Но с ее помощью можно подключить к пониманию чего-нибудь двигательный центр. Невозможно же читать с листа, думая о нотах. Да даже в математике, если "набить руку", можно заранее увидеть направление решения задачи, еще до того, как начать "думать" о решении. Поскольку такое вИдение идет на гораздо более высокой скорости, становятся возможными качественно иные процессы. Например, запись музыки из головы на нотную бумагу в реальном времени, в процессе сочинения. На думание там времени нет, потому что если не записать сразу, что внутренним ухом слышится - оно забудется.
Очевидно, что то, о чем я говорю, идет в совершенно перпендикулярном направлении к стандартизации тестов, и к тестам вообще :)
оффтопик, но интересный
Date: 2010-01-05 10:08 am (UTC)Мне запись на бумагу даётся только через промежуточную звукозапись, с которой потом и пишу диктанты. Удерживать рождающуюся мелодию в голове не умею, она ускользает.
* * *
С другой стороны, мне знаком итеративный процесс родов из инженерной деятельности. Среда как раз и выступает в роли "памяти", в которой последовательно материализуются приближения к конечному продукту. Может быть, композиторы тоже пишут итерациями?
Re: оффтопик, но интересный
Date: 2010-01-05 04:25 pm (UTC)Я, собственно, о чем -- что зубрежка не плоха сама по себе. Если ее правильно использовать, она дает замечательные результаты, которых по другому-то и непонятно как добиться.
no subject
Date: 2010-01-05 04:53 pm (UTC)