?

Log in

No account? Create an account

Previous Entry | Next Entry

Если нечто крякает как утка, ходит как утка и плавает как утка, то это — научная модель утки.

Питер Норвиг, известный специалист в области ИИ, автор самого популярного учебника по специальности и директор целого исследовательского института «Гугола», отвечает Хомскому, высказавшемуся в том ключе, что статистические модели языка достигли определенных успехов, но эти успехи можно считать инженерными, но никак не научными. Нужно сказать, что обе стороны изрядно хватают через край. Хомский отказывает в полезности изучению performance, полагая единственным значимым объектом изучения competence (кстати, скажите мне, как переводятся эти термины на русский). Норвиг утверждает, что инженерный и денежный успех статистических моделей является индикатором (хотя, оговаривается, и не доказательством) их научной верности. Приводя лингвистические примеры, Норвиг допускает ошибки и неточности, в паре мест производит некорректные и неприятные выпады ниже пояса; в целом, однако, дискуссия выходит любопытная.

Интересно, с каким ядом Норвиг сравнивает Хомского с телепроповедником О'Рейли в вопросе о том, должна ли наука отвечать на вопрос «почему»:
[телепроповедник О'Рейли высказался о том, что причина приливов и отливов неизвестна], и привел это как аргумент за существование бога. О'Рейли был высмеян противниками за то, что он не знал, что приливные явления… объясняются гравитационным взаимодействием Земли, Солнца и Луны… О'Рейли также не знает ни о существовании Фобоса и Деймоса, ни о том, что Марс и Венера обращаются вокруг Солнца, ни о том, что у Венеры нет спутников оттого, что в такой близости от Солнца нет места для стабильной орбиты спутника. Но для него не имеет значения, что противники думают о его астрономической безграмотности, поскольку его сторонники полагают, что он задает правильный вопрос: почему. Его не интересует, как работают приливы, он требует ответа, почему они работают. Почему Луна находится на таком расстоянии, чтобы обеспечивать небольшие приливы и стабилизировать ось земного вращения? Почему гравитация работает так, как она работает? О'Рейли прав в том, что на эти ответы может отвечать мифология, философия, религия — но не наука.
Больше всего меня, конечно, огорчает именно такой поворот понимания науки. Это, по счастью, далеко не общий взгляд на вещи — нужно сказать, что, например, Хокинг задает именно вопрос о том, почему гравитация такая, какая она есть, как один из самых важных в астрофизике и космологии — но он все шире распространяется. Кто знает, как изменится та же самая астрофизика, когда статистический анализ неохватных массивов данных сделается основным инструментом анализа? Впрочем, по самому своему предмету астрофизике практически обеспечено счастливо избежать финансового успеха — в отличие от лингвистики и когнитивной науки, некоторые области которых можно уже сейчас считать съеденными прикладной лингвистикой, добившейся — невозможно этого отрицать — невероятных успехов.

От Хомского и Хокинга до Норвига — разрыв в поколение. Мне иногда кажется, что здесь, будто в мутном зеркале, гадательно, но проглядывает будущая смена парадигмы понимания, виднеется то, что придет за наукой. Конечно, новая парадигма будет прогрессивной — по определению — но почему-то я заглядываю в это зеркало не столько с интересом, сколько с удивлением, если не сказать ужасом. Старая парадигма мне пока милее. А у вас как с этим дела?

Comments

( 84 comments — Leave a comment )
komar28
Jan. 27th, 2012 12:28 pm (UTC)
Извините за оффтоп вопрос: Почему в русском Chomsky не Чомский, а Хомский?
fregimus
Jan. 27th, 2012 12:44 pm (UTC)
Правильный вопрос здесь будет другой: почему в английском он Чомски. У него русская еврейская фамилия. Отец Зеев Хомский переехал с Украины в Штаты и стал Уильямом Чомски. Возможно, неправильное прочтение транслитерированной фамилии закрепилось, но подробностей я не знаю.
(no subject) - komar28 - Jan. 27th, 2012 12:49 pm (UTC) - Expand
(no subject) - gdt - Jan. 27th, 2012 12:57 pm (UTC) - Expand
(no subject) - komar28 - Jan. 27th, 2012 01:56 pm (UTC) - Expand
(no subject) - gdt - Jan. 27th, 2012 04:53 pm (UTC) - Expand
(no subject) - komar28 - Jan. 27th, 2012 05:14 pm (UTC) - Expand
(no subject) - gdt - Jan. 27th, 2012 05:40 pm (UTC) - Expand
(no subject) - komar28 - Jan. 27th, 2012 09:15 pm (UTC) - Expand
(no subject) - Anatoly Borodin - Jan. 31st, 2012 05:56 pm (UTC) - Expand
(no subject) - uliaushuk - Jan. 27th, 2012 02:02 pm (UTC) - Expand
(no subject) - fat_crocodile - Jan. 27th, 2012 12:46 pm (UTC) - Expand
(no subject) - komar28 - Jan. 27th, 2012 12:49 pm (UTC) - Expand
(no subject) - fregimus - Jan. 27th, 2012 12:54 pm (UTC) - Expand
(no subject) - komar28 - Jan. 27th, 2012 12:58 pm (UTC) - Expand
Не "в", а "на" - lenivtsyn - Jan. 27th, 2012 01:28 pm (UTC) - Expand
Re: Не "в", а "на" - komar28 - Jan. 27th, 2012 01:57 pm (UTC) - Expand
(no subject) - nomen_nescio - Jan. 27th, 2012 02:27 pm (UTC) - Expand
(no subject) - komar28 - Jan. 27th, 2012 02:30 pm (UTC) - Expand
(no subject) - fregimus - Jan. 28th, 2012 11:48 am (UTC) - Expand
(no subject) - nashev - Feb. 6th, 2012 02:05 pm (UTC) - Expand
lyuden
Jan. 27th, 2012 12:56 pm (UTC)
Нас (физиков) учили (нулевые), что правильный вопрос, как? Вопрос "Почему?" - это к философам.

Внезапно, тоже самое я без задней мысли начал втолковывать племянникам, когда они спросили почему лазерная указка отражается от стены. Я их заставлял задавать вопросы "как?" и "что мы можем померять?" и я близко не экспериментатор.

Самоуспокоительна мантра по этому поводу звучит примерно так если действительно в физике высоких энергий будет пустыня после тераватных энергий, то наши why все равно останутся без ответа, пока мы не сможем существенно улучшить наши how (ну там Большой Лунный Колайдер и т.д.).
fregimus
Jan. 28th, 2012 12:52 am (UTC)
Значит, так и учили… Плохо дело.

Здесь-то на вопрос почему можно легко ответить — ну, когда подрастут, наверное.
(no subject) - lyuden - Jan. 28th, 2012 04:49 am (UTC) - Expand
(no subject) - fregimus - Jan. 28th, 2012 08:51 am (UTC) - Expand
(no subject) - lyuden - Jan. 28th, 2012 11:16 am (UTC) - Expand
(no subject) - fregimus - Jan. 28th, 2012 11:54 am (UTC) - Expand
Во ! - lyuden - Jan. 28th, 2012 12:32 pm (UTC) - Expand
(no subject) - pphantom - Jan. 28th, 2012 10:55 am (UTC) - Expand
(no subject) - lyuden - Jan. 28th, 2012 11:12 am (UTC) - Expand
(no subject) - fregimus - Jan. 28th, 2012 11:23 am (UTC) - Expand
(no subject) - pphantom - Jan. 28th, 2012 01:32 pm (UTC) - Expand
(no subject) - miiukmi - Jan. 28th, 2012 10:06 am (UTC) - Expand
(no subject) - lyuden - Jan. 28th, 2012 11:11 am (UTC) - Expand
(no subject) - miiukmi - Jan. 28th, 2012 11:22 am (UTC) - Expand
(no subject) - lyuden - Jan. 28th, 2012 11:40 am (UTC) - Expand
(no subject) - fregimus - Jan. 28th, 2012 11:25 am (UTC) - Expand
(no subject) - miiukmi - Jan. 28th, 2012 11:33 am (UTC) - Expand
(no subject) - fregimus - Jan. 28th, 2012 11:42 am (UTC) - Expand
(no subject) - miiukmi - Jan. 28th, 2012 12:59 pm (UTC) - Expand
(no subject) - pphantom - Jan. 28th, 2012 01:39 pm (UTC) - Expand
fat_crocodile
Jan. 27th, 2012 01:09 pm (UTC)
Про поколения, хм.

Норвиг уже не молод, он отнюдь не "приходящее в науку новое поколение". Не говоря уже о Хомском, который по возрастным меркам просто-таки подзадержался лет на 10-15. То есть, если бы речь действительно шла о споре этих поколений, мейнстрим уже лет 30 был бы полностью статистическим. Так это или не так, Вам, безусловно, виднее.

Мне кажется, это инжнеры, не дождавших от учёных работающих моделей, взяли дело в свои руки, и обнаружли, что изумительно простыми средствами можно сделать на 95% работающий алгоритм. Для английского языка. Мне кажется, учёных должен был бы заинтересовать этот факт, я не знаю, произошло ли это.

Забавно, что это как раз вариант "от нормы" и это где-то рядом с тем, о чём сегодня написал И.-П.
fregimus
Jan. 28th, 2012 12:56 am (UTC)
Думаю, что это замечают, а как же. Теория оптимальности та же пытается описывать и грамматику, и фонетику с точки зрения выбора численно оптимального варианта — того из нескольких, у кототый набирает больше очков по всяким признакам.

Прикладной мейнстрим статистический, да. А фундаментальные вещи норвига не интересуют, как я понимаю.
(no subject) - fat_crocodile - Jan. 28th, 2012 04:17 pm (UTC) - Expand
_glav_
Jan. 27th, 2012 01:25 pm (UTC)
ну как бы позитивизм не нов, а то, что говорит Норвиг в некотором смысле близко к этому.

бывают разные вопросы "почему". На вопрос "почему это сделал бог" / "почему есть бог", насколько я понимаю, не отвечает и религия. так что это никак не годится на критерий наука-религия

ну и с практической точки зрения, как я понимаю, мейнстрим "науки" получает финансирование за то, что отвечает на практические вопросы, а всякие там "почему" - это интимные игрушки учёных.
jaerraeth
Jan. 27th, 2012 01:42 pm (UTC)
Не беспокойтесь, на вопрос "как есть бог" религия тоже не отвечает %)
(no subject) - dashca_enotik - Jan. 28th, 2012 11:18 am (UTC) - Expand
pphantom
Jan. 27th, 2012 02:01 pm (UTC)
Кто знает, как изменится та же самая астрофизика, когда статистический анализ неохватных массивов данных сделается основным инструментом анализа?

А это уже случилось. Каких-то уж очень радикальных изменений не произошло.
fregimus
Jan. 28th, 2012 11:58 am (UTC)
Об этом говорил sergepolar, но, как я понял, как будто о будущем тренде. Получается. сейчас уже вместо целевых исследований конкретных объектов получаются открытия в основном из неспецифических наблюдей — каких-нибудь whole sky survey и т. п.? Я правильно понимаю, что все сдвинулось уже далеко в эту сторону?
uliaushuk
Jan. 27th, 2012 02:16 pm (UTC)
Кстати, Шерлок Холмс у Конан Дойла тоже не знал, что Земля вращается вокруг Солнца. И не комплексовал по этому поводу перед Ватсоном. При этом вращение Земли вокруг Солнца это вбитое в наши головы школьными учителями физики заблуждение, этакое школьное упрощение реальности. На самом деле Земля и Солнце вращаются вокруг центра масс, а не вокруг друг друга. Другое дело, что из-за гигантизма Солнца центр масс расположен недалеко от центра Солнца. И Ньютона, который эти вопросы разрабатывал, интересовал только факт наличия и величины силы гравитационного взаимодействия, потому что он знал, что и взаимодействие, и сами небесные тела суть творения Божии.
jaerraeth
Jan. 27th, 2012 02:46 pm (UTC)
Судя по косвенным данным из дальнейших текстов серии, Холмс над Ватсоном попросту прикалывался %)
(no subject) - pphantom - Jan. 27th, 2012 02:51 pm (UTC) - Expand
(no subject) - thedeemon - Jan. 27th, 2012 05:36 pm (UTC) - Expand
(no subject) - uliaushuk - Jan. 27th, 2012 06:17 pm (UTC) - Expand
(no subject) - pphantom - Jan. 27th, 2012 07:04 pm (UTC) - Expand
(no subject) - uliaushuk - Jan. 27th, 2012 07:56 pm (UTC) - Expand
(no subject) - pphantom - Jan. 27th, 2012 09:08 pm (UTC) - Expand
(no subject) - uliaushuk - Jan. 29th, 2012 09:37 pm (UTC) - Expand
(no subject) - dmytrish - Jan. 28th, 2012 09:54 am (UTC) - Expand
nomen_nescio
Jan. 27th, 2012 02:29 pm (UTC)
Величие Хомского - среди прочего - в том, что он после долгого перерыва осмелился задать в лингвистике запрещённый вопрос "почему". К удовлетворительному ответу ещё даже не начали подбираться, но главное - сделать первый шаг.
tomcatkins
Jan. 27th, 2012 04:39 pm (UTC)
Я думаю, что это пока не парадигма, а ее временный плейсхолдер. Имеет целью минимизацию неконструктивного диалога со все более настырными сумасшедшими и отказ об борьбы за статус.

Это сработает, но побочным эффектом будет натуральный откат в средневековье. Просвещение закончилось, и началось окукливание науки в обособленный клан, не претендуюший на высокую роль на кастовой лестнице.

Если воспринимать процитированное как программное заявление, то написано там почти прямо: мы больше не претендуем на роль брахманов, вы победили. Оставьте нам наших мышей, наши компы и пробирки, всю нашу прикладную фигню. Мы окей быть неприкасаемой обслугой.

Пока еще можно надеяться, что это тактическое отступление, а не полная сдача позиций. Ну и опять же, инженера да прикладники - они же такие всегда были, что их устраивает роль шудр, а лучше и вообще неприкасаемых - так меньше спрос и больше свободы? Если живешь за чертой города, как доктор в древней Индии, к тебе пока не заболеют, не суются.

Хомский, опять же, еще дергается, вы вот тоже не вполне согласны.

Интересно еще, что в английском размыты границы между "почему" и "зачем". На этой территории тоже следует ждать, возможно, коллизий.
kurgus
Jan. 27th, 2012 04:45 pm (UTC)
Корректные "Почему"?
В некоторых случаях вопрос "почему?" вполне законен. И прежде всего - в случаях эволюции биологической и не только.
Например, почему некоторые водоросли-динофлагелляты светятся? - ладно, глазастые светляки с их световой коммуникацией - но безглазые динофагелляты?
И здесь в популяризации трудно не скатиться к телеологическому "Зачем светятся?".

То есть каким образом они светятся - достаточно хорошо известно. Вплоть до того, что примерно понятно, какие метаболиты (хлорофиллы) являются предшественниками их светящихся люциферинов - но почему?
В таких случаях краткое "почему?" эквивалентно длинному "каким образом и в силу каких факторов внутренних, а также внешней среды именно эти виды динофлагеллят приобрели способность к биолюминесценции - и какова адаптационная ценность этой способности?".

Но в случае чисто прикладных задач, к примеру, рыбного промысла, вопрос "почему светятся?" несущественен - зато распределение свечения, хлорофильной зелености и перидининовой красноты по акватории и во времени имеет сугубо практическое значение - ибо статанализ массива данных выявляет корелляции этих индикаторов с продуктивностью и уловами: статмодель коммерчески вполне успешна.

В случае спора Норвига с Хомским IMHO мы имеем нечто подобное: Норвига интересует синхрония в прикладных целях, ему достаточно, что его марковские цепи "исполняют" (perform) речевые акты, выстраивая лексемы в корректные деревья Хомского.
Хомского же интересует почему лексемы должны выстроиться в его деревья, т.е. формирование грамматик и высказываний - или, в терминолгшгии генеративной грамматики, механизмы формирования языковой компетенции:
Грамматика языка стремится к тому, чтобы быть описанием компетенции, присущей идеальному говорящему-слушающему. (Хомский, Аспекты теории синтаксиса).

И здесь агармматичные статистические алгоритмы действительно прямой познавательной ценности не имеют.

А Норвиг в сравнении Хомского с телепроповедником путает законное "почему" и незаконное "зачем?"
fregimus
Jan. 28th, 2012 08:52 am (UTC)
Re: Корректные "Почему"?
Да он не то, чтобы путает. Надеюсь, что он нарочно.
spamsink
Jan. 27th, 2012 05:49 pm (UTC)
But the vast majority of people who study interpretation tasks, such as speech recognition, quickly see that interpretation is an inherently probabilistic problem: given a stream of noisy input to my ears, what did the speaker most likely mean?

Несколько дней назад я получил подтверждение этому. Прилагательное "делёный" (грамматичное, но редкое) было услышано двумя независимыми слушателями как "зелёный". Я объяснил собеседникам явление именно статистическими причинами.
anhinga_anhinga
Jan. 27th, 2012 08:24 pm (UTC)
В физико-математических науках, на мой взгляд, обратный тренд в последние десятилетия -- в сторону большего понимания. Кажется, это довольно длинные волны (по оси "как/почему"), и они не синхронизированы между областями знания...

Мне больше нравится, когда стремятся к пониманию.

В лингвистике, теории Хомского уж точно не дают большего понимания, чем статистические модели (поскольку Хомский так же объявлял бессмысленными не только вероятностные модели, но и вопросы об эволюции языка и о семантике, а это вопросы ключевые). Персональная идеология у них разная, но реально статметоды не приносят регресса в уровне понимания по сравнению с Хомским, а работают лучше.

Конечно хочется надеятся на настоящий прогресс в понимании лингвистики, который пока не случился (насколько мне известно), несмотря на, например, работы Монтегю (но, может быть, это моя проблема, что я их плохо чувствую).
anhinga_anhinga
Jan. 27th, 2012 08:55 pm (UTC)
Говоря про лингвистику, любой подход, претендующий на "настоящее понимание", должен будет включать в себя и вероятностные аспекты (которые есть в языке объективно, а не только инженерно). Например, через модели "возможных миров" (от которых всё равно никуда ни деться, если мы хотим понимать модальные конструкции -- вроде, пока, никакого другого подхода к семантике модальностей нет).
(no subject) - fregimus - Jan. 28th, 2012 08:56 am (UTC) - Expand
spamsink
Jan. 28th, 2012 06:03 am (UTC)
Вот чего я не люблю, это когда автор читателей за идиотов держит: Now let's consider the non-statistical model of spelling expressed by the rule "I before E except after C." ... The statistical data confirms that IE is in fact more common than EI, and that the dominance of IE lessens wehn following a C, but contrary to the rule, CIE is still more common than CEI. Examples of "CIE" words include "science," "society," "ancient" and "species."

Ежу понятно, что к этому правилу есть очевидный антецедент "когда произносится как [i:]", поэтому все статистические ужимки и прыжки, пропущенные в цитате, не стоят и ломаного гроша.

(Поискал "CEI" в комментариях - ему так на этот ляп и не указали. Похоже, это действительно распространенное - в т.ч. и в голове Норвига - непонимание. Я удивлён.)

fregimus
Jan. 28th, 2012 07:34 am (UTC)
Норвиг считает, что статистика решит все прикладные проблемы, а прочие ему не интересны. Где-то он говорил, что грамматический алгоритм перевода был бы гуголу неинтересен, поскольку его нельзя адаптировать к другим языкам, в отличие от ML, который достаточно накачать кучей параллельных текстов.

В языковых примерах он делает грубые ошибки, я заметил.

До сих пор есть люди, которые строят морфологические теории выбора формы артикля a/an. Они не считают ни читателей, ни себя дураками — просто они глубоко убеждены, что выбор формы не может определяться фонологией.
(no subject) - spamsink - Jan. 28th, 2012 08:05 am (UTC) - Expand
(no subject) - fregimus - Jan. 28th, 2012 11:50 am (UTC) - Expand
l_i_d_y_a
Jan. 28th, 2012 07:02 am (UTC)
Вероятностная природа языка, по-моему, одно из самых прекрасных его свойств. Это мостик между одним человеком и социумом - мы говорим, что хотим, а при этом другие люди способны нас понимать. Мы обладаем полной свободой воли, каждое отдельное высказывание непредсказуемо, а при этом все они вместе укладываются в некие статистические закономерности.
И я бы не сказала, что речь тут идет о сменах парадигмы, да вообще о каких-то противоречиях. Корпусная лингвистика, т.е. статистический подход, дал очень много именно в понимании языка. И в инженерной деятельности используются не только статистику - в основе почти любой системы лежит парсер, а в основе парсера - набор правил.
fregimus
Jan. 28th, 2012 07:55 am (UTC)
Вот что Норвиг говорит: “I'm still maintaining that statistical and probabilistic models are exactly what is necessary for a good explanation of language. I'm hoping they will be sufficient, but nobody knows for sure.” Для него вероятностная модель является объяснением, explanation языка. Вероятно, я не совсем понимаю, что он имеет в виду: является ли для него статистическая модель с миллиардом параметров объяснением того, как работает язык, или же он говорит о каком-то новом шаге в статистическом моделировании, где модели бы стали постижимыми и объясняющими.

Насчет парадигмы — мне кажется, что смена ее будет состоять в изменении понятий «постижимая» и «объясняющая» модель. Попросту говоря, мы просто назовем модель с миллиардом подгоночных параметров «объясняющей» язык, да и все дела.
(no subject) - l_i_d_y_a - Jan. 28th, 2012 08:02 am (UTC) - Expand
(no subject) - fregimus - Jan. 28th, 2012 08:46 am (UTC) - Expand
(no subject) - alex_muximov - Jan. 29th, 2012 05:40 pm (UTC) - Expand
(no subject) - fregimus - Feb. 6th, 2012 09:43 am (UTC) - Expand
(no subject) - alex_muximov - Mar. 3rd, 2012 08:27 am (UTC) - Expand
(no subject) - fregimus - Jan. 28th, 2012 08:58 am (UTC) - Expand
(no subject) - klausnick - Feb. 8th, 2012 05:55 pm (UTC) - Expand
(no subject) - fregimus - Feb. 8th, 2012 09:03 pm (UTC) - Expand
(no subject) - klausnick - Feb. 9th, 2012 07:46 am (UTC) - Expand
(no subject) - fregimus - Feb. 9th, 2012 08:51 am (UTC) - Expand
hitthelimit
Mar. 10th, 2012 04:20 am (UTC)
Новая парадигма
«Прогрессивный — по определению»: принудительная характеристика «по определению» не может придать прогрессивность любой ситуации. Например, для случаев, терминирующих процесс, относительно которого определяется прогрессивность. Так что вашу ремарку о «прогрессивности по определению» можно рассматривать как намек на статичную аксиоматику вашего текущего мировоззрения, связанную с собственным гомеостазом психики :) Отсюда «удивление и ужас». Статус-кво системы не допускает интерполяционные операции над системой с измененными параметрами, если суть этих изменений не прогнозируется. Линейность мышления, что ли. Это общий феномен: если пьянчужке предложить загадать одно самое заветное желание, то вряд ли это будет пожелание иметь IQ в районе 1000.
Старая парадигма не только хороша, она спасительна. Новая парадигма уже нарисовалась на близком горизонте, и одной из ее формулировок можно было бы считать следующую: Отражение мира просходит в формализованном виде.
Формальные системы неполны и непополнимы.
Каузальные основы психических мотиваций в пределе неопределимы, не представимы и недействительны (в формализованных системах появляются бесконечные последовательности).

Новая парадигма выражает приближение функции прогресса «разума» к сингулярности (точке экстремума), либо в виде лимита, либо в виде фуркации. ИМХО — к лимиту.
Но все мы немного выпивохи... С похмельного статус-кво хочется верить в возможность вариантов :)
( 84 comments — Leave a comment )