You are viewing fregimus

Previous Entry | Next Entry

Невероятности

oak
Как и у большинства людей, у меня нет простого интуитивного восприятия вероятности. Пытаюсь себя заставлять. Вот две задачки (вторая недавно была в журнале у mi3ch'а, а первая, кажется, из де Гроота, хотя обе, несомненно, старше) для развития такой интуиции.

1. Имеется две одинаковые коробки с шарами. В первой коробке поровну черных и белых шаров, а во второй только черные. Сперва случайным образом с равной вероятностью выбирается одна из коробок. Затем из выбранной коробки выбирается случайный шар. Этот шар оказывается черным. Какова вероятность, что при случайном равновероятном выборе нам попался ящик с одними черными шарами? Бонус за ответ, не основанный на теореме Байеса — требуется его «проинтуировать», а не вывести.

2. Ученые открыли новую инфекцию. Никаких симптомов при заражении нет, так что подозревать у себя болезнь нет никаких оснований. Однако, все-таки опасна: она значительно повышает риск умереть от внезапной остановки сердца. По счастью, инфекция редкая: только один человек из 10 000 инфицирован. Имеется анализ на инфекцию, работающий с точностью 99% (1% ошибки возможен в обе стороны — и назвать больного здоровым, и здорового больным). N. сдал этот анализ, и он показал, что N. инфицирован. Какова вероятность, что он болен на самом деле? Для тех, кто уже обсуждал это решение недавно, добавим еще один вопрос: если после первого положительного анализа N. прошел анализ еще раз, и он опять выдал положительный результат, то какова вероятность, что N. заражен?

Tags:

Comments

( 70 comments — Leave a comment )
Page 1 of 2
<<[1] [2] >>
spamsink
Dec. 8th, 2013 01:58 am (UTC)
Дается ли бонус за рисование пространства событий на бумажке вместо теоремы Байеса?
fregimus
Dec. 8th, 2013 02:00 am (UTC)
Дается. Ну, не знаю — мне кажется, что в формулу можно подставить, и не понимая сути. Возможно, я ошибаюсь, но собственно формула Байеса мне не помогает понять, что происходит, хоть я и понимаю, как она доказывается.
(no subject) - spamsink - Dec. 8th, 2013 02:12 am (UTC) - Expand
(no subject) - lomeo - Dec. 8th, 2013 08:09 am (UTC) - Expand
(no subject) - fregimus - Dec. 8th, 2013 09:49 pm (UTC) - Expand
на русском - sorrow53 - Dec. 13th, 2013 07:44 am (UTC) - Expand
gamedog
Dec. 8th, 2013 03:22 am (UTC)
три четверти, 99%, и 99.99%, но во втором случае требуется уточнять, нет ли там каких стандартных повторяемых условий для этой 1% ошибки.
это совсем интуитивно, ибо кто такой Байес викепедии еще только предстоит мне рассказать.
fregimus
Dec. 8th, 2013 04:16 am (UTC)
Как получилось три четверти? Это неправильный ответ, но интереснее всего рассуждение.

Второе совершенно неправильно, посмотрите второе возражение здесь: http://fregimus.livejournal.com/232180.html?thread=6531828#t6531828
nata_vasilisa
Dec. 8th, 2013 03:32 am (UTC)
Если позволено, комментировать людям, далеким от математики, то в первом случае 1/2, во втором все те же 99%.
fregimus
Dec. 8th, 2013 04:15 am (UTC)
То есть, в первом случае Вам кажется, что тот факт, что мы вынули черный шар, не меняет вероятности, которую мы получаем из случайности выбора коробки. Тогда попробуйте рассмотреть такой процесс: мы продолжаем вынимать шар за шаром из выбранной коробки, и все эти шары оказываются черными, второй, третий… двадцать пятый… Здесь интуиция уже справедливо подскажет, что, пожалуй, в случайном выборе мы все-таки вытащили, вероятнее всего, коробку без белых шаров.

Во втором — просто измените цифры. Пусть болен всего один человек из 7 миллиардов живущих, а анализ ошибается в 50% случаев — иными словами, анализ — это бросание монетки, даже не глядя на материал, взятый от больного. Некто получает положительный результат этого «анализа». Верно ли, что он болен с вероятностью 1/2?
(no subject) - nata_vasilisa - Dec. 8th, 2013 05:40 am (UTC) - Expand
(no subject) - fregimus - Dec. 8th, 2013 05:53 am (UTC) - Expand
w0land
Dec. 8th, 2013 04:26 am (UTC)
В первом, кажется, 2/3.

Во втором после первого теста около 1%, после второго около 50% (это если ошибка статистическая, а не систематическая).
kvakosavrus_q
Dec. 8th, 2013 04:28 am (UTC)
Интуитивно кажется что 66,6666% и 50%. "Вес" черных шаров в сполошночерной коробке в 2 раз больше веса таковых в перемешанной.
Во втором случае соображения аналогичны. Вес обоих вариантов получается схожим, хотя не могу это выразить строго - недавно проснулся и плохо думаю.
kvakosavrus_q
Dec. 8th, 2013 04:30 am (UTC)
хотя вот выше пишут что 1%, похоже таки да, 1%
shadow_geometer
Dec. 8th, 2013 05:15 am (UTC)
Две трети и примерно один процент (интуиция сперва сказала что несколько больше, на деле несколько меньше - так что врёт она, да).

Но я курс теории вероятностей читаю и довольно долго тренировался в решении задач, так что эксперимент тут уже не может считаться чистым. Формально без прямой подстановки чисел в формулу можно получить это так (рассуждения во втором случае намеренно нестрогие, потому что речь же именно про интуитивный подход):

В первом случае мы вытащили чёрный шар, треть которых находится в первой урне и две третьих - во второй.

Во втором случае, если у нас миллион человек, 0,01% болен - то есть 100 больных и 999900 здоровых. Для больных тест ошибётся 1 раз - диагноз будет поставлен 99 людям. Во втором - один из ста, то есть будет 9999 ошибок, и соответственно ложный диагноз будет у 9999 здорового. Итого больными будет объявлено 10098 человек, из них действительно больных - 99, то есть шанс 0,0098... - менее одного процента даже.

Edited at 2013-12-08 05:17 am (UTC)
fregimus
Dec. 8th, 2013 08:02 am (UTC)
Смотрите — тут более простую прикидку привели: http://fregimus.livejournal.com/232180.html?thread=6536436#t6536436
l_i_d_y_a
Dec. 8th, 2013 05:51 am (UTC)
О, в первом случае моя интуиция совпала с теоремой Байеса!

А во втором интуитивно кажется, что после первого теста от скорей всего здоров, а после второго -- скорей всего болен. Но выразить эту интуицию в цифрах я затрудняюсь.
fregimus
Dec. 8th, 2013 06:34 am (UTC)
В комментарии выше фреквентистское обоснование, без Байеса.
geky
Dec. 8th, 2013 06:30 am (UTC)
1. 2/3.

2. Видела эту задачу недавно. На второй вопрос: 99%
fregimus
Dec. 8th, 2013 06:33 am (UTC)
1. А как считали? 2. Не, меньше, много меньше!
(no subject) - geky - Dec. 8th, 2013 06:46 am (UTC) - Expand
(no subject) - geky - Dec. 8th, 2013 07:05 am (UTC) - Expand
(no subject) - fregimus - Dec. 8th, 2013 07:43 am (UTC) - Expand
(no subject) - geky - Dec. 8th, 2013 07:47 am (UTC) - Expand
shilo_namylin
Dec. 8th, 2013 06:59 am (UTC)
Немного не допонял условия, поэтому развернуто :)

1. 3/4 - вероятность извлечения черного шара вообще (кол-во коробок не важно) и 2/3 - из коробки с черными шарами (т.к. вероятность эта вдвое больше, нежели из коробки с белыми).

2. Вероятность, что УЖЕ сделанный тест верен - 99%, это из условий. Вероятность, что тест БУДЕТ положительным - 99%/10000=0,0099% или 0,000099.
fregimus
Dec. 8th, 2013 07:45 am (UTC)
Во втором спрашивается о вероятности того, что человек болен, при условии, что его анализ положителен.
(no subject) - shilo_namylin - Dec. 8th, 2013 08:04 am (UTC) - Expand
aamonster
Dec. 8th, 2013 07:53 am (UTC)
По первой просто, формулы не нужны, просто выписать 4 равновероятных расклада (ящик 1 черный, ящик 1 белый, ящик 2 черный, ящик 2 черный) и отбросить второй вариант - дальше 2 из 3.

А во второй задачке - от ~1% (если результаты двух последовательных тестов всегда совпадает) до примерно 50% (если результаты независимы, что маловероятно - обычно ошибка теста систематическая).
Прикидывал по принципу "на 10000 один больной, его наверняка задетектим, и ещё 100 ложных срабатываний; после второго независимого теста из 100 ложных останется 1".
fregimus
Dec. 8th, 2013 07:56 am (UTC)
Я подразумевал, что результаты независимы, иначе вроде как ничего и не спрашивается…

Да, примерно так, хорошее рассуждение. Самое простое из всех, что уже приводились. Просто положим 99% ≈ 100%. Очень хорошо, я не подумал о таком.
(no subject) - aamonster - Dec. 8th, 2013 08:21 am (UTC) - Expand
(no subject) - w0land - Dec. 8th, 2013 12:43 pm (UTC) - Expand
_winnie
Dec. 8th, 2013 08:11 am (UTC)
Извините, что не в TeX:

http://dobrokot.ru/pics/i2013-12-08__12-07-52_10kb.png :





Байес - простой:

Нужно взять начальные вероятности гипотез (какая урна, заболел ли),
домножить каждую из них на вероятность события при гипотезе,
получим новые вероятности гипотез согласно данному событию. Только умноженные на общий множитель (т.е их можно сравнивать, во сколько одна больше другой).

Разделив на сумму для нормализации, чтобы сумма вероятностей стала единичной - получим вероятности, без "множителя".




Edited at 2013-12-08 08:14 am (UTC)
fregimus
Dec. 8th, 2013 08:15 am (UTC)
Понятно, что простой. Но не очень интуитивный только. Смотрите, как легко ошибиться.
(no subject) - _winnie - Dec. 8th, 2013 08:19 am (UTC) - Expand
(no subject) - fregimus - Dec. 8th, 2013 08:28 am (UTC) - Expand
cmpax_u_pagocmb
Dec. 8th, 2013 08:18 am (UTC)
1. 50%

2. да точно он болен, к бабке не ходи
aamonster
Dec. 8th, 2013 08:26 am (UTC)
- Гиви, сколько будет дважды два?
- Пять, учитель!
- Докажи.
- Мамой клянусь, учитель!
(no subject) - cmpax_u_pagocmb - Dec. 8th, 2013 08:39 am (UTC) - Expand
lomeo
Dec. 8th, 2013 08:22 am (UTC)
Я решал задачу mi3ch и тогда же посчитал следующие тестирования. Получилось (примерно) 1% - 50% - 90% - 99%, кажется, при независимых тестированиях. Как объяснить не знаю. В голове представляю так: ошибка первого рода будет у 100 человек из 10000 и всего 1 будет реально болен, которого мы почти наверняка обнаружим. Отсюда и получается ~1%. Но, сомневаюсь, что это сильно поможет, потому что рассуждение, на самом деле, не совсем корректное.

Первая сразу очень похоже на 2/3, и после расчёта получается то же. Но вот объяснить трудновато. Мне нравится демонстрация aamonster, в моей голове при взгляде на задачу было примерно то же.
fregimus
Dec. 8th, 2013 09:47 pm (UTC)
Да, у него хорошая простая идея: положить 99%=100.
flat_area
Dec. 8th, 2013 08:23 am (UTC)
Задача 1.

Ящик Ч и ящик ЧБ по 50%.
Для ЧБ первый белый шар - выпадающий из описания случай - 25%.
Первый черный шар - 12.5%
Итого (50+12.5)/(50+25)*100 = 83.3333333333333

Ступил...
Итого 50/(50+25)*100 = 66.6666...%

Edited at 2013-12-08 08:30 am (UTC)
flat_area
Dec. 8th, 2013 08:39 am (UTC)
Задача 2.

99.5% так как 1% ошибки делится пополам на оба случая.
Во тором случае 0.995 + (0.005 * 0.995) = 0.999975
fregimus
Dec. 8th, 2013 08:44 am (UTC)
Представьте, что точность анализа 50%, то есть анализ не делают, а вместо этого кидают монетку. По Вашему рассуждению, если монетка выпала орлом, то человек в 75% болен…
(no subject) - flat_area - Dec. 8th, 2013 03:31 pm (UTC) - Expand
f137
Dec. 8th, 2013 11:03 am (UTC)
В задачах типа 2 интуицию сильно подводит то, что анализы обычно сдают не просто так, а имея к этому повод. А наличие повода означает, что априорная вероятность у сдающих анализ гораздо выше, чем среднее по популяции 1/10000.

fregimus
Dec. 8th, 2013 08:18 pm (UTC)
Это верно — для того я и говорю, что болезнь бессимптомная, но интуиции это же не поможет.
biglebowsky
Dec. 8th, 2013 12:59 pm (UTC)
Теорвер давно и прочно забыт, от теоремы Байеса в голове осталось одно название.
Интуитивно задачку 1 я решить не смог. Мне немедленно захотелось 1/2 разделить на 3/4. Т.е., мне пришлось именно вычислять.

Теперь, почему захотелось. Формулы Байеса я не помнил, но эта формула легко выводится в уме.
Итак.
Вероятность = число положительных исходов / общее число экспериментов.

Пусть изначально у нас было N экспериментов.
Нам нужно рассмотреть не все эксперименты, а только некое подмножество: те эксперименты, когда получился черный шар.
Легко видеть, что в подмножестве будет 3/4*N экспериментов (получили знаменатель).
Теперь найдем числитель.
Положительный исход, это - когда выбирали "черный" ящик. По всему множеству у нас 1/2*N экспериментов с положительным исходом, из них в подмножество попали все, т.е. 1*1/2*N. (Если бы интересовались другим ящиком, где шары разных цветов, то в подмножество попала бы только половина этих исходов, и было бы 1/2*1/2N).

Прочтение комментариев показало, что наиболее хорошо теорема Байеса изложена в комментарии _winnie:

Байес - простой:
Нужно взять начальные вероятности гипотез (какая урна, заболел ли),
домножить каждую из них на вероятность события при гипотезе,
получим новые вероятности гипотез согласно данному событию. Только умноженные на общий множитель (т.е их можно сравнивать, во сколько одна больше другой).
Разделив на сумму для нормализации, чтобы сумма вероятностей стала единичной - получим вероятности, без "множителя".


Во вторую задачку я не лазил - я прочитал комментарии уже после первой задачки.

Edited at 2013-12-08 01:08 pm (UTC)
fregimus
Dec. 8th, 2013 08:17 pm (UTC)
А вот смотрите, какое интересное рассуждение с шарами: http://fregimus.livejournal.com/232180.html?thread=6542068#t6542068
(no subject) - biglebowsky - Dec. 8th, 2013 09:16 pm (UTC) - Expand
(no subject) - fregimus - Dec. 8th, 2013 09:44 pm (UTC) - Expand
mss_mila
Dec. 8th, 2013 02:43 pm (UTC)
ну это же не интуиция, если вы хотите вероятность в цифрах ) Интуиция -если берешь тот ящик, который нужен, без расчетов, и когда понимаешь, что твой анализ ложноположительный без рассуждения и взвешиваний
1)а какая никакая статистика все равно. Но плохо и стем и видимо с другим
ну у меня интуитивной статистикой получает 62,5%
2)ну во втором случае надо использовать ожидаемую ценность теста , а это уже теорема Баерса
чем меньше распространенность, тем больше риск ложноположительного результата. При такой малой частоте - очень невелик риск, не более 50% вероятности, что аеализ прав, при двух положительных - ну это надо знать причину ложноположительного) если она не технического свойства, она ведь никуда не денется) Но в самом общем случае процент уверенность все равно должен быть больше, ну скажем 75% примерно
fregimus
Dec. 8th, 2013 09:46 pm (UTC)
Ну, не обязательно совсем уж без расчетов — иначе число не получится, Вы верно говорите. Просто чтобы расчет сопровождался простым, и, главное, верным пониманием того, что же рассчитывается.
timur0
Dec. 8th, 2013 04:05 pm (UTC)
интуитивное рассуждение о шарах:
1. высыпем из черной коробки все шары и половину покрасим в синий, половину - в зеленый
2. при указанном алгоритме выбора с новой раскраской шаров это означает, что нам попался "не белый" шар, т.е. черный, синий или зеленый.
3. вероятность каждого из цветов одинакова, а два цвета (синий и зеленый) как раз из "полностью черной" коробки. итого - два из трех вероятность 2/3
fregimus
Dec. 8th, 2013 07:32 pm (UTC)
Класс! Никогда бы о таком простом рассуждении не подумал!
darth_vasya
Dec. 8th, 2013 11:51 pm (UTC)
1. Высыпаем все шары (Б1, Ч1 и Ч2) в одну корзину. Ч2 шаров в два раза больше, чем Ч1, значит, и вероятность в два раза больше, итого 2/3. Байес, конечно, несколько поинтуитивнее будет :)


2. Берём миллион человек. Из них сотня заражена, из них 99 диагностировано. Из 999 900 здоровых 9999 ошибочно диагностировано. Итого шансы - 11/1111 = 0.(0099). Проверяем по Байесу: (0.0001/0.9999) * (0.99)/(0.01) = 0.(0099). Вероятность ~ 0.0098, Байес опять интуитивнее.

2б) Если провести тот же тест повторно, то ничего не изменится :)

2в) Если провести другой, независимый от первого, тест с такой же точностью, то берём 100 миллионов человек. Из них 10 000 заражено и 9801 получило два диагноза. Из 99 990 000 здоровых получило два диагноза 9999. Шансы 9801/9999 = 0.(9801). Проверяем: (0.0001/0.9999) * (0.99/*0.01)^2 = 0.(9801). Вероятность: 9801/19800 = 0.495.

2г) Что, если один тест дал положительный результат и один - отрицательный? Интуитивный ответ: количество бит "за" и "против" от двух тестов в точности компенсируется, поэтому вероятность = 0.0001. Если считать не по Байесу, а "в лоб", можно запутаться :)


Кстати, к вопросу о тренировке интуиции: http://darth-vasya.livejournal.com/368451.html

Edited at 2013-12-08 11:51 pm (UTC)
darth_vasya
Dec. 8th, 2013 11:51 pm (UTC)
(редактировал текст, не числа)
3seemingmonkeys
Dec. 9th, 2013 08:29 am (UTC)
комменты не читал. но кажется очевидным что в задачке с шарами должно быть 66%
рассуждение: у нас есть 100 пар коробок (чб, ч). мы вынимаем 100 шаров, из них половина будет вынута из чб и половина из ч. так как только половина шаров из чб окажутся черными, значит их число будет относиться к числу вынутых из ч как 1 к 2, или 33%. значит шанс вынуть черный шар из черной коробки составляет 66%.
3seemingmonkeys
Dec. 9th, 2013 08:36 am (UTC)
p.s. феномен "невосприятия" теории вероятности людьми на деле означает лишь то что язык ТВ слишком далек от разговорного и люди не понимают что от них требуется найти и что дано. если переформулировать условия задач, люди будут давать правильные ответы гораздо чаще.
(no subject) - fregimus - Dec. 9th, 2013 08:38 am (UTC) - Expand
(no subject) - 3seemingmonkeys - Dec. 9th, 2013 09:27 am (UTC) - Expand
01a2c4d6
Dec. 9th, 2013 08:45 am (UTC)
По задачке с шарами чисто интуитивно 3/8
А каков правильный ответ?
fregimus
Dec. 9th, 2013 04:53 pm (UTC)
2/3
(no subject) - 01a2c4d6 - Dec. 9th, 2013 05:06 pm (UTC) - Expand
murakina
Dec. 9th, 2013 09:32 pm (UTC)
1. 2/3
2.
берем 100 заведомо здоровых людей и тестируем. получаем 99 истинных - и 1 ложный +.
берем 100 заведомо больных и тестируем. получаем 99 истинных + и один ложный -.
но здоровых людей на планете в 9999 раз больше, значит, умножим первые данные на это число: 98901 - и 9999 +.
всего плюсов получается 10098, и из них только 99 реально больны. значит, вероятность того, что получивший положительный результат теста болен 1/102 - меньше процента?
murakina
Dec. 9th, 2013 09:53 pm (UTC)
Если N пройдет тест второй раз, и он будет положительным:
то же самое рассуждение, но для группы положительных результатов из 10098 человек, а в ней соотношение больных к здоровым не 1 к 10000, а 1 к 102.
т. е.
здоровых 99х102=10098 - и 102 +
больных 1 - и 99 +
ну примерно 50% получается?


(no subject) - fregimus - Dec. 10th, 2013 06:57 am (UTC) - Expand
rapitosov
Dec. 11th, 2013 03:59 am (UTC)
2/3

рассуждение:
если бы я из коробки с чорными шарами достал белый, то он оказался бы чорным.
вероятность того, что коробка с чорными шарами, вдвое выше. всего три варианта, два с чорной,
один со смешенной.

0,01

рассуждение:
на одного инфицированного приходится 100 ложноположительных результатов.

0,5

рассуждение:
на одного инфицированного приходится один дважды-ложноположительный.
erofeich
Jan. 9th, 2014 06:34 pm (UTC)
если такое длинное и вычурное условие, то всегда 50%
как встретить на улице динозавра
50/50 - либо да, либо нет
Page 1 of 2
<<[1] [2] >>
( 70 comments — Leave a comment )