Das KapitalЪ (совместный блог Nameless и Khishtaki)

Nameless00 @ 18.11.2016
Потому что каждую оценку там можно заменить на любую другую, точно так же ничем абсолютно не обоснованную, и при определенном уровне необоснованности получить противоположный результат.

Потому что когда ты назначаешь им вероятности - ты берешь их из воздуха.
Потому что когда ты назначаешь ценности мороженому - ты точно так же берешь их из воздуха и по ненормированной шкале.

В чем смысл складывать и перемножать практически случайные числа?
В результате ты получаешь число, которое ничего не говорит нам о настоящих шансах, а просто какое то число.

Да, можно заменить оценку, но ведь результат не поменяется, тут важен порядок чисел и суть в том, что бы понять плюсовое это для тебя действие или нет. Вероятности ты тоже не совсем из воздуха берешь, у тебя есть статистика по сбитым пешеходам, ты можешь сделать поправку на то что это это скоростное шоссе, а дочь маленькая, да и в целом лучше взять очень консервативную оценку. Понятно, что сами цифры взяты с потолка и скорее всего далеки от реальности, т.к. вряд ли стоимость жизни дочери в 6.5к раз отличается от мороженого, но даже с такой оценкой у тебя получается -ЕВ действие. Этот пример плох тем, что утрирован, а ответ очевиден и по чуйке, но на мой взгляд он довольно наглядно демонстрирует суть.

Nameless00 @ 18.11.2016
Сколько нужно урана? Ну хер знает, пусть будет полкило.
А каков шанс что не ебнется? Ну пусть будет 5%
А какова для нас ценность всего живого на земле? Да фиг знает, ну пусть будет миллион.

Щас мы умножим полкило на 5% и на миллион и получим какое-то число. И чего?

Здесь уже интереснее. То что ты написал конечно далеко от рациональности. Насколько я все это понимаю, то суть в том, что бы улучшать результат выводов по чуйке, за счет учета различных факторов о которых мозг мог и не подумать, или ошибиться в оценке. Если у тебя есть точные цифры, то вообще отлично, ты берешь и считаешь. Сколько нужно урана, вероятности аварий, всё это просчитывается учеными и явно будет лучше твоих мыслей на этот счет. Далее сравнивается вероятность того что не ебнется, умноженная на пользу от станции, с вероятностью того, что ебнется, умноженную на ценность загрязненной территории. Пользу от станции мы тоже можем прикинуть, а вот ценность загрязнения придется предположить. Но, если мы знаем что польза очень большая, а вероятность, что ебнет очень маленькая, вроде очевидно, что нам будет плюсово почти при любой оценке ценности. И если тебе по чуйке кажется, что лучше не строить реактор, то обладая нужными цифрами, ты приходишь к противоположному выводу.

Nameless00 @ 18.11.2016
P.S. Конкретизирую. Выше Иван упоминал "верить или не верить человеку".

Допустим у тебя чуйкой как у обычных людей, сложилось ощущение что ты не можешь определиться.

Мне пример Ивана тоже не особо понравился, особенно в твоей интерпретации, конечно глупо принимать решение на основании таких оценок, взвесив 2 рандомных фактора с рандомными весами. Но зная маркеры которые могут сопутствовать вранью, ты просто больше вникаешь в суть того что он говорит, внимательнее слушаешь и анализируешь и чем больше подозрений, тем дотошнее ты воспринимаешь слова говорящего.

Вот другой пример, я сегодня читал у тебя про людей с поврежденным мозолистым телом. Я не могу быть уверен, в правдивости этой информации. Какие у меня есть варианты: могу поверить на слово, а могу проверить, пойти гуглить сам, или попросить пруф. Первая мысль в голове: "чет не особо верится". Дальше начинается оценка возможных действий. В итоге в голове это приняло такой вид: написать пост - Х, погуглить самому - Y, вероятность твоего вранья - P, ценность ошибки - Z.
Х - трата времени, но неболшая.
Y - явно больше чем X, плюс еще и лень.
P - тут я вспоминаю твои другие посты, что ты много читаешь на подобные темы, так же помню, что ты сам любишь поспрашивать у людей пруфы, в общем оценил я вероятность довольно низко.
Z - отрицательная величина, я буду ходить с неверным знанием, а при случае еще могу и глупо выглядеть, если это окажется враньем, а я перескажу кому-то.
Точные цифры специально не пишу, т.к. не суть важно, эти оценки могут быть для каждого свои. Но вот быстро прикинув всё это я решил, что самое плюсовое для меня это просто поверить тебе на слово. Что отличалось от первоначального порыва и сэкономило мне время, заняв несколько секунд на обдумывание. Мог я ошибиться? Да, конечно! Но вероятность ошибки здесь меньше, чем если бы я действовал по чуйке, т.к. здесь я постарался учесть реально влияющие факторы, а мозг мог просто по инерции не верить на слово написанному в инете, особенно про работу мозга на покерном форуме.

Ну и к слову, я в уме не задавал точных цифр и вероятностей, просто прикинул порядки и постарался сделать это консервативно и успокоился, получив довольно однозначный ответ. Если бы я получил схожие по порядку значения, то тогда бы не стал доверять этой оценке, т.к. точные цифры здесь прикинуть действительно сложно. Это значило бы, что я на основании имеющихся данных никак не смог улучшить свой ответ и если больше значимых факторов я придумать не могу, то значит действуем наверняка и просим пруф.

Но, если бы ты, например, попросил денег в долг, то критерии и факторы были бы уже другими. Тут уже не играл бы роль ни рейтинг, ни твои хорошие посты на научные темы. А вот отзыв в рейтинге о финансовой порядочности мог бы уже быть с более высоким весом. Известный человек, который может поручится, еще выше. А если бы ты искал бэкинг, то были важны другие факторы и с другими весами. Ведь все эти РОИ, винрейты и кэфы можно прикинуть, оценить вероятности кидка и тд. Когда ты не уверен в точных цифрах, можно всегда прикинуть лучший и худший для тебя расклад, потом думать и уже более осмысленно решать, плюсово это или нет. А делая всё по чуйке, легко можно повестись на высокий рейтинг, на известность, не заложив достаточных рисков и принимать -ЕВ действия. Примеров этого у нас хватает.

А чем, по сути плохи эти примеры? Ты вот более или менее явно, лучше фишей, используешь теорему Байеса (и не только). А если gwern скажет "вероятность наступления Х - 70%", то с высокой вероятностью так и будет.

Ты утверждаешь, что цифры взятые из головы не могут систематически приносить пользу в точности предсказаний. Вот тебе пример, что таки могут. А для наших целей не важно, есть практическая польза от них или нет.

Soul @ 18.11.2016
Я сейчас слишком пьян, чтобы спорить со всем другим, но блин. Какая самая выпуклая часть гауссианы. Окстись. Ты же математик!

Протрезвей и объясни, что не так?

Я имел в виду следующий факт: в обычной жизни события, которые нам надо анализировать и прогнозировать, количественно распределены (скорее всего) нормально по оси их вероятности, т.е. событий с экстремальными вероятностями (близкими к нулю или к 100%) значительно меньше, чем событий вокруг 50%. Например, ликвидность опционов около текущей цены актива существенно выше, чем с далёкими страйками, ну или букмекерские линии и т.п. Поэтому прогнозирование в диапазоне 30% - 70% значительно важнее (более применимо), чем в других диапазонах.

Или ты придираешься к тому, что термин "выпуклость" употреблён мной в его не математическом, а обывательском значении? Если так, то это просто придирка, списываю её на влияние алкоголя.

ZiingRR @ 19.11.2016
А чем, по сути плохи эти примеры?

Например тем, что большинство критериев в реальной жизни нелинейны. Например, ценность денег нелинейна от их количества. И т.п.

А при ваших численных оценках вы сводите их к линейности.

Khishtaki, я спрашивал про оценку вероятности. А к нелинейностью во многих случаях всё довольно очевидно. Если твоя цель - прожить счастливую жизнь, и ты знаешь о убывающей эмоциональной ценности денег, то кто ж тебе мешает аджаститься к текущей ситуации?

Совсем забыл про Тетлока с его Good Judgment Project - http://slatestarcodex.com/2016/02/04/book-review-superforecasting/

Автор отобрал 2800 людей, просил их делать различные политические предсказания, и потом взял топ 2% лучших и обозвал их суперфоркастерами. Чуваки стабильно продолжали нагибать даже аналитиков ЦРУ, у которых был доступ к засекреченной информации. Короче, почитайте Скотта.

Кстати, недавно на встрече лессронговцев в Москве побывал один чувак из этой группы, видео плавает на ютубе. Не знаю, о чём шла речь, т.к. начало было скучное, и я забил :)

ZiingRR @ 19.11.2016
Совсем забыл про Тетлока с его Good Judgment Project - http://slatestarcodex.com/2016/02/04/book-review-superforecasting/

Автор отобрал 2800 людей, просил их делать различные политические предсказания, и потом взял топ 2% лучших и обозвал их суперфоркастерами. Чуваки стабильно продолжали нагибать даже аналитиков ЦРУ, у которых был доступ к засекреченной информации. Короче, почитайте Скотта.

Кстати, недавно на встрече лессронговцев в Москве побывал один чувак из этой группы, видео плавает на ютубе. Не знаю, о чём шла речь, т.к. начало было скучное, и я забил :)

Круто, не читал про это. Приятно понимать, что чуйка меня не подвела :).

Khishtaki, У нормального распределения пик не в нуле(в твоей интерпретации не в 50%). У нормального распределения пик в точке его математического ожидания. В этом было мое возражение.

В любом случае приведенные результаты очень и очень хороши. Предсказания с ошибкой даже в 5% на дистанции - это очень хорошо.

И чтобы закрыть тему математического занудства: гауссиана в точке матожидания вогнутая )

Soul @ 19.11.2016
У нормального распределения пик в точке его математического ожидания. В этом было мое возражение.

Я это понимаю. Я расшфировал, что я имел в виду: количество ситуаций, в которых нам реально нужен прогноз - таких ситуаций вокруг 50% больше, чем около100%.

Soul @ 19.11.2016
Предсказания с ошибкой даже в 5% на дистанции - это очень хорошо.

(43%-50%)/50% = 14%.

В приведённом примере ошибка не 5%, а 14%, по мне - так дофига. Если бы мой трейдер так ошибался, я бы его вышиб с волчьим билетом.

Khishtaki @ 19.11.2016
Я это понимаю. Я расшфировал, что я имел в виду: количество ситуаций, в которых нам реально нужен прогноз - таких ситуаций вокруг 50% больше, чем около100%.

А почему ситуаций вокруг 50% больше? И почему распределение ситуаций - это нормальное распределение?:) В предсказании погоды, например, вероятность дождя редко бывает между 30 и 70%.

Khishtaki @ 19.11.2016
(43%-50%)/50% = 14%.

В приведённом примере ошибка не 5%, а 14%, по мне - так дофига. Если бы мой трейдер так ошибался, я бы его вышиб с волчьим билетом.

Пять процентных пунктов, ок. Твой трейдер делает абсолютно другое. Он должен бить не реальность, а других трейдеров (рынок). Я очень сильно сомневаюсь, что в мире много людей, которые способны прогнозировать сложные, комплексные вещи с точностью пусть даже 15%.

Soul @ 19.11.2016
А почему ситуаций вокруг 50% больше?

не вообще ситуаций больше, а больше ситуаций, в которых нам нужна точность прогноза. Если вероятность дождя 85%, то мне пофиг, если на самом деле это 70% или 100% - я всё равно возьму зонт. Про опционы я уже писал, ну и вообще на рынках это чаще нужно. В букмекерке тоже. Скажем, если букмекер допустит ошибку от 50% попав в 43% - это принесёт его конторе большие убытки - эта ошибка далеко за гранью спреда.

Soul @ 19.11.2016
Я очень сильно сомневаюсь, что в мире много людей, которые способны прогнозировать сложные, комплексные вещи с точностью пусть даже 15%.

ага-ага, а линию Пинки пишут волшебники из Хогвартса. Какой-то дилетант сделал какую-то херню, а вы с ним носитесь, как с писаной торбой...

Khishtaki @ 19.11.2016
ага-ага, а линию Пинки пишут волшебники из Хогвартса. Какой-то дилетант сделал какую-то херню, а вы с ним носитесь, как с писаной торбой...

А подкидывание идеальной монетки вообще можно идеально точно спрогнозировать :). Линию Пинки пишут сильные профессионалы на основе сложных алгоритмов (предполагаю) и большой базы статистики (точно). Чем более стандартное событие, чем больше статистики по похожим событиям, тем выше точность прогноза. Обычный человек никогда не даст прогноз близкий по качеству к Пинке.

Khishtaki @ 19.11.2016
не вообще ситуаций больше, а больше ситуаций, в которых нам нужна точность прогноза. Если вероятность дождя 85%, то мне пофиг, если на самом деле это 70% или 100% - я всё равно возьму зонт. Про опционы я уже писал, ну и вообще на рынках это чаще нужно. В букмекерке тоже. Скажем, если букмекер допустит ошибку от 50% попав в 43% - это принесёт его конторе большие убытки - эта ошибка далеко за гранью спреда.

Ну опционы это совсем другое, там есть уже линия рынка. Это как ставки, когда все крупные конторы уже выпустили свою линию несколько дней назад и эта линия дополнительно откорректировалась рынком. В таком случае большие отклонения действительно маловероятны, потому что есть очень хороший базовый прогноз. В прогнозировании же более сложных вещей, по которым нет ни линии, ни даже статистики, подобная логика не работает.

Ps Я посмотрел прогнозы по ссылке, там прогнозы на всякий шлак. Так что я спорю не ЗА того прогнозиста, а ПРОТИВ твоей математики :)

Khishtaki @ 19.11.2016
не вообще ситуаций больше, а больше ситуаций, в которых нам нужна точность прогноза. Если вероятность дождя 85%, то мне пофиг, если на самом деле это 70% или 100% - я всё равно возьму зонт.

Приведи, пожалуйста, пример конкретной ситуации, в которой нужно принять решение на основе оценки вероятности, и где разница между 80% и 73% явно менее важна, чем разница между 50% и 43%. И почему для букмекера или трейдера ошибка между 50 и 43 намного больше, чем ошибка между 80 и 73?

По мне так наоборот, почти все важные вопросы в жизни крутятся около одного из полюсов и важно, насколько они близко к этому полюсу. С какой вероятностью обанкротится мой банк в следующие 3 года? С какой вероятностью угонят мою машину? Может ли моё недомогание означать серьёзную болезнь? И т.д, и т.п.

ZiingRR @ 19.11.2016
А чем, по сути плохи эти примеры? Ты вот более или менее явно, лучше фишей, используешь теорему Байеса (и не только). А если gwern скажет "вероятность наступления Х - 70%", то с высокой вероятностью так и будет.

Ты утверждаешь, что цифры взятые из головы не могут систематически приносить пользу в точности предсказаний. Вот тебе пример, что таки могут. А для наших целей не важно, есть практическая польза от них или нет.

Soul @ 19.11.2016
Ps Я посмотрел прогнозы по ссылке, там прогнозы на всякий шлак. Так что я спорю не ЗА того прогнозиста, а ПРОТИВ твоей математики :)

Вот этим плохи

Кстати, безотносительно того, на что делали ставки прогнозисты на этом сайте, мне кажется любопытным вот этот момент:
скрин результатов gwern'а

а вот результаты вообще всех юзеров сайта

Так вот, очень интересна категория 100% на мой взгляд. Там самая большая ошибка и похоже она системная. И это явно не какие-то там чёрные лебеди, ошибка аж 8%.
То есть когда мы считаем, что что-то произойдёт с вероятностью 100% (или 0%), стоит подумать ещё раз :)

БоевойСлон @ 19.11.2016
По мне так наоборот, почти все важные вопросы в жизни крутятся около одного из полюсов и важно, насколько они близко к этому полюсу. С какой вероятностью обанкротится мой банк в следующие 3 года? С какой вероятностью угонят мою машину? Может ли моё недомогание означать серьёзную болезнь? И т.д, и т.п.

Но вокруг полюса тебе и дадут прогноз в 3% например. Или в 5%. Или в 7%.
Или наоборот в 99% или 97%.
Хочу посмотреть как ты будешь
1. Интерпретировать это число
2. Реагировать на него
3. Набирать дистанцию по подобным событиям

Возможно Khishtaki имеет ввиду не конкретный один случай, а то что объем розыгрыша всех похожих случаев около 50% больше, чем соответственно около 80% - плотность вероятности объема розыгрыша в зависимости от %.
А БоевойСлон приводит в пример единичные случаи.

ConstOr @ 19.11.2016
Кстати, безотносительно того, на что делали ставки прогнозисты на этом сайте, мне кажется любопытным вот этот момент:
скрин результатов gwern'а

а вот результаты вообще всех юзеров сайта

Так вот, очень интересна категория 100% на мой взгляд. Там самая большая ошибка и похоже она системная. И это явно не какие-то там чёрные лебеди, ошибка аж 8%.

Насчет 100% интересно, да. Но ожидаемо и даже описано было, просто тут хорошее наглядное подтверждение.


Но хочу отметить следующий факт:
Разница между всеми прогнозами случайных людей и прогнозами "хорошего прогнозиста "gwern'a в большинстве категорий меньше чем ошибка которую gwern допускает в прогнозах с 50% исходом.

Интерпретируйте как хотите.

P.S. А и да. Несмотря на то, что каждый рационалист знает о недооценке редких событий, ошибка gwern'a в категории 100% такая же как у случайных людей.