Das KapitalЪ (совместный блог Nameless и Khishtaki)

Вот ещё чувак с лессронга с более внушительной дистанцией:
http://predictionbook.com/users/gwern

ZiingRR @ 18.11.2016
Дистанцию заказывали?
http://slatestarcodex.com/2015/01/01/2014-predictions-calibration-results/

6 из 6 для прогнозов уровня 99% конечно солидная дистанция.
Но вообще вполне допускаю что это компетентный человек для предсказывания того, порвет ли он со своей девушкой или каким будет количество граждан республики Shireroth.
И это еще если мы считаем этого человека полностью честным, потому что в вопросах
45. I will not get any new girlfriends in 2014: 50%
46. I will not be engaged by the end of 2014: 80%
55. I will get a Tumblr in 2014: 50%
56. I will not delete/abandon either my Facebook or Twitter accounts: 60%

можно и подогнать результаты.


Но в вопросах президентства я бы больше доверился вот такой дистанции:

Получил широкую известность благодаря тому, что с помощью авторского метода ключевых вопросов «13 ключей к Белому дому» на протяжении тридцати лет (начиная с 1984 года) на выборах девять раз подряд безошибочно сумел определить среди кандидатов следующего президента США.[1][2]

Учитывая и то, что он вопреки всем предсказывал Трампа, и как минимум в этом случе сложно списать его успехи на следование очевидному.

Nameless00, посмотри ещё ссылку в начале этой страницы.

ZiingRR @ 18.11.2016
Nameless00, посмотри ещё ссылку в начале этой страницы.

Ну посмотрел. И?

Какие выводы лично ты извлек по этой ссылке?

Nameless00 @ 18.11.2016
Но в вопросах президентства я бы больше доверился вот такой дистанции:

Nameless00 @ 18.11.2016
Учитывая и то, что он вопреки всем предсказывал Трампа, и как минимум в этом случе сложно списать его успехи на следование очевидному.

Мне кажется после каждого крупного маловерятного события (кризис, брекзит, трамп и пр.) люди находят нового героя прогнозиста. Хорошо что нас почти 7млрд

gwern сделал более 2000 предсказаний, показав высокий уровень калибровки.

В формате прогноз-реальность:
50% - 43%
60% - 63%
70% - 71%
80% - 82%
90% - 91%

А вообще, мне кажется, что тут спор по большей части в определениях. Если вы будете по каждому поводу спускаться на уровень примеров, то согласия будет больше.
Проблема в том, что у слова "рациональный" нет определения единого и общепринятого. Мне например нравится определение из теории игр, что это агент, который максимизирует свой пейофф в соотвествтвии с информацией, которую имеет. На основе этого можно обобщить на реальную жизнь. И заметь, никаких байесов и Байесов.
С таким определением спорить уже не получится и придётся таки приводить конкретные вещи, с которыми ты не согласен.

И в догонку: все хорошие учёные юзают рациональное мышление (в том смысле, как я понимаю этот термин), то есть стараются максимально избавиться от bias'ов, сделать корректные выборки, критически подойти к проблеме и всё такое прочее, о чём ты знаешь. Да, они могут делать это не читая Канемана и лессронг, ну и ок.
Также и игроки в покер учатся на практике, что резалт ориентед — это плохо и что свои действия надо анализировать на дистанции. И тоже без Юдковского.
Однако что плохого, чтобы собрать все эти проблемы и подходы в одном месте? Посмотри например какое количество людей (и я не говорю даже про Широкие Массы) не подвергают свои суждения сомнениям или полагаются на выборки из 1-2 примеров.

ConstOr @ 18.11.2016
Мне кажется после каждого крупного маловерятного события (кризис, брекзит, трамп и пр.) люди находят нового героя прогнозиста. Хорошо что нас почти 7млрд

Я согласен с идеей перебора прогнозистов в принципе, но это не тот случай. Он был известен до этих выборов, он шел 8/8 что для такого редкого события в общем то неплохо, он имел стратегию на основании которой делал прогнозы до этого, и он дал полученный стратегией, но непопулярный прогноз вслух, в прессу задолго до выборов. И оказался прав. Что неслабо повышает шанс того что его стратегия реально работает.

Но вообще это все дикий офтопик на самом то деле.

ZiingRR @ 18.11.2016
gwern сделал более 2000 предсказаний, показав высокий уровень калибровки.

В формате прогноз-реальность:
50% - 43%
60% - 63%
70% - 71%
80% - 82%
90% - 91%

Ок. А теперь пояснишь для тех кто не в теме, что такое калибровка?

ConstOr @ 18.11.2016
Мне например нравится определение из теории игр, что это агент, который максимизирует свой пейофф в соотвествтвии с информацией, которую имеет.

Так с этим определением никто и не спорит.
Я спорю с тем, что декларируемые рационалистами методы (а конкретно байесианство) позволяют быть более рациональным агентом.

ConstOr @ 18.11.2016
Однако что плохого, чтобы собрать все эти проблемы и подходы в одном месте? Посмотри например какое количество людей (и я не говорю даже про Широкие Массы) не подвергают свои суждения сомнениям или полагаются на выборки из 1-2 примеров.

Ах да, самую хохму то забыл. В этой РТИ меня с Канеманом и познакомили. И с другими разными умными штуками тоже.
Они там все рационалисты были. И в большинстве своем очень умные люди. Что не помешало им вляпаться в секту.

Так что я все так же подвергаю сомнению способность рационалистов быть более рациональными чем простые смертные.

Nameless00 @ 18.11.2016
Ок. А теперь пояснишь для тех кто не в теме, что такое калибровка?

Ну ты же говорил, чтобы доверять предсказаниям типа "20% что Трамп победит" нужна большая дистанция успешных результатов. Ну вот я привёл в пример человека, у которого вероятностные прогнозы достоверно совпадают с реальностью (=хорошая калибровка).

ZiingRR @ 18.11.2016
вероятностные прогнозы достоверно совпадают с реальностью (=хорошая калибровка).

Вероятностные прогнозы чего?
У меня вот тоже вероятностные прогнозы карты оппонента хорошо совпадают с реальностью.
Только в очень узкой области.

Так что наверное не буду я на основании этоого своего навыка делать ставки на футбол или прогнозировать президентов США.

А то там есть дивные предсказания типа "0% что большинство детей в мире родится с вирусом Зика".
Прекрасно. Удивительно верно. И чего?

Или вот еще хорошее "Брексит не приведет к тысячам смертей от голода в UK".

А когда доходит до дела, то Ли Седоль там побеждает.

P.S. Чорт, а ты сам то смотрел ссылку свою?
В попытках посмотреть какие-то значимые примеры я пролистал страниц 10.
Ты в курсе что там несколько десятков (сотен?) "предсказаний" о том как будет развиваться сюжет в HP MoR и каком-то судя по всему аниме?

Достоверные прогнозы совпадающие с вымышленной реальностью.
Прикольно. Полезно. Наверное когда-то этому даже найдут применение.

ZiingRR @ 18.11.2016
В формате прогноз-реальность:
50% - 43%

А что, вот это никого не заинтересовало???

Лично я, после этой цифры дальше читать не стал. Если человек настолько ошибается в самой выпуклой части гауссианы, то какая разница, что там у него в её дальних концах?
Это же фактически означает, что у него как раз сильнейший bias, который он сам не замечает: если он чего-то не понимает, то лепит туда от балды вероятность 50%... Однако в реальной жизни перепутать 90% и 83% - это неважно, а вот перепутать 50% и 43% - это же огромная разница, мы большую часть времени живём вокруг этих 50% же.

Не очень понял, а чем так не понравился пример с мороженым? Ведь там суть не в наших цифровых оценках, которые мы берем, а в том, что мы должны учесть все известные нам факторы, их вероятности и прикинуть по шансам нам то или иное действие. А уж как у кого соотносится ценность мороженого и жизнь дочери, это личное дело каждого.

Это так же как в покере, отыграв большую дистанцию, ты можешь положиться на свои ощущения и коллировать на этом основании и это может оказаться действительно плюсово. Но гораздо плюсовее будет, если ты можешь посчитать шансы банка, прикинуть свои ауты, эквити против диапазона и потом уже решать делать ли тебе колл.

Насколько я тебя понял, ты не споришь с тем, что знать о тех ошибках которые допускает наш мозг, это хорошо. Так же как и с тем, что совершать каждый раз наиболее плюсовые действия, тоже хорошо. Но ты не согласен с тем, что человек может оценить ситуацию лучше чем его мозг, правильно?

Вот ты писал как мыслит обычный человек.

Как поступает обычный человек:
1. Сенсоры собирают информацию, поведение, внешний вид, интонации и тд
2. Лимбическая система получает ее, смотрит на предыдущий опыт, делает маленькое шаманство, выдает эмоциональную окраску человеку и передает коре головного мозга (чуйка).
3. Кора головного мозга в зависимости от полученной окраски "принимает решение" верить или нет.
4. И придумывает "аргументы" в пользу принятого решения.

У рационалиста первые 3 пункта идут такие же, они же не роботы, на мой взгляд, разница только в пункте 4. Вместо придумывания аргументов, включается проверка итогового результата на ошибки, для чего используются знания о различных когнитивных искажениях, знания о вероятностях различных событий(т.к. тут наш мозг в оценках тоже очень слаб), ну и да, можно прикинуть какую ценность для тебя несет то или иное событие и здесь важна не точность, а порядок. Не понимаю, как все эти действия могут ухудшить результат, в сравнении с просто чуйкой.

Slavik7 @ 18.11.2016
Не очень понял, а чем так не понравился пример с мороженым? Ведь там суть не в наших цифровых оценках, которые мы берем, а в том, что мы должны учесть все известные нам факторы, их вероятности и прикинуть по шансам нам то или иное действие. А уж как у кого соотносится ценность мороженого и жизнь дочери, это личное дело каждого.

Потому что каждую оценку там можно заменить на любую другую, точно так же ничем абсолютно не обоснованную, и при определенном уровне необоснованности получить противоположный результат.

Потому что когда ты назначаешь им вероятности - ты берешь их из воздуха.
Потому что когда ты назначаешь ценности мороженому - ты точно так же берешь их из воздуха и по ненормированной шкале.

В чем смысл складывать и перемножать практически случайные числа?
В результате ты получаешь число, которое ничего не говорит нам о настоящих шансах, а просто какое то число.

Представь, если бы летчики или нейрохирурги или физики ядерщики руководствовались бы таким алгоритмом.

Сколько нужно урана? Ну хер знает, пусть будет полкило.
А каков шанс что не ебнется? Ну пусть будет 5%
А какова для нас ценность всего живого на земле? Да фиг знает, ну пусть будет миллион.

Щас мы умножим полкило на 5% и на миллион и получим какое-то число. И чего?

Да, я понимаю что весь мир так живет. По чуйке.

И вот для меня видимая проблема в том, что люди руководствующиеся этим алгоритмом тоже на самом деле живут по чуйке, потому что только чуйка им выдумывает цифры и подбирает факторы которые учитываем, но при этом думают что они физики ядерщики.

P.S. Конкретизирую. Выше Иван упоминал "верить или не верить человеку".

Допустим у тебя чуйкой как у обычных людей, сложилось ощущение что ты не можешь определиться.
Например ты выделил два значимых фактора:
1. Он красивый (это понижающий фактор)
2. Он при разговоре с тобой не краснел (это повышающий доверие фактор).

И вот что теперь? Иван предложил назначить этим факторам числовые значения.

Вот ты назначил первому -5, а второму +3 и по сумме факторов должен сделать вывод что скорее надо не доверять чем доверять.
Из башки назначил, на пустом месте.

А если на самом деле справедливое значение первого фактора должно быть -2, а справедливое значение второго +6, то ты как бы должен на самом то деле этому человеку скорее доверять.

И там где обычный человек в сомнениях "а хрен его знает, потом разберемся" у тебя имеется ложная уверенность подкрепленная ложными расчетами.

P.P.S. И не надо мне говорить что рационалист на то и рационалист что он быстренько по мере необходимости все пересчитает и пересмотрит и легко откажется от своих изначально неверных убеждений.

Потому как я много наблюдал за рационалистами, включая самых идейных и не наблюдаю за ними никакой особенной способности пересматривать свои убеждения.

Точно так же упорствуют в своих заблуждениях как и я и не лучше чем в среднем по поляне среди более менее умных людей.

А скорее всего должны даже больше упорствовать по описанным мной выше причинам.

Khishtaki @ 18.11.2016
А что, вот это никого не заинтересовало???

Лично я, после этой цифры дальше читать не стал. Если человек настолько ошибается в самой выпуклой части гауссианы, то какая разница, что там у него в её дальних концах?
Это же фактически означает, что у него как раз сильнейший bias, который он сам не замечает: если он чего-то не понимает, то лепит туда от балды вероятность 50%... Однако в реальной жизни перепутать 90% и 83% - это неважно, а вот перепутать 50% и 43% - это же огромная разница, мы большую часть времени живём вокруг этих 50% же.

Я сейчас слишком пьян, чтобы спорить со всем другим, но блин. Какая самая выпуклая часть гауссианы. Окстись. Ты же математик!

Nameless00 @ 18.11.2016
Потому что каждую оценку там можно заменить на любую другую, точно так же ничем абсолютно не обоснованную, и при определенном уровне необоснованности получить противоположный результат.

Потому что когда ты назначаешь им вероятности - ты берешь их из воздуха.
Потому что когда ты назначаешь ценности мороженому - ты точно так же берешь их из воздуха и по ненормированной шкале.

В чем смысл складывать и перемножать практически случайные числа?
В результате ты получаешь число, которое ничего не говорит нам о настоящих шансах, а просто какое то число.

Представь, если бы летчики или нейрохирурги или физики ядерщики руководствовались бы таким алгоритмом.

Сколько нужно урана? Ну хер знает, пусть будет полкило.
А каков шанс что не ебнется? Ну пусть будет 5%
А какова для нас ценность всего живого на земле? Да фиг знает, ну пусть будет миллион.

Щас мы умножим полкило на 5% и на миллион и получим какое-то число. И чего?

Да, я понимаю что весь мир так живет. По чуйке.

И вот для меня видимая проблема в том, что люди руководствующиеся этим алгоритмом тоже на самом деле живут по чуйке, потому что только чуйка им выдумывает цифры и подбирает факторы которые учитываем, но при этом думают что они физики ядерщики.

1) Когда ты берёшь цифры по чуйке и вкладываешь их в правильную логику, то ты получаешь более точный ответ, чем когда сразу даёшь его по чуйке. Попробуй на любом вопросе, имеющем численный ответ, который ты потом можешь проверить.
2) Какая тебе разница, какую ложную уверенность испытывают другие рационалисты? Делай для себя поправку и всё. А то у тебя получается: "Когда люди узнают о шансах банка, они начинают чаще колировать, т.к. думают, что им не так уж часто надо выигрывать. Поэтому нахер мне эти шансы банка, не буду их считать".

Nameless00 @ 18.11.2016
Я спорю с тем, что декларируемые рационалистами методы (а конкретно байесианство) позволяют быть более рациональным агентом.

Окей, а что ты понимаешь под байесианством?
То есть там же есть строго научная часть, а есть все эти байес нет в голове и пр.
Я например тоже не думаю, что напрямую можно это применить в жизни, вот прямо по формуле. Но формула даёт интересные свойства, о которых можно помнить. Например про ложноположительные срабатывания "надёжных" тестов. Или base rate neglect (ошибка базового процента). Или просто принцип коррекции своих оценок по чуйке.
Да, и тому и тому можно научиться не читая лессронг. Но не все интересуются тервером или часто делают оценочные суждения и грамотно корректируют их (как игроки в покер например), так что лессронг может быть много кому полезен.

Nameless00 @ 18.11.2016
Ах да, самую хохму то забыл. В этой РТИ меня с Канеманом и познакомили. И с другими разными умными штуками тоже.
Они там все рационалисты были. И в большинстве своем очень умные люди. Что не помешало им вляпаться в секту.

Так что я все так же подвергаю сомнению способность рационалистов быть более рациональными чем простые смертные.

Ну хз, я бы скорее подверг сомнению один (или больше) из трёх твоих тезисов:
1. они умные
2. они "рациональные"
3. это секта
Поскольку кроме тебя, похоже никто тут не знает ни их, ни РТИ, то это плохой пример.

БоевойСлон @ 18.11.2016
Когда ты берёшь цифры по чуйке и вкладываешь их в правильную логику, то ты получаешь более точный ответ, чем когда сразу даёшь его по чуйке. Попробуй на любом вопросе, имеющем численный ответ, который ты потом можешь проверить.

Слишком много допущений.
Для начала то, что мы одинаково умеем оценивать вопросы имеющие численный ответ и нет.
Совершенно не обязательно. Исчисляемые объекты на то и исчисляемые что мы их научились считать.

Мне кажется несколько самонадеянным на основании одного делать выводы о втором.

А во вторых это фриролл. Если окажется что у меня не выходит более точного ответа, то это может быть моей особенностью, а если выходит, то вряд ли кто то примет во внимание возможность что это только моя особенность, а не системы.

Но как ты понимаешь я задавался в свое время этим вопросом и не нашел ни хороших областей применения, ни подтверждений того что это вообще применимо по жизни.
Но это ничего не доказывает, может быть это мой косяк.

С другой стороны удачных примеров применения я не увидел пока ни здесь ни в других сообществах рационалистов. Даже умозрительных.

БоевойСлон @ 18.11.2016
2) Какая тебе разница, какую ложную уверенность испытывают другие рационалисты? Делай для себя поправку и всё.

Да мне без разницы, я для себя решил что эта фигня не работает как заявлено.
Теперь вот попытался другим рассказать о своем решении и обратить их внимание на вещи, которые возможно от них ускользнули.

ConstOr @ 18.11.2016
так что лессронг может быть много кому полезен.

Конечно может. Я уже много раз выше говорил об этом.
Как набор фактов о мышлении например.

Но ведь лессронг себя так не позиционирует. Даже в той статье которую меня тут просили прочитать - попытка продемонстрировать "Байеса в жизни" встречается сразу же и как основополагающая

ConstOr @ 18.11.2016
Ну хз, я бы скорее подверг сомнению один (или больше) из трёх твоих тезисов:
1. они умные
2. они "рациональные"
3. это секта
Поскольку кроме тебя, похоже никто тут не знает ни их, ни РТИ, то это плохой пример.

Ну они употребляли Канемана задолго до того как это стало мейнстримом например на ГТ.
Возможно для них - вы плохой пример.

И мое оценочное суждение, основанное на общении с рационалистами вживую (в РТИ и на специальных сборищах в Яндексе) таково: в среднем они не уступают ничем рационалистам, с которыми я общаюсь тут, на форуме.
Конкретно основатель РТИ - так вообще значительно превосходит и буквально размазал меня когда я пытался с ним дискутировать. А это случается не так часто.

Но тем не менее эти люди в массе своей ожидали практического бессмертия (и/или наноассемблеров) для себя где-то в районе 2030-2050 годов и готовы были волонтерить для того чтобы приблизить это событие.