Das KapitalЪ (совместный блог Nameless и Khishtaki)

ZiingRR @ 21.11.2016
Моё мнение - ты сильно переоцениваешь самоуверенность и непрактичность рационалистов и, соответственно, частоту, с которой они подходят к оценке ситуаций, присваивая всему баллы.

Пока мне привели два примера оценки ситуаций.
Авторами примеров были Юдковский и Соул.

И мое мнение что эти данные примеры я оцениваю верно. Почему мне из стана рационалистов не привели более лучших примеров - я хз.
Хотя вру, не хз.

Потому что более лучших примеров нет.
Потому что все примеры будут относиться к одному из двух типов:

1. Там где ошибка в конкретных цифрах вероятностей и оценок не меняет решение (как в случае дочки и скоростного шоссе), но в таких случаях правильное решение очевидно и без Байеса
2. Там где ошибка в цифрах меняет решение (как в случае с предположением врет/не врет Ивана), но тогда у меня возникает резонный вопрос - откуда взяты числа и как им можно доверять? Подсказка - никак.

Yurak2004 @ 21.11.2016
Вот собственно я об этом. Есть изначально деструктивные вещи и несложно их НЕ делать.

Сложно. Было бы несложно - не делали бы. И мир бы выглядел по другому.

Nameless00 @ 21.11.2016
Эти числа - это не ответ, а отражают степень аргументированности и обоснованности ответа, где большое число - это полный и справедливый учет всех вообще факторов.

А правильный ответ где жить можно и случайно угадать вообще не имея аргументов.

А к чему тогда эти числа? Цель ведь не "учесть все факторы", а "повысить вероятность правильного ответа". По этой шкале и нужно сравнивать рационализм с чуйкой.
Последнее предложение комментировать как-то даже и неудобно.

А вот статья как раз в тему о том, есть ли смысл использовать взятые с потолка цифры. Процитирую один фрагмент, чтобы легче понять, читать ли всё:

БоевойСлон @ 21.11.2016
Приведи пример, в котором отсутствие ложной уверенности приведёт тебя к более правильным действиям.

Ну самое очевидное это ложноотрицательная постановка диагноза например.
Я не болен раком. Я не болен спидом.

Ну или "при такой дозе алкоголя я еще могу водить безопасно".
В этих примерах корректировать свое представление о реальности может уже оказаться и некому.

Ну или совсем простое, я не знаю кто победит в матче Спартак-Зенит и не делаю/не принимаю ставку. 0ЕВ.
Но если я неверно посчитал шансы и считаю что знаю кто победит - я эту ставку принимаю. -ЕВ.

БоевойСлон @ 21.11.2016
Для меня основной плюс от отсутствия ложной уверенности - это способность к корректировке своих представлений. Но так как корректировка своих представлений на основе новых фактов - это краеугольный камень байесианства, которое ты уже объявил вредным, то тебе придётся привести какую-то другую пользу.

А вред от уверенности в отсутствии у тебя ложной уверенности куда отнесем?
Я не спорю с концепцией, как ты мог заметить. Я спорю с ее применяемостью живыми настоящими людьми.

Пришли мыши к филину, жалуются:
- Мы, мыши, самые маленькие, слабые, каждый обидеть и сожрать норовит.
Че делать?
Филин подумал, подумал - говорит:
- Вам, мыши, надо превратиться в ежей. Будете колючими - и вас не так
просто будет съесть.
Мыши убежали, радостные:
- Да, да! Превратимся в ежей! Спасемся!
Через некоторое время возвращаются к филину и робко спрашивают:
- Ты сказал, надо в ежей превращаться... НО КАК???
Филин подумал, подумал:
- Да пошли вы, мыши на хрен! Я не тактик - я стратег!!!

БоевойСлон @ 21.11.2016
А к чему тогда эти числа? Цель ведь не "учесть все факторы", а "повысить вероятность правильного ответа". По этой шкале и нужно сравнивать рационализм с чуйкой.

Если я без рационализма буду зарабатывать 50к в год, а с рационализмом 50000,003 в год, можно будет рационализмом пренебречь?

Хотя цель же не заработать всех денег, а "повысить свой заработок". Но все таки.

По этой шкале разницы между рационализмом и чуйкой нет. Даже если 2 > 1.

БоевойСлон @ 21.11.2016
А вот статья как раз в тему о том, есть ли смысл использовать взятые с потолка цифры. Процитирую один фрагмент, чтобы легче понять, читать ли всё:

Ну что ж вы меня за непонятно кого принимаете. Читал я все это.

А теперь расскажи мне как на примере с диагнозом рака груди доказывается полезность использования взятых с потолка цифр?

И на всякий случай конкретно этот пример не очень. Нерациональные доктора которые все повально ошиблись в определении истинной вероятности, просто зная (имея методички) о том что тут шанс ложноположительного диагноза достаточно высок - всегда делают повторное обследование перед постановкой окончательного диагноза и даже предупреждают пациентов о том что диагноз не окончательный. Вот так вот просто, без Байеса.

Nameless00 @ 21.11.2016
Ну самое очевидное это ложноотрицательная постановка диагноза например.
Я не болен раком. Я не болен спидом.

Ну или "при такой дозе алкоголя я еще могу водить безопасно".

Т.е. ты реально считаешь, что обычный человек в среднем правильнее примет решение, провериться ли на рак, чем рационалист, который почитал информацию про свои симптомы, присвоил веса ошибкам обоего рода (ложноположительным и ложноотрицательным) и на основе этих взятых с потолка цифр принял решение?

Ты реально считаешь, что обычный человек по чуйке реже сядет пьяным за руль, чем рационалист, который посмотрел статистику аварий с пьяными водителями, присвоил веса своей жизни, угрозе для чужой жизни, стоимости поездки на такси и пр., и вычислил таким образом своё действие?

И ты говоришь, твои выводы "про живых людей"?

Nameless00 @ 21.11.2016
Ну или совсем простое, я не знаю кто победит в матче Спартак-Зенит и не делаю/не принимаю ставку. 0ЕВ.
Но если я неверно посчитал шансы и считаю что знаю кто победит - я эту ставку принимаю. -ЕВ.

А здесь ты почему-то предполагаешь, что рационалист чаще ошибается "в неправильную" сторону.

БоевойСлон @ 21.11.2016
А здесь ты почему-то предполагаешь, что рационалист чаще ошибается "в неправильную" сторону.

рационалист одинаково ошибётся в обе стороны. Но опытные бетторы сожрут его линию только с той стороны, с которой он ошибётся :)

БоевойСлон @ 21.11.2016
Т.е. ты реально считаешь, что обычный человек в среднем правильнее примет решение, провериться ли на рак, чем рационалист, который почитал информацию про свои симптомы, присвоил веса ошибкам обоего рода (ложноположительным и ложноотрицательным) и на основе этих взятых с потолка цифр принял решение?

Вопрос был в том где может навредить ложная уверенность, а не в том кто правильнее примет решение.
Но вообще да. Потому что обычный человек в среднем не имея представления, оставит право решать докторам.
А как то так сложилось что доктора в среднем лечат лучше чем рационалисты.
Даже с учетом подмножества докторов-рационалистов.

БоевойСлон @ 21.11.2016
Ты реально считаешь, что обычный человек по чуйке реже сядет пьяным за руль, чем рационалист, который посмотрел статистику аварий с пьяными водителями, присвоил веса своей жизни, угрозе для чужой жизни, стоимости поездки на такси и пр., и вычислил таким образом своё действие?

И тут может оказаться элементарно. Гипотетический сценарий:

Гипотетический обычный человек: видел недавно Машкин сожитель пьяный в жопу въехал в столб, машина в хлам, сам в лоскуты, кровищи было, потом неделю отмывали тротуар, ну нахуй такую езду, вызывайте такси. (Хотя он тут нерационально оверреактит на шанс редкого события, как в случае с авиакатастрофами).

Гиоптетический неидеальный рационалист: я все посчитал и выяснилось что шанс попасть в аварию после двух бокалов пива возрастает крайне незначительно, вот исследования аварий в Швеции (ну нет таких по Казахстану, но мы назначим этой цифре корректировочный вес из головы), вот из головы пересчет выпитых мной коктейлей в пиво, вот учтем понижающий фактор сытной закуски, вот еще какие-то обрывочные домыслы которым я назначил числовые значения, все по формуле перемножил- можно ехать.

Реальность: ехать было не надо, в подсчетах использовались неверные цифры, неверные коэффициенты и не были учтены некоторые важные факторы.

Nameless00 @ 21.11.2016
А теперь расскажи мне как на примере с диагнозом рака груди доказывается полезность использования взятых с потолка цифр?

И на всякий случай конкретно этот пример не очень. Нерациональные доктора которые все повально ошиблись в определении истинной вероятности, просто зная (имея методички) о том что тут шанс ложноположительного диагноза достаточно высок - всегда делают повторное обследование перед постановкой окончательного диагноза и даже предупреждают пациентов о том что диагноз не окончательный. Вот так вот просто, без Байеса.

Идея в том, что если доктор из своего опыта прикинет априорную (неизвестную ему точно) вероятность наличия рака груди, и затем применит Байеса - то он почти всегда получит более точный ответ, чем он дал изначально, по чуйке.

При интуитивной оценке простых факторов мы ошибёмся меньше, чем при интуитивной оценке сложных. Во многих случаях мы ещё сможем статистику найти. Ну или как минимум наша "рациональная модель" покажет нам, на какие факторы нам надо обратить более пристальное внимание.

А методички как бы не на все случаи жизни бывают.

Khishtaki @ 21.11.2016
рационалист одинаково ошибётся в обе стороны. Но опытные бетторы сожрут его линию только с той стороны, с которой он ошибётся :)

This.

Мир полон контор, которые живут за счет людей, которым неочевиден тезис что "рационалист чаще ошибается в неправильную сторону".

Потому что любой человек в среднем против линии букмекеров чаще ошибается в неправильную сторону, независимо от того рационалист он или дзюдоист.

Nameless00 @ 21.11.2016
Гипотетический обычный человек: видел недавно Машкин сожитель пьяный в жопу въехал в столб, машина в хлам, сам в лоскуты, кровищи было, потом неделю отмывали тротуар, ну нахуй такую езду, вызывайте такси. (Хотя он тут нерационально оверреактит на шанс редкого события, как в случае с авиакатастрофами).

А другой гипотетический обычный человек такого случая не увидит (и моя рациональная модель подсказывает мне, что таких людей гораздо больше) и поедет после стакана водки.
Совсем уже спекулятивные рассуждения пошли.

Khishtaki @ 21.11.2016
Но опытные бетторы сожрут его линию только с той стороны, с которой он ошибётся :)

А опытные бетторы как свою линию строят? Неужто по чуйке? Или всё-таки прикидывают разные факторы и делают корректировки?

Nameless00 @ 21.11.2016
Потому что любой человек в среднем против линии букмекеров чаще ошибается в неправильную сторону, независимо от того рационалист он или дзюдоист.

Так это исключительно из-за комиссии. И я точно так же скажу, что у нерационалиста гораздо больше шансов начать ставить против букмекеров. И уверенность, что он может бить контору, у него будет выше.

Ты опять сравниваешь рационалиста не с обычным человеком, а с каким-то безошибочным чуй-автоматом. Который в нужный момент увидит машину, врезавшуюся в столб, и примет на этой основе правильное решение.

БоевойСлон @ 21.11.2016
Идея в том, что если доктор из своего опыта прикинет априорную (неизвестную ему точно) вероятность наличия рака груди, и затем применит Байеса - то он почти всегда получит более точный ответ, чем он дал изначально, по чуйке.

Удалил все к чертям, ибо наплодил сущностей сверх меры и опять от конкретики уйдем черт знает куда.

Кратко и по существу:

Мое утверждение: люди редко получают правильный ответ в уравнении типа X*Y=Z в случаях когда им приходится выдумывать самим X и Y.

Твой ответ: вот посмотри пример с докторами, там все получилось.

Я смотрю пример с докторами, а там 1*2=Z.

Такой пример не годится.
Поэтому я возвращаюсь к своему предыдущему утверждению - оперирование случайными числами не улучшает твою способность делать правильные прогнозы выше чем обычным путем.

БоевойСлон @ 21.11.2016
А опытные бетторы как свою линию строят? Неужто по чуйке? Или всё-таки прикидывают разные факторы и делают корректировки?

У них в отличие от рационалиста есть настоящие данные и работающие алгоритмы.
Поэтому их уверенность не ложная.

Тоже удалил первую часть.

Мне вот вспомнилась книга Канемана. Ты хотел примеров использования рационализма?

Важный вывод данного исследования состоит в том, что алгоритм, сочиненный «на коленке»... с легкостью превосходит прогноз эксперта. Это правило применимо ко многим областям, будь то выбор акций для инвестиционного портфеля или выбор метода лечения врачами или пациентами. Классическое применение этот подход нашел в простом алгоритме, который спас жизнь сотням тысяч новорожденных. Акушеры знают, что ребенок, у которого в первые минуты после рождения не устанавливается нормальное дыхание, впоследствии подвержен высокому риску повреждений головного мозга и гибели. До вмешательства анестезиолога Вирджинии Апгар в 1953 году врачи и повивальные бабки, оценивая состояние новорожденного, полагались на собственные клинические суждения. При этом каждый специалист искал определенные симптомы: одни изучали проблемы с дыханием, другие – когда раздастся первый крик. Без стандартизированной процедуры признаки опасности часто упускались из виду, и многие дети погибали в младенчестве.

Однажды за завтраком начинающий врач спросил Апгар, как проводить комплексную оценку состояния новорожденного. «Это просто, – ответила она. – Надо сделать вот так...» С этими словами Апгар наскоро записала пять параметров (пульс, дыхание, выраженность рефлексов, мышечный тонус и цвет кожных покровов) и три варианта оценки (0, 1, 2 – в зависимости от степени проявления признака). Осознав, что ее метод легко применить в любой родильной палате, Апгар начала оценивать по этой шкале младенцев через минуту после рождения. Ребенок с общим показателем от 8 и выше находился в хорошем состоянии: он дрыгался, кричал и гримасничал, имел пульс от 100 и выше, а также розовый цвет кожи. В то же время ребенок с показателем 4 и ниже – синюшного цвета, вялый, малоподвижный, со слабым пульсом – нуждался в срочной медицинской помощи. Персонал родильных палат, пользуясь шкалой Апгар, получил постоянные стандарты для определения того, какому ребенку грозит опасность, что в итоге значительно понизило смертность среди детей до года.

А вот его опыт по оценке будущих солдат:

Я склонялся к процедуре, при которой интервьюеры могли бы выделить значимые личностные характеристики и оценивать их по отдельности. Конечная оценка боепригодности должна была вычисляться по стандартной формуле без каких-либо дополнительных вкладов со стороны оценщиков. Я составил список из шести характеристик, важных, как мне казалось, для выполнения боевых задач, – «ответственность», «коммуникабельность», «мужская гордость» и так далее. Затем были составлены вопросы по каждому пункту, в основном касающиеся жизни новобранца до призыва: места его работы, отношение к службе или учебе, частота встреч с друзьями, спортивные интересы и тому подобное. Нам необходимо было как можно объективнее определить, насколько хорошо новобранец себя проявил в каждой из областей. Отдавая предпочтение стандартным, фактическим вопросам, я надеялся победить эффект ореола, при котором благоприятное первое впечатление влияет на последующие суждения. В дальнейшем для предотвращения этой ошибки я предлагал вести опрос в строгой последовательности по списку качеств и оценивать каждое по пятибалльной шкале, прежде чем переходить к следующему. На этом нововведения закончились. Я посоветовал интервьюерам не тревожиться о будущем призывников на новом поприще – в их задачи входил лишь поиск фактов о прошлом новобранцев и применение этих фактов для оценки личностных качеств в баллах. «Ваше дело – произвести измерения, а прогностическую оценку предоставьте мне», – сказал я своим подопечным, имея в виду, что займусь составлением формулы, которая сочетала бы данные по всем параметрам.

Интервьюеры готовы были взбунтоваться. Смышленым девушкам и парням не понравилось, когда кто-то чуть старше их велел отключить интуицию и целиком сосредоточиться на нудных опросах. «Вы превращаете нас в роботов!» – возмутился один. Я пошел им навстречу. «Проведите опрос точно как я сказал, а когда закончите, закройте глаза, представьте новобранца в качестве солдата и поставьте ему балл от одного до пяти». Мы провели несколько сот собеседований по новому методу, а спустя несколько месяцев собрали данные об успехах солдат от офицеров тех подразделений, к которым приписали новобранцев. Результаты нас порадовали. Как и предполагалось в работе Мила, новая процедура собеседования значительно превзошла старую в результативности.

Комплексная оценка по всем шести показателям предсказывала успехи новобранца гораздо точнее, нежели прежняя. Правда, метод все же был далек от совершенства. Мы сделали «абсолютно бесполезное» «умеренно полезным»,но не более.

Меня поразило, что интуитивные суждения интервьюеров по методу «закрой глаза» также хорошо себя зарекомендовали – результат был не хуже, чем при
механическом суммировании шести отдельных оценок. Я получил урок, которого никогда не забуду: интуиция спасает даже в случае справедливо раскритикованного отборочного собеседования, но лишь после продуманного сбора объективных данных и продуманного же подсчета баллов по каждому параметру. Оценкам, полученным в ходе метода «закрой глаза», я придавал тот же вес, что и сумме оценок по шести параметрам. Иначе говоря, я научился
не доверять интуитивным суждениям (как своим, так и чужим), но вместе с тем и не отметать их.

Заметь, в обоих случаях оценки по каждой шкале берутся "по чуйке". Цвет кожи новорожденного не измеряют спектрометром, а "ответственность" новобранца оценивается вообще непонятно как, на основе нескольких вопросов. Веса в случае новорожденного просто равны 1, никто их не подбирает. И итоговый результат получается гораздо лучше, чем интуитивная оценка. Более того, после того, как ты проанализировал разные факторы со взятыми "с потолка" цифрами - тебе даже необязательно придавать им веса: ты можешь "закрыть глаза и дать оценку", и это будет гораздо лучше, чем если бы давал оценку сразу.

И об этом же пишет и Скотт в статье, которую я приводил:

In cases where we really don’t know what we’re doing, like utilitarianism, one can still make System 1 decisions, but making them with the System 2 data in front of you can change your mind. Like “Yes, do whatever you want here, just be aware that X causes two thousand people to die and Y causes twenty people an amount of pain which, in experiments, was rated about as bad as a stubbed toe”.

Ты почему-то считаешь, что если нельзя учесть все факторы, и учесть их точно, то этим и заниматься не надо. Но вот эти два примера явно говорят об обратном. Достаточно грубой прикидки нескольких важных факторов, чтобы заметно улучшить точность решения.

БоевойСлон @ 21.11.2016
Ребенок с общим показателем от 8 и выше находился в хорошем состоянии: он дрыгался, кричал и гримасничал, имел пульс от 100 и выше, а также розовый цвет кожи. В то же время ребенок с показателем 4 и ниже – синюшного цвета, вялый, малоподвижный, со слабым пульсом – нуждался в срочной медицинской помощи.

Синюшный ребенок со слабым пульсом...

Вот тут я бы очень хотел видеть пруф, потому что утверждение выглядит очень странно и шансу на то что тут кто-то предвзят имеет в моей голове большую апостериорную вероятность чем обычные другие утверждения.

БоевойСлон @ 21.11.2016
Меня поразило, что интуитивные суждения интервьюеров по методу «закрой глаза» также хорошо себя зарекомендовали – результат был не хуже, чем при механическом суммировании шести отдельных оценок.

А гемора больше. Я же говорю, наукоподобие.

БоевойСлон @ 21.11.2016
Мы сделали «абсолютно бесполезное» «умеренно полезным»,но не более.

Вот я об этом всю дорогу говорю. Результаты не лучше чем у стандартной методики, но шума то.

Более того. Как ты думаешь, каков шанс того что в книгу Канемана попали примеры, когда вводили шкалу или опросник, но результат был хуже чем без него и от них отказывались впоследствии?

И как ты думаешь, а в жизни на самом деле такие примеры бывают?

БоевойСлон @ 21.11.2016
Достаточно грубой прикидки нескольких важных факторов, чтобы заметно улучшить точность решения.

Палочная система раскрываемости и преступности в МВД сгодится в качестве контрпримера?
Грубо прикинули что раскрываемость преступлений важный фактор, а точность решения че то не але.

P.S. И мне кажется ты зря неверно сравниваешь "польза решения с грубыми подсчетами" vs "польза решения без подсчетов".

Надо сравнивать "польза решения с подсчетами" * "коэффициент уверенности что решение правильное" vs "польза решения без подсчетов" * "коэффициент уверенности что решение правильное".

И даже сумму всех решений принимаемых на дистанци по первой и второй методе.

Это и покажет цену ошибки. И я утверждаю что в первом случае, с подсчетами, уверенность в том что решение правильное (а как же, у тебя же есть подсчеты), выше и соотвественно выше цена ошибки.

А следовательно сумма цены ошибок во всех решениях на дистанции может оказаться не лучше.

Nameless00 @ 21.11.2016
Цитата (БоевойСлон @ 21.11.2016)
Меня поразило, что интуитивные суждения интервьюеров по методу «закрой глаза» также хорошо себя зарекомендовали – результат был не хуже, чем при механическом суммировании шести отдельных оценок.
А гемора больше. Я же говорю, наукоподобие.

Цитата (БоевойСлон @ 21.11.2016)
Мы сделали «абсолютно бесполезное» «умеренно полезным»,но не более.
Вот я об этом всю дорогу говорю. Результаты не лучше чем у стандартной методики, но шума то.

Ты не прочитал текст, что ли... Там же сказано, что интуитивные суждения стали хороши только после того, как они оценили разные факторы.

Nameless00 @ 20.11.2016
А тем временем, если кому интересно, НАСА официально подтвердила EmDrive.
А он вообще-то нарушает закон сохранения импульса.

Вместе с тем наездом на темную материю и энергию о которой я тут писал, может сложитьсч прелюбопытнейшая картина в скором будущем.

Что-то знатоки эту тему обошли. А действительно интересно - прорывная технология ведь обещается. Неужели так сложно доказать или опровергнуть? Может никто связываться просто не хочет, например недавно такую статью в Газете читал: https://www.gazeta.ru/science/2016/11/19_a_10348331.shtml

Какие вероятности что двигатель работает/закон сохранения импульса не работает по мнению байесианцев, скептиков и ракетостроителей?