Комментарии к колодцу Феруэлла

Цитата
В целом моя предвыборная кампания не была бы такой успешной, если бы я неожиданно не встретился в Москве с доктором наук профессором Кедровым. Когда речь зашла о выборах, профессор предложил:
— Артем Михайлович, давайте я расскажу вам, как должно быть устроено наше государство, чтобы людям жилось хорошо. Это может стать вашей предвыборной платформой, и тогда вы сразу обретете ясную государственную позицию…
До сих пор я вспоминаю рассказ профессора Кедрова. Он нарисовал мне простую и понятную картину устройства общества, которая до сих пор нигде не внедрена. У нас в России мы несколько раз имели шанс ею воспользоваться, когда менялась власть на Горбачева, на Ельцина и на Путина. Я каждый раз пытался донести это предложение до властных структур, но меня никто не слышал и не хотел услышать.
Ну что же, все равно программа профессора Кедрова обеспечила мне действительно сильную позицию на всех выборах, в которых я участвовал. Развивая ее и придавая ей современное звучание, я был абсолютно недосягаем для конкурентов. Потому что не просто критиковал, а говорил о конкретной системе, которая могла бы заменить существующую власть как на местах, так и в самом центре.
Профессор был математиком, поэтому излагал все с позиции своих знаний и специальности:
— Любая задача, если ее рассмотреть на системном уровне, представляет собой дерево, где каждая веточка — направление, в сумме с другими дающая решение основной задачи, которая есть ствол этого дерева. В Конституции Советского Союза записано, что главная задача нашего государства — удовлетворение растущих материальных и духовных потребностей советского гражданина. Значит, надо построить государство так, чтобы оно работало на выполнение этой главной задачи. И если выстроить систему управления соответствующим образом, несмотря на человеческий фактор, несмотря ни на какие трудности, задача будет решаться автоматически.
Кедров считал, что наше государство было устроено прямо противоположным образом и работало против удовлетворения потребностей его граждан. Чего стоило, например, распределение бюджета. Сто пятьдесят министерств, комитетов и ведомств в конце года делили все деньги в стране. Причем каждое министерство требовало денег раза в два больше, чем требовалось. Когда выделялась немного урезанная сумма, она все равно была сильно завышена. Потом бюджет распределялся по отраслевым предприятиям, а они тоже на всякий случай завышали свой бюджет…
Когда к концу года лишние деньги накапливались, их нужно было срочно тратить, чтобы отчитаться. Если вы получили деньги и не израсходовали их в конце года, вам в следующий раз срежут бюджет. Надо истратить все до копейки!
Подобный бред происходил по всей стране — и все из-за глупого распределения бюджета и нерациональной структуры власти.
— Разве существующая система может работать на то, чтобы удовлетворять мои растущие потребности? — риторически спрашивал профессор Кедров и сам же отвечал: — Конечно, нет! Хотя потребностей у меня всего девять, как у любого человека, будь то у нас или за рубежом! Вот послушайте: мне надо, чтобы я был защищен, накормлен, одет, получил жилье, имел работу, чтобы кто-то заботился о моем здоровье, дали возможность получить образование, помогли бы мне со стариками и с детьми и предоставили время для отдыха. Вот и все мои потребности. Посчитайте сами, сколько получается, — девять!
Профессор смотрел на меня поверх очков.
— Так вот, поскольку мне от власти больше ничего не надо, она и должна быть так организована, чтобы обеспечивать все мои потребности. Тогда я буду ее содержать на отчисления от своих заработков и радоваться ее деятельности, — продолжал профессор. — Значит, у нас должно остаться всего — сколько? — девять министерств. Больше никому не надо. Какие? Министерство защиты граждан, в котором будут сосредоточены и оборона, и силовые структуры, и экология — все они работают на одну мою потребность и меня защищают! Министерство еды, которому нужно отдать и производство, и торговлю, и транспорт, и сельское хозяйство — все, что имеет отношение к моему питанию. Министерство товаров народного потребления — его задача создать условия для обеспечения меня всем необходимым — от трусов до автомобиля. Министерство жилья — это понятно? Мне нет никакого дела до производства строительных материалов, краски, цемента и прочего. Все это должно быть сосредоточено в одних руках — в министерстве жилья. Министерство работы, министерство охраны здоровья, министерство образования, министерство социальной помощи и министерство досуга! Я ничего не забыл? Кажется, нет.

Один косяк вспомнил! Министерство правды забыли.

Сейчас психология переживает не лучшие времена. Она столкнулась с так называемым «кризисом воспроизводимости исследований», и проявляется он в том, что учёные не могут повторить чужие эксперименты и подтвердить достоверность научных работ. Такие проблемы возникают в разных областях знаний, но психологии и медицине особенно не повезло. Два года назад в журнале Science опубликовали статью о том, как 270 человек пытались воспроизвести 100 психологических экспериментов. Им это удалось — но только в 39% случаев.

Особенно досталось явлению под названием «прайминг»: оно предполагает, что символы и объекты окружающей среды влияют на наше поведение, даже когда мы не обращаем на них внимания. Например, в одном из исследований, посвящённом праймингу, молодые люди якобы снижали темп ходьбы после того, как прочли текст о старости. В 2011 году Даниел Канеман выпустил книгу «Думай медленно… решай быстро», посвящённую последним открытиям в области социальной психологии. Она стала бестселлером и заслужила множество наград — в частности, от газет Los Angeles Times, The Wall Street Journal, The Economist и от Национальной академии наук США. В своём популярном труде Канеман не обошёл вниманием и прайминг — он рассматривает это явление подробно, едва ли не с любовью, и цитирует множество связанных с ним исследований.

Проблемы начались уже в год выхода книги — тогда в фальсификации обвинили голландского учёного Дидрика Штапеля, который занимался, в том числе, изучением прайминга. Ещё через год исследователи из Бельгии сообщили, что им не удалось повторить эксперимент с замедлением темпа ходьбы, о котором пишет Канеман. Нобелевский лауреат адресовал автору оригинальной научной работы открытое письмо и призвал его и других коллег проверить воcпроизводимость исследований прайминга.

Но на этом история не закончилась. Недавно исследователь из Торонтского университета (University of Toronto) Ульрих Шиммак (Ulrich Schimmack) решил проверить статистическую достоверность исследований, процитированных Канеманом в главе о прайминге. Шиммак серьёзно озабочен кризисом в области психологии, в 2014 году он создал специальный сайт с целью «увеличить воспроизводимость результатов опубликованных научных работ». Учёный разработал специальный статистический инструмент — «индекс воcпроизводимости» («replicability-index»), который на основе статистической значимости и статистической мощности рассчитывает вероятность повторения экспериментов.

«R-индекс ниже 50 показывает, что статистически значимый результат был получен за счёт подгонки к особенностям выборки, хотя сложно рассчитать, насколько», — пишет Шиммак.
Он проанализировал исследования, упомянутые нобелевским лауреатом, и пришёл к неутешительным выводам:

«В главе процитированы 12 научных работ, и 11 из 12 статей имеют R-индекс меньше 50. <...>
Читателям его [Канемана] книги не стоит рассматривать представленные исследования как научное обоснование того, что едва уловимые сигналы окружающей среды могут оказывать сильное и неосознаваемое влияние на поведение».
В комментариях к статье появился сам Даниел Канеман — он ответил на критику и не стал ничего отрицать:

«Авторы блога совершенно правы в том, что я слишком полагался на исследования с низкой статистической мощностью. Авторы блога, как и Эндрю Гельман (Andrew Gelman) до них, отмечают, что в этом есть определённая доля иронии, ведь первая опубликованная нами с Амосом Тверским статья была посвящена вере в «закон малых чисел», благодаря которому исследователи склонны доверять результатам исследований с неоправданно маленькими выборками. Мы также цитировали работу Овералла (John E. Overall) (1969), который показал, что «широкое распространение исследований с недостаточной статистической мощностью не только неэффективно, но и вредно: оно приводит к тому, что значительная часть опубликованных работ отвергает нулевую гипотезу без достаточных на то оснований». Наша статья была написана в 1969 и опубликована в 1971, но я не смог усвоить её урок».
Авторы блога Retraction Watch связались с Канеманом, и учёный подтвердил, что комментарий в блоге действительно принадлежит ему.

«Этот довод неопровержим: исследования, которые не обладают достаточной мощностью для выявления вероятных эффектов, должны периодически давать статистически незначимые результаты даже в тех случаях, когда гипотеза верна — отсутствие таких результатов говорит о том, что в публикации допущена ошибка. Более того, публикационное смещение негативно сказывается на двух основных инструментах, которые психологи используют для подтверждения гипотезы: метаанализе и концептуальной репликации.

Очевидно, что экспериментальные подтверждения идей, о которых я писал в этой главе, были гораздо менее убедительными, чем мне казалось, когда я писал книгу. Это была ошибка: я знал достаточно, чтобы умерить свой пыл по отношению к удивительным и элегантным исследованиям, на которые ссылался, но не продумал этот момент», — написал нобелевский лауреат Шиммаку.
Однако и отрекаться от скомпрометированных работ учёный не стал:

«Мне до сих пор симпатичны все процитированные мной исследования, и я не «разуверился в них», как выразился Дэниел Гилберт (Daniel Gilbert). Я был бы рад, если бы каждое из них воспроизвели на большой выборке. Однако я усвоил, что авторы, которые делают обзор какой-то области знаний, должны остерегаться подкреплять свои заявления яркими результатами исследований со слабой доказательной базой».