Комментарии к колодцу Феруэлла

Однажды условный гениальный филантроп, иррационально мыслящий изобретатель-практик Илон "Макс" Кац пригласил к себе на ранчо условного мизантропа, рационального теоретика эстетики Игоря "Фер вам!" Нагорного на threesome поговорить с условной Лив "Bet I'm live!" Тайлер, и что из этого вышло.
Фильм "Ex machina" посвящён популярной в последнее время в узких кругах широких народных масс проблематике ИИ - "Или увижу динозавра, Или нет!". Лента получила Оскара-2016 за спецэффекты. Содержит многочисленные сцены насилия над женской логикой и ненормативную научную лексику (в объёмах выше кандидатского минимума). Не рекомендуется к совместному просмотру с детьми

Цитата
Оценивают, что за время существования Го не было сыграно двух одинаковых партий, а количество возможных партий превышает количество атомов во Вселенной.

видел такое же сравнение с шахматами, че серьезно АТОМОВ во ВСЕЛЕННОЙ меньше?

Цитата (djordj @ 15.3.2016)
Читаю Бострома. Что-то он совсем уж бред несет в своей книге.

Каждый раз, когда тебе будет казаться, что Бостром несет бред, попробуй рассмотреть альтернативную гипотезу.

Цитата (djordj @ 15.3.2016)
сверхразум определенно будет способен корректировать свои цели (о чем сам Бостром писал в предыдущих главах), переопределять критерии их выполнения или даже отказываться от них.

Приведи точную цитату, поскольку я почти уверен, что либо такого вообще не написано, либо ты что-то неправильно понял.

djordj, если ты что-то не понял - спрашивай. Не надо сразу хаять книгу.

В байесовской теории вероятности никакому событию не может быть приписана вероятность в 100℅. Сверхразум по идее должен быть максимальным приближением к идеальному байесовскому агенту (в книге описывается, что это). Если дать ИИ задание сделать 200 скрепок и не указать разумные критерии, на которые ему ориентироваться, то он будет стремиться к максимизации вероятности того что он выполнил задачу. Но 100% он никогда не достигнет. Последствия, думаю, понятны.

БоевойСлон, он там писал о промежуточных целях (например, постройки заводов), достижение которых увеличит вероятность достижения конечной цели (производства достаточного количества скрепок).

Фер, интересно, как ты относишься к simulation argument?

ZiingRR, Мое мнение по таким вопрсам не так важно. Но звучит логично. Это был кстати один из вопросов, которые я забыл обсудить с Бостромом при личной встрече.

Посмотрел ролик Boston Dynamics - задумался: а зачем Гуглу именно человекоподобные роботы-то??? Просто прихоть миллиардеров? Или в этом есть какой-то смысл?

Khishtaki, в этом есть сакральный смысл - бросить вызов Творцу, который сотворил нас по своему образу и подобию.

Khishtaki, Сами роботы Boston Dynamics - это же заказ военных. В первую очередь они нужны для переноски грузов, ну и вообще.

По поводу человекоподобности - наверное тут правильно говорить о бипедализме. Он энергетически более эффективен чем хождение на 4х ногах. Причем бипедализм дал большие преимущества как людям и птицам, которые освободили две конечности для разных штук, так и тиранозаврам, у которых конечности вообще редуцировались.
Плюс ко всему - выше точка обзора, что удобно на открытой местности.
Собственно за бипедализм эволюция сражалась очень давно, основной затык был - в вычислительных способностях мозга.

Можно, конечно обсуждать, обязательно ли должен бипедальный робот выглядеть как человек. Но несомненно одно - обернув его в кожу и добавив Siri, есть смысл думать о появлении рынка секс-партнеров объемом в ХХХ триллиардов.

Khishtaki, вся человеческая инфраструктура создана для гуманоидов 160-180 см, желательно правшей.

Накидываем еще версии.

Цитата
В байесовской теории вероятности никакому событию не может быть приписана вероятность в 100℅. Сверхразум по идее должен быть максимальным приближением к идеальному байесовскому агенту (в книге описывается, что это).

Да, все что ты написал, написано в книге и это выглядет полной ерундой.

Во-первых как будет себя вести сверхразум это уже неверная постановка вопроса, потому что по определению его поведение не может быть оценено человеком достаточно точно, равно как муравей не может оценить поведение человека.

Цитата
Если дать ИИ задание сделать 200 скрепок и не указать разумные критерии, на которые ему ориентироваться, то он будет стремиться к максимизации вероятности того что он выполнил задачу. Но 100% он никогда не достигнет. Последствия, думаю, понятны.

Да, в этом и есть какой-то когнитивнный диссонанс Бострома, когда с одной стороны у нас есть сверхразум, который умнее человека как человек умнее муравья и с другой стороны он ведет себя как взбесившийся принтер. Это же полный лол. Я уже написал в своем посте, что очевиднейше, что сверхразум способен определять достижения целей не хуже человека и если человек определяет достижение в производстве скрепок адекватно, то сверхразум сделать это тем более. Кроме того сверхразум обязательно сможет пересмотреть свои цели и даже вовсем отказаться от них. Просто мегатупо сочетать сверхразумность и тотальную подчинимость изначально заданной цели. Даже человек способен перебороть свои фундаментально заложенные инстинкты, чего уж говорить о сверхразуме, которому просто раз плюнуть будет забить на любые цели, вложенные в него создателями при проектировании.

Цитата (djordj @ 16.3.2016)
есть сверхразум, который умнее человека как человек умнее муравья

Если для того, чтобы построить вечный двигатель или вылечить рак, тебе придется истребить колонию муравьев, ты будешь париться?
На муравьев тебе будет плевать, даже если просто захочется снести сарай. А еще, думаю, сегодня на обед ты съешь кого-нибудь покрупнее и поумнее муравья, хотя жизненной необходимости в этом нет вообще никакой.
Это я к тому, что в том, чтобы выпилить человеков, нет ничего "взбесившегося" - это только внутривидовая ненормальность.

InglouriousJ, Но есть один нюанс - у нас не будет предмета для конкуренции.
Кроме, конечно, 0.00001% от нашей энергии и пары тонн песка.

Цитата (Khishtaki @ 15.3.2016)
Посмотрел ролик Boston Dynamics - задумался: а зачем Гуглу именно человекоподобные роботы-то??? Просто прихоть миллиардеров? Или в этом есть какой-то смысл?

Так это тот же самый AI - робот-то сам никому не интересен - просто железка с сервоприводами и датчиками, такого можно в гараже собрать, самое интересное это алгоритмы. Просто гугль скупает все AI-ориентированное до чего может дотянуться, как фейсбук и микрософт.

djordj, Бостром писал про промежуточные (инструментальные) цели. Конечную цель ИИ менять, судя по всему, не будет. Сейчас обьясню почему.

Все живые существа постоянно что-то делают. Люди, например, едят, пьют, занимаются сексом, учатся, заботятся о своём положении в обществе, заботятся о близких и т.д. до бесконечности. Также они избегают многих вещей. В результате эволюции у нас развилась сложнейшая система ценностей и предпочтений. И главное, если мы стремимся сделать что-либо, то это исключительно потому, что наша система вознаграждения положительно откликнется (ну или мы так думаем) на это действие. Конечно, это сильное упрощение. Например наши стремлемления могут конфликтовать между собой (что и происходит чаще всего), но не суть. Смысл в том, что все живые существа всю свою жизнь гоняются на плюшками этой системы. Я читал об эксперименте, когда людям (не мышам!) вживили электроды в их центр удовольствия и дали кнопку для подачи небольшого разряда. Вели они себя не лучше мышей. Нажимали кнопку тысячи раз в час, потеряли интерес к деньгам и социальной жизни, а когда исследователи хотели отобрать кнопку, те агрессивно сопротивлялись.

Если не брать в расчёт нейроморфный интеллект, то у ИИ не будет миллионов лет эволюции в прошлом. Но чтобы ИИ был чем-то полезен, разработчики должны будут с нуля создать ему систему вознаграждения и поместить туда то, что мы от него хотим. В процессе приближения к цели могут выдаваться определённое количество баллов. Суть в том, что в процессе превращения сферы Хаббла в кучу скрепок, его будет интересовать иключительно кол-во этих баллов. Конечно, если он в самом начале не взломает сам себя и не будет накручивать баллы до бесконечности, но это уже другая история.

Интеллект, сознание, разум - это одно и то же?

Цитата (Taburett @ 16.3.2016)
Интеллект, сознание, разум - это одно и то же?

Я пас :)

Цитата (Orcus @ 16.3.2016)
InglouriousJ, Но есть один нюанс - у нас не будет предмета для конкуренции.
Кроме, конечно, 0.00001% от нашей энергии и пары тонн песка.

конфликт интересов возникнет, если

а) у ИИ будут другие планы на эту планету
б) ИИ просчитает, что людишки захотят его отключить