Комментарии к колодцу Феруэлла

Подумалось тут насчёт искусственного интеллекта и борьбы за его ограничение.

Внимание, всё дальнейшее касается именно полноценного интеллекта с всесторонней системой целеполагания, а не условного "абсолютного оружия", необходимость запрета разработки которого бесспорна.

Смотрите: никто не сомневается, что искусственный интеллект будет несоизмеримо более могучим, чем человеческий. И все наши опасения заключаются только в том, что он может из своих соображений уничтожить человечество.
Однако, представьте себе масштаб задач, которые сможет решать этот сверхинтеллект! Сфера Шварцшильда, освоение Галактики, может даже преодоление проблемы смерти Вселенной.
Ещё раз:искусственный интеллект сможет справиться с проблемами Вселенского масштаба.
Морально ли ограничивать его появление, или пытаться наложить на него некие искусственные "оковы" ради такой мелочи (во вселенском масштабе), как угроза уничтожения человечества?
И чем это отличается от любого другого асоциального поведения, например, продажи пиццы в целях личного обогащения?

Итак формулируем два вопроса:
1. Не слишком ли много человечество о себе возомнило? Может быть, если Сверхразум самостоятельно решит, что человечество должно быть уничтожено - это будет корректное и оптимальное решение?
2. Если можно совершать Вселенский вред ради частных интересов Человечества, то почему нельзя совершать общечеловеческий вред ради интересов индивидуума? Где грань?

все, что мне пришло в голову -

Цитата (Khishtaki @ 15.9.2015)
2. Если можно совершать Вселенский вред ради частных интересов Человечества, то почему нельзя совершать общечеловеческий вред ради интересов индивидуума? Где грань?

Грани нет, есть конфликт интересов.

ну так и у Остапа Бендера были неразрешимые противоречия с обществом (считай тот же конфликт интересов)... То есть получается, МОЖНО?!

Цитата (Khishtaki @ 15.9.2015)
Где грань?

Я уже где-то здесь фантазировал на подобную тему.
Возможно, это вообще неизбежно и сделать ничего нельзя. Возможно люди и вся биологическая жизнь - это просто первый этап эволюции. Создать электронный эволюционирующий разум с нуля было сложно, и система пошла этим путём. Возможно, весь этот процесс вообще запрограммирован неким свехсуществом, которое таким образом переживает смерть Вселенной. Допустим, Вселенная циклична, и в конце очередного цикла оно создаёт определённые условия в зародыше новой Вселенной, при которых на одной из планет появится разумная биологическая раса, которая и воссоздаст его через энное количество миллиардов лет. Отсюда можно развить кучу самых разных фантастических сценариев.

По поводу того, можно ли уничтожить человечество из каких-то высших целей, тоже вопрос хороший. Для начала его можно поставить не так радикально - скажем, допустимо ли изменить часть или всех людей так, что они уже не будут людьми, а будут кем-то совсем-совсем другими с нашей точки зрения? Собственно, эволюция этим и занимается, но медленно, и нам это не особо заметно. А если изменение произойдёт скачкообразно, то это уже серьёзный вопрос (генетически модифицированные люди, киборги и т.д.). Разум людей тоже можно искусственно сделать сверх-, и могут получиться существа, настолько же далёкие от нас, как мы от шимпанзе сейчас. Их цели и задачи могут быть для нас настолько чуждыми, что ... (тут возможны разные варианты, и людены у Стругацких - это ещё один из самых нормальных, вероятно).

Один из вариантов описан у Юдковского в рассказе "Тройной контакт", там даже два финала написано с разными вариантами решения. И в одном из них человечество (в лице нескольких его представителей)

Цитата (Khishtaki @ 15.9.2015)
ну так и у Остапа Бендера были неразрешимые противоречия с обществом (считай тот же конфликт интересов)... То есть получается, МОЖНО?!

Можно, конечно, но человеческое стремление к индивидуальной безопасности - это отличный природный инструмент для поддержания в обществе разумного баланса между потребностью и методами её удовлетворения. Можно упростить эту формулировку до каких-то банальных примеров: (а) "не убий" и "тебя посадят" хорошо ограничивает потребность некоторых людей в смертоубийстве, ограничивает морально и юридически; (б) способность сопереживать ("а что если бы на его месте оказался я") - ещё один хороший ограничитель, но природа у него единая природа со страха перед заключением, это важно понимать. Если сместить центр дискуссии с противостояния человека и общества к вероятной борьбе сверхразумного ИИ с жалкими людишками, то здесь мы столкнёмся с теми же принципами: для людей собственная безопасность и безопасность своей семьи несоизмеримо важнее абстрактной космической справедливости.

Цитата (iow @ 15.9.2015)
для людей собственная безопасность и безопасность своей семьи несоизмеримо важнее абстрактной космической справедливости

Однако люди периодически способны жертвовать собой ради своих детей, близких, веры в Бога, и даже ради Родины/Сталина прецеденты были.

А если рассматривать СверхИИ как дитя человечества? Которое, однако, мы не сможем понять, и его цели тоже? Многие люди своих детей тоже не понимают, однако на жертву всё равно способны при этом. Будущее неведомо и непонятно, но оно всегда право и оно всегда убивает прошлое, строя себя на его костях, ничего с этим не поделать.

Феруел, дорогой наш друг, мы уже все понял, что этот уекенд ты провёл в Костроме, поэтому был занят, но теперь, пора бы уже возвращаться; а так же пора бы уже писать посты более 1000 символов — народ ждёт.

Цитата (Khishtaki @ 15.9.2015)
. Не слишком ли много человечество о себе возомнило? Может быть, если Сверхразум самостоятельно решит, что человечество должно быть уничтожено - это будет корректное и оптимальное решение?

Всё правильно. Главное что бы какой нибудь фанатик не возобновил себя сверхразумои или как альтернатива орудием божественного разума.
А так да всё правильно. Даже сомнений нет, что если искусственный интеллект достигнет своего "совершенства" и не будет инструментов его контроллировать, то при наличий возможностей он уничтожит человеческую расу.
Так как по идей его не должны будут сдерживать некоторые "моральные аспекты" по человеколюбию. По идей он должен собрать сведения, всё это проанализировать и сделать вывод что деятельность человечества непродуктивна, вредна и для планеты опасна.
Хотя это теория. Что будет думать совершенный искуственный интеллект, к чему он придёт, какое мышление у него будет и как он будет всё это видеть-это сложно очень сказать. Но то что догмы, какие то моральные и социальные аспекты-он отбросит и не будет воспринимать как человек-то это очевидно.

Цитата (Khishtaki @ 15.9.2015)
Подумалось тут насчёт искусственного интеллекта и борьбы за его ограничение.

Внимание, всё дальнейшее касается именно полноценного интеллекта с всесторонней системой целеполагания, а не условного "абсолютного оружия", необходимость запрета разработки которого бесспорна.

Допускаешь ли ты мысль, Михаил, что ИИ с всесторонней системой целеполагания всё же невозможно создать, чтобы он не мог являться симулятором биоорганизма?

И, если возможно такой интеллект создать искусственно, то угрозы для человечества не может существовать в принципе; или же она будет меньше, чем возможна в сравнении с угрозой от самого человеческого вида?

допускаю. В целом моя позиция так и выглядит: делаем ИИ, а там посмотрим. Уничтожит - значит так тому и быть. А может не уничтожит, а наоборот продвинет на более высокий уровень - как та сверхцивилизация из рассказа Юдковского. Она же на самом деле и есть метафора того же самого ИИ. И то, что Юдковский , а Феруэлл его поддерживает - меня настораживает, потому я уже не первый раз поднимаю тут эту тему.

Цитата (InLevWeTrust @ 15.9.2015)
Допускаешь ли ты мысль, Михаил, что ИИ с всесторонней системой целеполагания всё же невозможно создать, чтобы он не мог являться симулятором биоорганизма?

Не вижу причин, почему это должно быть привилегией биоорганизмов. Но даже если это и так, то вполне вероятно, что можно создать полноценную имитацию из небио материалов. А если можно, то обязательно кто-то это сделает.

По поводу угрозы - ну представь, что человечество и дальше будет развиваться, и через 200млн лет эволюционирует в нечто, что мы вообще не сможем вообразить и что умнее нас настолько, насколько мы умнее муравья. И что не нужно ждать 200 млн. лет, а можно создать существо с подобным разумом здесь и сейчас.
Вряд ли оно будет враждебно к нам настроено, во всяком случае не более, чем мы сейчас враждебно настроены к муравьям. Но если нам нужно построить космодром, то мы не будем заботиться о том, сколько там муравейников на территории, которую нам нужно предварительно очистить. Нам вообще по барабану на этих муравьёв, мы к ним безразличны, в принципе, и специально воевать с ними не будем. И если они случайно погибнут от нашей деятельности, то мы в большинстве случаев этого даже не заметим.

Сверхинтеллект может захотеть построить для себя космический корабль для путешествия к центру галактики, и для этого ему могут потребоваться все атомы Солнечной системы, до которых он сможет дотянуться. В том числе и те, из которых сделан ты.
А специально воевать он с нами не будет, ему до нас просто не будет никакого дела.

Цитата (LikeAA @ 15.9.2015)
Однако люди периодически способны жертвовать собой ради своих детей, близких, веры в Бога, и даже ради Родины/Сталина прецеденты были.

А если рассматривать СверхИИ как дитя человечества? Которое, однако, мы не сможем понять, и его цели тоже? Многие люди своих детей тоже не понимают, однако на жертву всё равно способны при этом. Будущее неведомо и непонятно, но оно всегда право и оно всегда убивает прошлое, строя себя на его костях, ничего с этим не поделать.

Самопожертвование ради детей с высокой долей вероятности - одна из вариаций того же природного механизма, который заложен в муравьёв или пчёл, хороших "командных игроков". Про эволюционные причины правила "вид > биологической единицы" лучше расскажут специалисты, но более-менее очевидно, что в данном случае мы имеем дело с тем, что я выше условно называю "безопасностью". В целом-то, в природе есть очень много интересных моделей поведения, которые иногда могут друг другу противоречить - это отдельная тема для дискуссии. Психика человека намного сложнее, чем у муравья, но мы в гораздо меньшей степени отличаемся от собак Павлова, чем это кажется большинству.

Особенности человеческой психики ловко используют в своих интересах манипуляторы самого разного калибра. Умирая "за Сталина", человек погибает скорее "за родную деревню" или "за мамку и жинку", об искусстве пропаганды и манипуляции общественным сознанием написано множество книг, но если коротко, то все техники обмана построены на взаимодействии с шаблонами мышления, очень полезными в нормальной жизни, но делающими человека уязвимым перед компетентными подлецами.

Да, и, конечно, нет никаких биологических причин, чтобы у людей появились какие-то отцовские чувства по отношению к сверхразумному ИИ. Это может касаться только его создателей, а не всего человечества.

Собрались как-то пара тысяч одноклеточных и беседуют: "А давайте в колонию организуемся, дифференциация, выгоды, новая ступень эволюции!.."
Но тут выходят трое и говорят: "Давайте не будем спешить, мы ведь не знаем, а вдруг эта колония нас всех убьёт!?"

Цитата (Khishtaki @ 15.9.2015)
Итак формулируем два вопроса:
1. Не слишком ли много человечество о себе возомнило? Может быть, если Сверхразум самостоятельно решит, что человечество должно быть уничтожено - это будет корректное и оптимальное решение?

Будет забавно, если после этого сверхразум решит, что создавать еще более мощные разумы, чем он сам не оптимально, ведь он не такой круглый идиот каким было человечество...

Цитата (Khishtaki @ 14.9.2015)
Марс - лучше. Дальше от долбоёбов: до Луны они быстрее доберутся.

Цитата
Насреддин рассказывает, что как-то раз поспорил с эмиром бухарским, что научит своего ишака богословию так, что ишак будет знать его не хуже самого эмира. На это нужен кошелёк золота и двадцать лет времени. Если он не выполнит условия спора — голова с плеч. Насреддин не боится неминуемой казни: — «Ведь за двадцать лет, — говорит он, — кто-нибудь из нас троих обязательно умрёт — или эмир, или ишак, или я. А тогда поди разбирайся, кто лучше знал богословие!»

Цитата (Khishtaki @ 15.9.2015)
допускаю. В целом моя позиция так и выглядит: делаем ИИ, а там посмотрим. Уничтожит - значит так тому и быть. А может не уничтожит, а наоборот продвинет на более высокий уровень - как та сверхцивилизация из рассказа Юдковского. Она же на самом деле и есть метафора того же самого ИИ. И то, что Юдковский

согласен пожертвовать миллиардами жизней, чтобы этот ИИ затормозить

, а Феруэлл его поддерживает - меня настораживает, потому я уже не первый раз поднимаю тут эту тему.

Твоя позиция основана на имеющихся у тебя в данных моментах представлениях. Если ты их расширишь, она неизбежно изменится. Возможность расширить их у тебя есть, вопрос только в том, хочешь ты этого или нет.

Юдковский не занимается вопросом торможения развития ИИ, он занимается вопросом создания у ИИ ценностей, совместимых с нашими. Если создавать ИИ без такого контроля по ценностям, ничего хорошего с нами не случится, да и ИИ вероятно ничего интересного не сделает, а будет заниматься какой-то бессмысленной хренью, типа бесконечного производства скрепок во всей наблюдаемой вселенной. Нельзя сделать ИИ сходу таким умным и мудрым, чтобы он решал вопросы исходя из каких-то вселенских соображений справедливости. Каким ИИ будет, зависит от того, что изначально мы в него заложим, даже если мы сами не знаем, как это со временем трансформируется.

Когда ты говоришь: "уничтожит - так тому и быть", ты не последователен. Если на твоих глазах кто-то будет тонуть в речке, вряд ли ты пожмешь плечами и скажешь "так тому и быть". Тут то же самое. Плохой ИИ будет убивать живых людей, стариков, беременных и детей, чужих и близких. Не думаю, что к этому нужно относиться равнодушно.

У меня есть любимое изречение, относящиеся к вере в Бога, которое одной фразой может передавать всю суть вопроса религии: "Не Бог создал человека по своему образу и подобию, а человек создал Бога по своему подобию".

Вот, примерно тоже самое происходит и с обсуждением создания ИИ, — люди создают его по своему образу и подобию. Я сейчас говорю не об обсуждениях этого вопроса на покерном форуме, а изучении данной проблемы (безопасность ИИ, и само создание такового) авторитетными людьми, занимающимися данной областью. Их авторитет и знание смежных областей, связанных с ИИ, так же может быть поколебим, неважно сколько этим вопрос они занимаются. Даже каждый из нас может попробовать часть авторитетного мнения свести к неосознанному заблуждению эксперта.

Помните интересное видео, которое добавил феруел в свой колодец: ТЕД-конференция о безопасности ИИ http://www.ted.com/talks/nick_bostrom_what_happens_when_our_computers_get_smarter_than_we_are?language=ru#t-717505 (не могу его найти в его постах, — по какой-то причине оно отсутствует). Ник Бостром со сцены презентует свой достаточно интересный доклад. Но есть в нём одно очень слабое место, которое ставит под сомнение все сказанное им. То есть, не 100% опровергает его слова (так как достаточно логичные вещи спикер озвучивает), а снимает с их автора неоспоримый авторитет.

Логика моя простая: если в убеждениях есть одно явное заблуждение, то оно ставит под сомнение весь доклад.

Например, я могу рассказывать вам о различных сложных концепциях покерной теории, которые будут походить на правду, но после заявить, что сбрасываю АА префлоп, так как мной проверено на опыте, что на них постоянно проигрываю. Естественно, данное утверждение поставит на мне крест, как на компетентном игроке, несмотря на то, что я до этого говорил. Одного явного заблуждения хватает, чтобы поставить под сомнение всю теорию любой идеи, особенно в сложных, спорных, и мало изученных вопросах.

В этом посте я всего лишь укажу на тот момент, который я считаю глубочайшим заблуждением, высказанным Ником Бостромом, чтобы кто-нибудь из формучан, при желании оспорил его, или же сказал, что мои мысли верны. И, так как вопрос ИИ невероятно сложен (это не в карты играть), то с лёгкостью можно считать, что все логичные предположения докладчика могут так же быть заблуждением.

Ник Бострум заявил, что шимпанзе выгодно было, чтобы не появились мы (разумные люди). Даже пошутил по этому поводу. Аргументы против его слов, на мой взгляд, найти очень просто (можно даже немного подумать): и для шимпанзе не то, чтобы всё равно на наше развитие, как вида, — им даже выгодно (или более выгодно, чем не развитие). То есть, по моему мнению, это даже не спорный вопрос, как многие другие.

И если он явно заблуждается в одном, то весь доклад легко может быть сомнительным с точки зрения объективности, а не потому что нелогичные идеи (всё даже очень интересно).

Главное, если дальше продолжить размышление, делая сравнения, и оглядываясь на опыт "человек — шимпанзе", где человек можно представить, как ИИ, а обезьян — нами (это только для изучения вопроса безопасности), то можно прийти к выводу, что опасения по поводу агрессивности ИИ излишне, более, чем опасность нахождения у людей ядерного оружия.

Но здесь я не буду пояснять свои мысли — мне интересны чужие, которые может кто-то выскажет: шимпанзе выгодно появления нашего вида? И если да, то стоит ли нам, — шимпанзе относительно ИИ, — искать какие-то риски?

InLevWeTrust, Если ты хочешь обсудить этот вопрос, не поленись и найди точную цитату.

feruell, с 11:32 смотреть https://www.youtube.com/watch?v=MnT1xgZgkpk . Совсем немного сказал по этому поводу, но достаточно, чтобы понять его общее представление о соперничестве людей с шимпанзе (и вообще, межвидовой конкуренции).

Я ориентируюсь на перевод, и он такой: "...Где кнопка у интернета?.. Почему шимпанзе, или неандертальцы не отключили нас, ведь у них были на это причины...". И если он в действительности сказал: "Вчера я был в зоопарке, и когда ел пиццу, то одна самка шимпанзе показала мне вот этот жест...", — то тогда извините.