Комментарии к колодцу Феруэлла

Цитата (InLevWeTrust @ 15.9.2015)
Почему шимпанзе, или неандертальцы не отключили нас,

А почему ты хочешь обсуждать именно шимпанзе, а не неандертальцев?

Цитата
Ник Бострум заявил, что шимпанзе выгодно было, чтобы не появились мы (разумные люди).

В приведенном тобой фрагменте, он заявил что у неаандертальцев был мотив "отключить человечество", но они не смогли этого сделать, потому что люди оказались умным противником.

Кажется, это снимает твои возражения о явном заблуждении Бострома.

InLevWeTrust, Бостром говорил не о выгодности или невыгодности для шимпанзе, а о том, что:

Друзья, понятно, что в поиске истины легко цепляться за выпирающие выступы: в данном случае вы говорите про неандертальцев. Но, это происходит, так как вы используете логически приём зацепа — на то, что указал авторитет (Бостром). Мне неизвестно почему он так уверен заявил, не будучи даже антропологом.

Дело в том, что исследования исчезновения неандертальцев несёт пока что только гипотетический характер, и в большей степени преобладает версия не уничтожения их конкурентами, а вымирания из-за не приспособленности (было период оледенения — климатическая неприспособленность; возможна пандемия… ). То есть, сейчас антропологи не то чтобы не утверждают, что Хомо Сапиенс уничтожил своего сородича, а скорее предполагают другие причины исчезновения неандертальцев с лица Земли. Всё пока что только гипотезы, и не в пользу утверждения Бострома.

По этой причине, Боевой Слон, я и не вижу смысла упоминать, скорее всего, просто вымерший вид, а взять из аргумента Ника Бострома упоминание вида ныне существующего. И по этой же причине, Феруел, не могу снять возражения о явном заблуждении Бострома.

Мне кажется это аргумент может быть убедительным, чтобы не указывать в дальнейшем неандертальца?

Но Ник сказал про шимпанзе, которые сейчас существуют и здравствуют, и которые должны были, по его мнению, иметь причины, чтобы «нажать на кнопку». Поэтому, он всё же имел ввиду, то, что имел ввиду (пусть это выражение будет, как масло масляное).

Скорее всего шимпанзе переживут следующую глобальную катастрофу, так как рядом у них, под самым боком, живут те, которых они не смогли уничтожить.

Так как здесь была недавно поднята тема космических путешествий, то для примера, можно представить ситуацию, когда человечество будет «синхронизировать» свой вид на другой планете, скорее всего оно это сделает и со своими братьями меньшими.

Так же, в своих, земных домашних условиях мы не дадим вымереть шимпанзе и другим животным, если сами сможем выжить, спасаясь от катаклизм или катастроф — например, через 1000 лет, мы могли бы спасти землю от надвигающегося крупного астероида, сменив его траекторию. В общем, примеров можно приводить достаточно, чтобы утверждать о важности нашего разума, положительно влияющего на вид обезьян, который по словам Бострома имел причины нас прикончить. Всё же, я считаю, что выгода как раз для них, и для всех других живых существ, имеет от того, что кто-то из большого земного семейства стал разумным. Конечно, некоторым видам человек насолил. Но потенциал "хранителя", который он несёт в себе для всей фауны, став разумным, выше всех негативных аспектов.

Есть маленький нюанс, как мне кажется, который влияет на искажение в понимании сути: всегда разумного человека мы представляем, относительно термина, а не как явного определения свойства человека — мыслить. То есть, человек разумный для нас — это тот, кто взял в руки орудие труда. Но в обсуждении, и поиска доводов на опыте, для изучения ИИ, нужно игнорировать само определение, а оценивать свойство. Другим словами: на этом форуме есть и неандертальцы (которые избежали вымирания), и разумные люди, — те кто убьют животное, просто ради забавы, и те, кто этого не сделает. Для ИИ нужно оценивать поведении последних, так как, даже на первой стадии своего развития (всё же это ИИ), он уже должен превосходить разум того же Бострома, Юдковски и прочих умных людей. А значит он изначально должен осмысливать то, что является элементарной базой их этических норм. Все остальные вариант ИИ для человечества не конкуренты, так как не способные дойти до точки мысли, где они смогут нас «победить». Все остальные страхи похожи на голливудские сюжеты. Если коротко об этом писать.

У меня есть на этот счёт некая сформулированная (почти) концепция.

Но дальше я не буду пояснять свои мысли — мне интересны чужие, которые может кто-то выскажет: шимпанзе выгодно появления нашего вида, или нет? Если да, то стоит ли нам («шимпанзе» относительно предполагаемого ИИ) искать какие-то риски для человечества?

InLevWeTrust, В упорстве тебе не откажешь.

С учетом возможных экзистенциальных рисков, которые принесли человеческие технологии, ответ кажется "нет, не выгодно". Так как теперь шимпанзе имеют очень нехилый шанс вымереть в ближайшие сто лет вместе с человечеством. Хотя они вообще не при делах.

Но вот что у них был мотив (если бы они понимали последствия) не дать нам развиться - это совершенно бесспорно.

В результате своей деятельности люди сильно сократили ареал обитания шимпанзе, а значит, и численность вида.

У меня сильное предчувствие, что опасения насчёт СИИ со свистом пролетают мимо кассы.
Попробую более-менее кратко описать своё субъективно-интуитивное видение, а там уже сами решайте.

Интеллект живых существ подобен аппаратно-программному комплексу. Компьютер и программа в одном флаконе, вернее черепе. И он спроектирован эволюцией для решения нескольких главных задач: самосохранение, питание, размножение. Организм подчиняется командам разума, однако, он же является "пользователем программы", нажимающим кнопку Run. "Голод!" — и разум встрепенулся, раздавая мышцам и органам чувств комплекс команд для поиска пищи. Что делает разум, когда организм в безопасности, сыт, и выполнил супружеский долг? Известно, балдеет в ванне с эндорфинами.
Другими словами, наши кнопки Run — это эмоции, сложные физиологические процессы, перевоплощение хора потребностей триллионов клеток нашего организма. То, что заставляет работать программу-компьютер "интеллект-мозг".
Мне представляется сомнительным, что интеллект без подобной "кнопки Run" способен к деятельности. Что он вообще запустится и будет обучаться, развиваться.
Вследствие вышеизложенного я задаюсь вопросом "Какого рода эмоции должны быть у супер-ИИ? У разума, который по определению будет для человечества подобен богу? Что будет фундаментом его физиологии?".
Не вижу причин, почему люди не запрограммируют его для своей пользы, что такой вариант вообще экономически реален. По-моему, напрашивается ответ, что "эмоциями" станут, скорее всего, "лайковые" тренды из соцсетей. Так что, если несколько миллиардов людей не залайкают проект армагеддона, то СИИ его наверняка не станет устраивать просто отнехуйделать

P.S.: похоже, соцсети с расширенным набором эмо-кнопок (Like, Want, Disgust, Anger etc.) это идея, время которой на подходе.

feruell, Я считаю, что здесь ты сделал финт, с лёгким фолом, уводя дискуссию в сторону только за счёт своей эрудиции и умения выстраивать аргументы, даже, если понимаешь, что несостоятельная тонкость их будет видна единицам. Потому что на это я могу "в подкате выбить мяч" утверждением, что если бы наш вид сделал несколько шагов от шимпанзе, то скорее всего смог распространиться по планете так, что вот в более ранний период, чем сейчас, пребывания Земли на орбите Солнца, у обаятельных на вид приматов не было бы точно шансов (такое же предположение, как и твоё — всего лишь предположение со слабыми аргументами, в отличие того, что человечество выгодней для фауны, как один большой библейский Ной).

Понятно, что так можно пинать мяч долго. Поэтому, конечно, я думаю, не будем развивать тему, и без сомнения уводить её в тупик, или просто блуждать.

Помимо того, что я написал выше, ещё имею некий дилетантские соображения по поводу таких вопрос, как — мотивация ИИ (на чём могут держаться её корни в искусственном теле). То есть, не имею пока соображений, как можно сделать это в теории, чтобы не создать другой биологический вид, подобный человеку, а не просто мощный интеллект.

Так же есть ещё одна важная философская концепция, о которой не стоит говорить сходу громко, в незнакомо доме, дабы не приняли за сумасшедшего, а говорить только на ухо: слишком уж она далека от стандартного восприятия всякого человека. Но, на мой взгляд (и не только), она единственная верная, и так же может относится к вопросу создания ИИ.

Наверное, это больше подходит к объёмному посту, который нужно писать не сейчас, и не здесь.

Kariy, Прочитай первоисточники плиз. Это не та тема, где предчувствия дадут правильный ответ. Только знания.

Кнопку RUN нажмут люди, чтобы программа делала за них полезную работу. А вот смогут ли они контролировать последствия нажатия этой кнопки, это очень серьезная проблема, над которой бьются лучшие умы человечества.

Цитата (InLevWeTrust @ 15.9.2015)
на этом форуме есть и неандертальцы (которые избежали вымирания), и разумные люди, — те кто убьют животное, просто ради забавы, и те, кто этого не сделает. Для ИИ нужно оценивать поведении последних, так как, даже на первой стадии своего развития (всё же это ИИ), он уже должен превосходить разум того же Бострома, Юдковски и прочих умных людей. А значит он изначально должен осмысливать то, что является элементарной базой их этических норм. Все остальные вариант ИИ для человечества не конкуренты, так как не способные дойти до точки мысли, где они смогут нас «победить». Все остальные страхи похожи на голливудские сюжеты

Для тебя ИИ - это как человек, только гораздо умнее. Это называется антропоморфизм, и скорее всего, это решающая ошибка во всех твоих рассуждениях. Потому что эксперты опасаются вовсе не супер-умного человекоподобного интеллекта (это как раз ближе к тому, что они хотели бы создать), а как раз "остальных вариантов", которые ты безапелляционно объявил "не конкурентами" и "голивудскими сюжетами".

И в целом, ты придрался всего лишь к иллюстрации Бострома, а не к тому, что он иллюстрировал. Veplur уже об этом написал. Логика Бострома отнюдь не построена на взаимоотношениях человека и шимпанзе.

Вот допустим, я буду доказывать теорему про параллельные прямые и чтобы было нагляднее, приведу в пример рельсы. Окажется, что я не знаток железнодорожного транспорта, и моя иллюстрация почему-то ошибочна. Но это не будет иметь никакого отношения к правильности или неправильности доказательства.

Цитата (feruell @ 15.9.2015)
Kariy, Прочитай первоисточники плиз. Это не та тема, где предчувствия дадут правильный ответ. Только знания.

Кнопку RUN нажмут люди, чтобы программа делала за них полезную работу. А вот смогут ли они контролировать последствия нажатия этой кнопки, это очень серьезная проблема, над которой бьются лучшие умы человечества.

Я и не претендую на истину в последней инстанции, просто высказал своё мнение, потому что интересно, что на это скажут другие.

Кстати, вот ещё одна интересная аналогия: интернет на заре своего существования напоминал диффузную нервную систему, как у простейших многоклеточных. Сегодня, в эру гугла, он, пожалуй, уже чуть дальше, чем ганглионарная форма

Собственно, к чему я веду, это то, что новый разумный вид, похоже, будет называться Planeta conscia.

Фер,ты там не заболел?Ни одного поста в днев. за неделю..

Цитата (БоевойСлон @ 15.9.2015)
Для тебя ИИ - это как человек, только гораздо умнее. Это называется антропоморфизм, и скорее всего, это решающая ошибка во всех твоих рассуждениях. Потому что эксперты опасаются вовсе не супер-умного человекоподобного интеллекта (это как раз ближе к тому, что они хотели бы создать), а как раз "остальных вариантов", которые ты безапелляционно объявил "не конкурентами" и "голивудскими сюжетами".

И в целом, ты придрался всего лишь к иллюстрации Бострома, а не к тому, что он иллюстрировал. Veplur уже об этом написал. Логика Бострома отнюдь не построена на взаимоотношениях человека и шимпанзе.

Вот допустим, я буду доказывать теорему про параллельные прямые и чтобы было нагляднее, приведу в пример рельсы. Окажется, что я не знаток железнодорожного транспорта, и моя иллюстрация почему-то ошибочна. Но это не будет иметь никакого отношения к правильности или неправильности доказательства.

Конечно, я имею ввиду ИИ способного совершенствоваться — а на это способна только форма, схожая с биологическими видами. Все остальные варианты ИИ, даже мощный вычислительный процессор, способный решать поставленные задачи (без саморазвития) не несёт никакой угрозы. Только в варианте, если ему будет поставлена такая задача — уничтожить человечество. Это моё твёрдое убеждение, основанное не на пустом месте(пусть оно и может показаться субъективным): в пересечении верхней точки психологии и философии (избегаю выражений высшей) есть ответ на этот вопрос. Как эти две науки соотносятся с ИИ? Прямо! Всё, что относится к интеллекту, относится к психологии и философии — основа сущности одна, и она печальна. Так как, до этой печали мощному ИИ рукой подать, а человечество может тешиться иллюзорной шторкой своего бытия, то ИИ всегда будет приходить к одному решению очень быстро. Так что проблема ИИ не в безопасности, а в том, как создать верную систему мотиваций. Но не хочу далеко уходить, так как мы с твоими рельсами далеко можем уехать.

По поводу Бострома — я всего лишь сказал, что он может заблуждаться, так как не все его убеждения имеют твёрдую почву. Ты тоже пишешь вразумительные вещи, но мы далеко уходим от темы, от чего станет скучно нам обоим.

Вот лучше ответь, по какой причине ты пишешь здесь на форуме посты? В чём твои истинные мотивы? Чтобы ты не блуждал в "...людям нужно общаться... мне интересна тема...", дам свою направляющую — просто ответь одним словом, назови нейромедиатор, за выработком, которого ты гонишься, вступая в дискуссии. И всё будет ясно. А потом, изучая этот вопрос, ты сможешь зацепиться за другой, после за другой... Джае общие представления нейробиологии могут расставить некоторые акценты в вопросе ИИ.

Но тема то, интересная, да?

Ой ну что вы пишите - психология, биология и прочее. Ни одна из этих наук к рискам ИИ непричастна вообще. Есть только два фактора, которые влияет на риски с ИИ - это то, какие научные открытия ИИ будет делать, и как близкие к ИИ люди будут эти открытия использовать.

Давайте рассмотрим две крайности, допустим, что вот мир так устроен, что никаких существенных научных открытий нет, и мы только лишь будем бороться за небольшие процентные улучшения существующих технологий. Тогда ИИ никакой опасности не содержит, ну будут беспилотные автомобили и роботы официанты, но они будут дохнуть как только вилку из розетки вытащат. С другой стороны такая крайность - допустим, ИИ расскажет как из еловых веточек и шишек собрать атомную бомбу любому желающему. Тогда сразу нам всем конец, слишком много психов у человечества чтобы мы могли такое знание пережить. Ну и между этих крайностей множество интересных вариантов, чтобы их предсказать надо прежде всего пытаться как-то прогнозировать прогресс, учитывать разные теоретические ограничения и возможности.

С кадрами тоже понятно как работать - всех близких к ИИ нужно проверять на психику, проверять мотивации, связи с террористами и т.п. С кадрами человечество умеет прекрасно работать, тут рисков нет, надо просто делать

vdzk, как это непричастна... а с помощью чего ИИ будет развиваться? Как предлагаешь зарождаться идеям, целям и т.д. У нас это все с помощью химических реакций происходит.
Когда ты заранее вкладываешь знания в ИИ, то это просто мощная вычислительная мощность. Полноценно ИИ может существовать только научившись воспринимать мир. В случае когда его восприятие мира будет отличаться от нашего, вообще не понимаю мотивацию помогать нам (аля искусственный дельфин) . Возможно он будет способен чувствовать квантовые связи, но тогда его мир будет совершенно другим. Сделай его по нашему подобию и тогда он вполне может устраивать войны, что тоже не является ошибкой.
Сложная задача-создать "существо" которое преследовало бы цели создателя.
Даже с детьми такое получается редко, хотя они похожи на 99%

Цитата (InLevWeTrust @ 15.9.2015)
... и для шимпанзе не то, чтобы всё равно на наше развитие, как вида, — им даже выгодно (или более выгодно, чем не развитие). То есть, по моему мнению, это даже не спорный вопрос, как многие другие.

feruell, я прочитал все первоисточники и работаю в сфере ИИ. Немного трезвости - да, как говорит WaitButWhy - Mask is a smart mother...r и он реально парится по поводу ИИ. Однако еще есть куча ведущих рисечеров Хинтон, ЛеКун, Нг, Бенджио и др, для которых это сказки. И как пошутил еще один рисечер попроще, когда увидел список проектов FutureofLife institute с денег Илона - даже дали денег на нормальную науку (там почему-то оказался его знакомый из Стенфорда, который реальным машинным обучением занимается).

Это я к тому, что в сфере реальных профессионалов, которые пишут научные статьи про текст, звук, изображения и т.п. с применением машинного обучения и глубокого обучения - все эта тема (для адекватных людей) про осознанный ИИ - это как говорит основатель Курсеры Andrew Ng - проще волноваться о перенаселении на Марсе.

Феруелл, а Ты почему бросил после курсов курсеры эту движуху с ИИ?

Цитата (Taburett @ 14.9.2015)
Почему именно Марс? Может стоит начать с колонизации Луны?

Все равно с Лунных баз начнут, для отработки техники и навыков.

Цитата (Vladislavlich @ 16.9.2015)
Это я к тому, что в сфере реальных профессионалов, которые пишут научные статьи про текст, звук, изображения и т.п. с применением машинного обучения и глубокого обучения - все эта тема (для адекватных людей) про осознанный ИИ - это как говорит основатель Курсеры Andrew Ng - проще волноваться о перенаселении на Марсе.

Нельзя ли поподробней? Почему профессионалы пренебрегают этой темой?