Комментарии к колодцу Феруэлла

Цитата (БоевойСлон @ 12.3.2016)
Не могу понять, ты действительно полагаешь, что Юдковский против сценария "Контролирующего всё доброго ИИ"? Вообще-то все его тексты продвигают именно эту идею.

так я не читал. Если он за это - то я за него! Мне вообще очень нравится то, что есть ты и Неймлесс: это даёт мне возможность многое не читать, а потом вы мне всё объясняете кратко, корректно и понятно.
Может я - ваш ИИ, а вы - мои человеки? :)

Цитата (feruell @ 12.3.2016)
Я лично кстати согласен на добрый АИ, который все будет контролировать.

ты был против предложения сверхрасы в рассказе Юдковского, если я тебя тогда правильно понял. Так что не верю.

я уже вообще ничего не понимаю

есть угроза что искусcтвенный интеллект выйдет из под контроля и всех уничтожит

поэтому надо вкладывать деньги в развитие доброго искусственного интеллекта?

Может быть, добро вообще стратегически более выгодно, чем зло, поэтому любой супер AI будет добрым? С другой стороны, уничтожение всех людей такой AI может счесть благом для нас. Не зря же философы доходили до мысли, что небытие лучше, чем бытие, полное страданий, разочарований, бесплодных страстей и т.п., что по большому счету из себя и представляет наша жизнь. То есть добьет нас, чтоб не мучились, из добрых побуждений.

Цитата (Gellemar @ 12.3.2016)
Пока комп не может играть без вкаченной в мозг начальной истории, что в шахматы, что в ГО, не страшно. Вот, если начнет уметь это делать без начальной истории - тогда Терминатор не за горами.

В шахматы комп уже давно может обыграть гроссмейстера без дебютной книги, без обучения, просто используя только свой алгоритм.

Настало время принимать "Три закона робототехники" ?

Цитата (iHaveOnly26Teeth @ 12.3.2016)
пост юдковского не читал, сложной теории уж больно много, не нашел места где объясняется почему это плохо.
Но я не вижу в этом ничего плохого, наоборот весело. В будущем я предполагаю ИИ будет специально для человечества снимать гениальные художественные фильмы и прочие произведения искусства, в том числе создавать красивейшие комп. игры, доказывать математические загадки (по типу того что Перельман доказал) и т.д. и т.п., а человек будет это все потреблять, и конкурировать с ИИ человеку будет не под силу, так как у этого самого ИИ будет намного более гениальные идеи.

Борьба с ИИ очень напоминает борьбу с экономической эффективностью в начале 20-го века. Какие бы идеи ни предлагали идеологи (как тогда с коммунизмом), победит все равно экономическая эффективность.

Как бы ни хотелось нам оставить наш теплый аналоговый мир себе, все равно победит более экономически эффективный ИИ. Не вижу смысла с этим бороться, более того, не вижу от этого вреда кроме пользы.
Прочитал пост Юдковского и так и не понял чем плох ИИ,

Всякие Юдковские, Маски и ко, которые боятся ИИ - больше похожи на обычных ламповых шизоидов.
Безусловно, такие люди должны быть. Точно так же кажется очевидным, что эти люди в итоге проиграют в борьбе с экономическим развитием.

Технически (но очень спорно) спасение одно. Как показывают исследования, после $70k/чел в год, уровень счастья у людей не растет. Есть основания предположить что человечеству "не нужен" уровень экономики выше этого.
Но пока это выглядит лишь мелким нюансом на пути экономического развития человечества и пост-человечества. - Нет достаточно серьезных причин не покупать в два раза более быстрый и в два раза более дешевый телефон, сделанный ИИ, и предпочесть ему телефон сделанный человеком.

Пока ИИ экономически эффективен - он будет побеждать. А то что ИИ в какой-то момент станет более эффективен чем биологическая жизнь, в большинстве случаев, сомнений, не вызывает.

эй, ребята, вы серьезно? Какой нафиг ИИ захватит мир, на нашем веку этого не будет.

То, что технофилософы из ИТ-тусовки крайне заинтересованы преподносить любой успех ИИ как очередной знак начала его скорого царствования, это понятно, они с этого живут, это их бизнес. Но вы то не ведитесь.

Мы уже пережили один крах доткомов 15 лет назад, не за горами второй. Ага. А то уже часто можно встретить мнение что нефть теперь навсегда по 30, настал новый технологический уклад и через 10 лет все будут ездить только на Тесле.

Смешно, конечно. В отдельных офисах силиконовый долины действительно уже многое готово к новову дивному миру, только осталньные 99.9% этого мира живут все еще в ущербном XX веке и будут жить еще очень долго. Черт возьми, еще даже в самих штатах, робомобиль до сих пор не вышел толком на общественные дороги и ни в одном ресторане стране нет робота-официанта.

Нет, я не отрицаю того, что роботы захватят мир (хотя бы в плане принятие на себе кучи задач от человека), но это произойдет еще очень-очень не скоро. На горизонте в 10-15 лет от сегодняшнего дня изменится мало что. Лет через 50, вероятно, будет поинтереснее, но все равно еще и не близко к терминатору.

А что касается проблемы захваты мира злым ИИ, то по-моему она просто забавна, я не вижу ни одной причины почему жалкие людишки(злобный смех из фильмов), очевидно крайне далекие от совершенства существа, которые даже не пытаются построить нормальный мир, должны иметь право на продолжение своего мерзкого существования. Если ИИ будет способен их уничтожить, это можно будет только приветствовать. :)

О чем вы говорите вообще? Какой ИИ?
Ну рассчитала программка (не умаляю нисколько заслуг гугла) сколько то там операций, ну так это все равно рано или поздно произошло. Причем если не сейчас, то в самое ближайшее время.
Что она такого сделала? Это простейшая по сути задача для машины - расчет определенной игры с заранее заданными условиями, с конечным и по сути достаточно небольшим числом более вероятных развитий игры, и так далее.
Настоящий ИИ - если таковой когда либо изобретут, должен не просто решить какую-то игрушку, он должен будет САМ совершить какой-то прорыв в исследованиях. То есть на основании вложенного в него кода, анализируя гигантское количество информации, компьютер должен провести анализ, разобраться что к чему, и найти путь решения.
Даже вот самый простой пример, который сразу расставит точки над И:
Сейчас в математике есть насколько мне известно по прежнему несколько задач, за решение которых дают кучу бабла.
Так если ИИ уже такой дохуя из себя крутой - так дайте эти задачки это проге, пусть она решит.
Такого не будет. Просто потому что, она не поймет КАК решать. А помочь ей в этом может только человек, но т.к. он и сам не знает, он и вбить то в код ничего не сможет, т.к. непонятно вообще в какую сторону копать.
Вот когда ИИ научится самостоятельно искать пути решения - тогда и можно будет о чем-то говорить, но это настолько нереально, даже не то, что в наших условиях, в ближайшие сотни лет такого не будет.

Цитата (djordj @ 12.3.2016)
Какой нафиг ИИ захватит мир, на нашем веку этого не будет.

Цитата (djordj @ 12.3.2016)
На горизонте в 10-15 лет от сегодняшнего дня изменится мало что

Многие из присутствующих планируют жить дольше.

Цитата (djordj @ 12.3.2016)
эй, ребята, вы серьезно? Какой нафиг ИИ захватит мир, на нашем веку этого не будет.

лично я имею в виду полный контроль ИИ над экономикой и политикой планеты Земля. Который, возможно, 99,9% населения не будет ни осознавать, ни замечать.
Под полным контролем я не подразумеваю тотального контроля (т.е. отдельные субъекты экономической и политической деятельности будут существовать и даже будут иметь иллюзию свободной воли).

Я думаю, что это вполне может произойти на горизонте 10-15 лет.
Под "может" я не подразумеваю 100%-ной или близкой к ней вероятности, но также не подразумеваю и нулевой или близкой к ней.

Цитата
Многие из присутствующих планируют жить дольше.

Имеется в виду, что изменения будут минимальными относительно сегодняшнего дня. 15 лет назад уже у многих были ПК, но еще далеко не у многих
интернет, не у многих мобила и т.д Сейчас это есть у всех (не берем страны 4 мира). Через 15 лет проекция на сегодня будет примерно такой же, но никакого качественного рывка.

50 лет более подходящий срок для качественных изменений, но все равно недостаточный, для того, чтобы они стали глобальными. Да, через 50 лет, в отдельных местах, вроде той же силиконовый долины можно будет ощутить дыхания технотронного будущего, как сейчас можно посмотреть забавные видосы с роботами на канале boston dynamics, но остальная часть мира будет по-прежнему далека от этого.

Так что даже если присутствующие здесь возможные школьники решат дожить до 100 лет, им все равно навряд ли придется столкнуться с проблемой злого ИИ, который развязал войну на уничтожение

Не читал пока что Юдковский написал но меня в этой истории, конечно, неприятно удивляет то, насколько общество неспособно компетентно оценивать все эти штуки. То есть вот люди статью в Нейчр опубликовали с тем как оно все работает а на земле дай бог пара сотен человек, которые способны полностью понять что и как там и наверное десяток тех, кто может по статье сами все создать. Но ни те ни эти, ни даже авторы не понимают того, что же они сделали (в смысле сравнения с реальными людьми), ну для этого им этот матч и нужен был, не только для пиара же. А среди профессионалов го вообще нет людей, которые бы могли оценить что сделали парни из дипмайнд. Все это просто кричит о кризисе компетентности во всем, что касается переднего края технологии (ну так и должно быть) и какой разговор может быть о контроле и прочем?

Дело не в том через сколько лет, а в том что всё изменится кардинально и почти мгновенно.

Khishtaki,

Тоже думаю о горизонте 10-30 лет.

Если говорить о вычислительной мощности, то производительность мозга оценивается примерно в экзафлопс.
Сейчас самый мощный суперкомпьютер - это где 3% этой мощности.
Через 2 года США введут суперкомпьютер примерно в 20% этой мощности.

Конечно, производительность мозга оценена условно, и для решения реальных задач необходима подходящая архитектура.
Для эффективной деятельности в этом мире, простые калькуляторы, перебирающие числа работают достаточно плохо. А хорошо работают - нейросети.

Они уже распознают изображения, хорошо классифицируют тексты, способны к некоторому общению, и даже неплохо играют в игры. Пока это происходит на количестве нейронов порядка нескольких миллионов.
В коре у человека - около 20 млрд нейронов (при этом в "сознании" предполагается около 300к веретенообразных нейронов)

Основная проблема тут в том, что транзисторные технологии - очень плохо подходят для эмуляции нейронных сетей.
В какой-то момент, когда на традиционной транзисторной логике будет запущен поиск более эффективных веществ и конструкций для новых процессоров - в этот момент и начнется самоподдерживающееся развитие ИИ.

Zedmor, так всё-таки "неприятно удивляет" и "кризис некомпетентности" или "ну так и должно быть"?

Цитата (predtecha @ 12.3.2016)
кто убил Кеннеди? Уже и книжку прочел Стивена Кинга, и сериал смотрю, кто что думает?

Он мешал многим. Одна из версий.

Khishtaki

Полный контроль над экономикой и политикой через 10 лет? В каком виде? Это все крайне сомнительно, учитывая то, что экономика и политика даже в наши якобы светлые дни XXI века служат единственной цели личного обогащения и расширения власти.

Нужно же четко осознавать, что несмотря на всю очевидную технологическую прогрессивность нашего времени относительно темных веков прошлого, разрыв в плане модели функционирования общества минимален. Мы все живем при рабовладельческом строе. Да, все выглядит более культурно, косметически подкрашено, иллюзия свободы, даже где-то реальные свободы, но концептуально не было до сих пор даже попыток изменить мироустройство с модели "элита в 1% которая владеет 99% и 99% людей которые по сути рабы элиты". Не было попыток и нет, все люди живут в этой парадигме и принимают ее как данность.

ИИ здесь не может быть субъектом, он эту херотень ни контролировать ни как-то содержать вряд ли намерен. Но если он будет способен осознать ее никчемность, то возрастают шансы на появление у него "желания" прекратить мучения долбаных людишек, вот это да.

Цитата
А то что ИИ в какой-то момент станет более эффективен чем биологическая жизнь, в большинстве случаев, сомнений, не вызывает.

Это очевидно. Человек сильно ограничен инстинктами, прежде всего размножения. По сути это один инстинкт уже напрочь превращает человека в тупое животное, которое рождено с единственной задачей продолжить род и вокруг чего крутится вся жизнь индивида. Если ты мужик то найти бабу, для этого заработать бабла, построить карьеру и тд. Если ты баба, то захомутать мужика. Все. Все пляски вокруг этого, во всем времена. Все амбиции, все потуги по большому счету подчинены этому.

Нет, я не спорю, это все очень прикольно и приятно, никаких вопросов. Вот только сильно влияет на работу мозга в направлении развития. И это физиологическон ограничение, которое нельзя преодолеть (ну или практически нельзя). ИИ лишен такого фундаментального недостатка, что дает ему сразу же колоссальное преимущество над человеком в том плане, что он способен все свое существование подчинить именно "интеллектуальным" стремлениям.

А кто может мне обьяснить что такое добро ? ведь для каждого своё добро и как этот ии будет определять какое добро нужно каждому в частности,

или добро это чтото типа как у Йеговистов или рай где люди кормят оленей с руки , как можно дать машине понятие добро, или если никого не убивать это уже добро ?
Вы действительно верите в это ? в доброго или злого ИИ ? ктож его определит добрый он или нет

Цитата (djordj @ 12.3.2016)
Так что даже если присутствующие здесь возможные школьники решат дожить до 100 лет, им все равно навряд ли придется столкнуться с проблемой злого ИИ, который развязал войну на уничтожение

Интересно, а как ты вообще это оценил?

Ну то есть, каким вообще образом можно делать такой прогноз на 100 лет вперёд, в ситуации экспоненциального роста технологий?

Я вот понимаю на сновании чего можно говорить о том, что ИИ превзойдёт по уровню интеллекта человека, но на каком основании можно говорить о том, что этого не будет в ближайшие 100 лет?

Ai'r'r170

знаешь, в покере есть такой принцип "ни у кого ничего нет"

в жизни есть аналогия, как правило реализуются самые заурядные сценарии, все экстремальные прогнозы либо полностью проваливаются либо сбываются, но с огромным временным лагом.

Есть люди которые 30 лет вещают о крахе бакса, есть люди которые ждали мировой кризис десять лет со дня не день, 50 лет назад люди представляли себе овладение космосом к нашим дня на гораздо более высоком уровне, нежели мы имеем по факту.

Этот принцип работает. То, что кажется близким, на самом деле является далеким. Кажется, квантовый компьютер уже почти готов, на деле, вполне возможно его полноценной версии придется ждать еще лет 15.

Так все работает. Источники, которые заманивают захватывающими футуристическими прогнозами крайне ангажированны, они либо коммерчески заинтересованны в продвижении темы(стартапы и проч. требующие вливания бабла) либо просто это техногики, которые выдают желаемое за действительное, т.к. грезят о наступлении нового мира и таким образом формируют вокруг себя всю эту техноэйфорию.

Спокойнее нужно это воспринимать. Еще предстоит очень долгий путь.

В области компьютерных технологий прогнозы зачастую сбывались раньше и/или мощнее, начиная вот с этого вот "I think there is a world market for maybe five computers."