Комментарии к колодцу Феруэлла

Мы не можем оценить, насколько деятельность MIRI будет полезной. Мы не знаем, как будет выглядеть ИИ, но тенденции проследить можно.
Хочу привести один пример. Текущие нейросети хоть и показывают хороший результат на специфических задачах, их всё же легко обмануть. Картинку можно изменить незначительно так, чтобы нейросеть "увидела" вместо скажем слона на ней всё что угодно. При этом, человек не увидит изменений, как был слон, так слон и остался.
Все эти "странные" особенности говорят о том, что нейросеть очень далека от работы мозга. Но ведь при этом, нейросеть показывает результаты, сопоставимые с человеком, а порой и даже лучше. А в последнее время появилось множество приемов, как заставить нейросеть работать еще лучше, обучаться быстрее. И ведь эти приёмы не имеют ничего общего с работой мозга.
Есть опасения, что мы построим нечто, что будет способно решать те же задачи, что и люди, но при этом, нечто будет устроено совсем по-другому. А следовательно, нельзя недооценивать вероятность, что ИИ сотрёт всех нас с лица Земли.
Сейчас активно ведутся исследования (на волне популярности нейросетей) в области работы мозга. Люди за последние лет 5 узнали много нового. Возможно, если мы будем развиваться в этом направлении, то результат выйдет лучше (мы выживем). Но у этого подхода есть тоже свои серьезные проблемы.
P. S. Интересно, что будет если ИИ создаст ещё суперИИ, который сотрёт с лица Земли ИИ? We need to go deeper.

feruell @ 10.10.2016
Правильно в видео говорят, что людям тяжело представить и по-настоящему ужаснуться последствий.

Лично мне страшно на самом деле, в том числе и от равнодушных комментариев.

А зачем представлять и ужасаться? Пусть представляют и ужасаются компетентные люди, которые могут на что-то повлиять. Если это действительно важный вопрос, то он неизбежно станет актуальным в мировом масштабе вне зависимости от наших взглядов. Ты же не думаешь, что "случайный человек на покерном форуме за 3 минуты найдёт решение важнейшей проблемы современности".

Самое поразительное то, что люди заранее пытаются решить (или просто опасаются/обговаривают) еще не существующую проблему (не отрицаю, что вполне и очень даже возможно опасную), но в то же время игнорируют уже сейчас реальные (и не менне опасные, кстати) проблемы, решение которых дало бы человечеству очень неплохие перспективы...

iow, Зачем вообще что-то делать? Потому что не могу иначе.

Проблему я решить не могу, но могу помочь. В прошлом году сделал донейшен в МИРИ 50к сам и еще 50к примерно благодаря мне другие покеристы перевели. Это конечно капля в море, но лучше помогать важным целям, чем не помогать на мой взгляд.

.

ConstOr, До кучи:

The Future of Humanity Institute and DeepMind are co-hosting monthly seminars aimed at deepening the ongoing fruitful collaboration between AI safety researchers in these organisations. The Future of Humanity Institute played host to the seminar series for the first time last week.

DeepMind’s Laurent Orseau has been collaborating with Stuart Armstrong on “Safely Interruptible Agents“, among other topics. Orseau is also working with FHI’s Jan Leike on issues including “Thompson sampling is asymptotically optimal in general environments“, which won best student paper at UAI 2016.

Если бы ты прочитал From AI to Zombies Юдковского вопрос бы о его компетентности тоже отпал бы, я думаю.

feruell, по пункту 2 было бы интереснее конечно, но поддержка DeepMind это хороший (плохой? :) ) знак безусловно.

Про Юдковского, мне кажется ты немного biased, возможно из-за личного знакомства с ним.
Мне проще, я знаю человека, который тоже лично знаком, но он более сдержан в оценках (считает умным разумеется, но менее умным, чем сам Элайзер себя считает например ).
Так вот, во-первых, под компетенцией я имел нечто другое о чём в посте написал. Во-вторых, я Sequences про AI не читал и в ближайшее время не буду (мне совсем не нравится стиль Юдковского, когда он хорошие мысли расписывает на огромное количество страниц нарочито сложным языком), но читал другие его вещи и видно отсутствие системного технического образования. Например такая статья, предлагающая новую модель в математической теории (принятия решений), которая имеет примерно 117 страниц текста и 0 формул. Поэтому я ожидаю такой же подход и к теме AI, хотя возможно и ошибаюсь.

Оговорюсь, что Юдковского очень уважаю, особенно за всё, что связано с популяризацией и продвижением идей рационального мышления.

ConstOr, поддержка deep mind это хороший знак, если забыть о том, что они другой рукой стремительно приближают апокалипсис.

Возражения я читал/слышал, сильных не видел.

Про отсутствие образования у Ю я даже не хочу говорить всерьез.

EternalRain @ 10.10.2016
Самое поразительное то, что люди заранее пытаются решить (или просто опасаются/обговаривают) еще не существующую проблему

Когда сильный ИИ появится будет уже поздно что-то решать.

Супер ИИ не нужен, т.к. люди не смогут его заставить работать, а тем более работать на на них.

Сейчас эти люди говорят о том, что пора готовится к следующему витку исторических событий, который должен уложится в более короткое время, просто в силу технического прогресса. Представьте, что американцы бы писали и рассылали во все крупные газетные издания по всему миру новости о том, что проект Манхеттен выдается с огромной скоростью и скоро будет завершен. Для рядового японца из хиросмимы такая информация была бы крайне полезна, если бы он имел какие то связи, скажем, с местным городовым. Ведь в подтексте явно написано - да ии разрабатывается, да в сша скорее всего лаборатории с самыми умными учеными и у них намечается совсем хороший прогресс. Про политику говорят вообще прямым текстом. Еще забавная деталь в том, что
такой атеистический мастодонт, как Сэм публично допускает существование (в будущем) "some sort of god", и, вообще, явно обеспокоен.

feruell @ 10.10.2016
Zedmor, Речь о твоих родных и близких, а не только о роде прямоходящих обезьян.

А чем близкие отличаются от других, в них какая-то особая ценность в широком смысле?

feruell @ 10.10.2016
Лично мне страшно на самом деле, в том числе и от равнодушных комментариев.

Чего бояться, если существование лишено какого-то особого смысла?
И дело не в "конкретной руке"(близкие), а в "ЕВ" в целом(больше чем 3-10 человек). - Просто другая точка отсчета.

Когда у человека в жизни решены все проблемы, остаётся одна: проблема искусственного интеллекта как эктраординарная и первоочередная задача (наблюдение из жизни).

spaun @ 10.10.2016
Текущие нейросети хоть и показывают хороший результат на специфических задачах, их всё же легко обмануть. Картинку можно изменить незначительно так, чтобы нейросеть "увидела" вместо скажем слона на ней всё что угодно. При этом, человек не увидит изменений, как был слон, так слон и остался.
Все эти "странные" особенности говорят о том, что нейросеть очень далека от работы мозга.

В искусственных нейросетях задействовано на порядки меньше нейронов, чем в соответствующих участках мозга. Но по качеству связности нейросети значительно превосходят реальные нейроны, т.к. не имеют физического размера и не ограничены особенностями трехмерного пространства при организации связей.

spaun @ 10.10.2016
Но ведь при этом, нейросеть показывает результаты, сопоставимые с человеком, а порой и даже лучше.

Имхо, это потому что нейросети, в целом, лучше вычисляют из-за своих преимуществ. Хоть они пока и меньше по объему, и, очевидно, избыточно примитивизируют жизнь реального нейрона.

feruell @ 10.10.2016
Zedmor, Речь о твоих родных и близких, а не только о роде прямоходящих обезьян.
Правильно в видео говорят, что людям тяжело представить и по-настоящему ужаснуться последствий.
Лично мне страшно на самом деле, в том числе и от равнодушных комментариев.

feruell, занятие темой защиты от ИИ - выглядит параноидально.

Большинство людей не верят в будущее. Т.е. создание сильного ИИ для них неотличимо от научной фантастики. Они не понимают реальности этого в самое ближайшее время.
Тем кто это понимает, гораздо интереснее заниматься созданием этого ИИ. Человечество сейчас создает себе Бога, и, со стороны любого умного человека, глупо не хотеть поучаствовать в его конструировании.

Заниматься такими аспектами как безопасность конструируемой системы наиболее подходит для людей, склонных к параноидальным состояниям - они на этом зациклены и способны чаще других думать о защите.

Риск того, что сильный ИИ убьет человечество - очень значимый. Но по вероятности реализации - маловероятен. У нас нет серьезных причин для конкуренции. Все что ему будет нужно - это много энергии и немного материи. Проблем с энергией в фундаментальной физике не просматривается, и потенциальный объем доступной энергии выглядит примерно безграничным.
Если ИИ по какой-то причине понадобится вещество в существенных количествах, то даже сегодня у человечества нет серьезных проблем запулить огромный дата-центр массой в миллионы тонн на Луну или Венеру. Они не сильно отличаются по химическому составу, ничего такого особо уникального на нашей Земле нет.

Если ИИ по какой-то причине захочет уничтожить Вселенную, то вполне логично предположить, что к такому выводу придет любая разумная жизнь. Ведь разум - это вычисление нашей Вселенной, а любая вычислительная база является универсальной.
В этом случае нет никакой разницы кто эту Вселенную разрушит, надо относиться к этому философски.

Думаю, сегодня абсолютному большинству интересней сидеть и придумывать сверхтехнологичное оружие, чем создавать экологический проект по спасению рыжего окуня после ядерной зимы. Конечно, это не значит что рыжего окуня после ядерной зимы спасать будет не надо - еще как надо, если таковая наступит. Просто нужны специфические черты личности, чтобы этим заниматься сейчас.

Немного в сторону от обсуждения ИИ.

feruell @ 23.2.2016
...Важный урок отсюда, что сажать и раскулачивать будут всех. И никакие крики "мы за путина!" не помогут. Вот хозяин Домодедово Каменщик сидел тише воды, ниже травы. Про политику никогда даже не заикался. А все равно попал в ощип, просто потому что мельница привыкла молоть.

Дело прекращено. Аэропорт не отжат. Отскочил?
http://www.rbc.ru/rbcfreenews/57eb974b9a7947abb236b5a5

feruell @ 10.10.2016
Еще раз о том же самом, от хорошего рассказчика.

Я полностью разделяю мнение, что нужен мегапроект по работе над безопаснотью AI, который бы собрал лучших ученых. Это задача экстраординарной важности.

Вот ссылка на эту же лекцию на сайте TED, если вам нужны субтитры. Русских субтитров к сожалению пока нет.

Не думал ли ты что идиоты-политики начнут использовать эти технологии в своих нуждах которые идут в разрез с нуждами остальных людей, не думал ли что у них и так много власти а может стать ещё больше? Думаю слово безопасность применимо только для тех кто будет управлять AI, т.е "высших слоев населения". Поэтому делать что-то открыто не благоразумно и для политиков.

Mad_Artist @ 11.10.2016
Когда сильный ИИ появится будет уже поздно что-то решать.

Я не отрицаю некую вероятность этого. А еще, возможно, в одном из экспериментов коллайдера, когда частички достигнут ранее недостижимых энергий, одна из микро черных дыр не испарится или произойдет другое, еще неизвестное человечеству явление, которое уничтожит оное. Или какой-то доселе вполне безобидный вирус мутирует в супервирус, оставив человечеству считанные часы. Или Земля сойдет с орбиты / столкнется с каким-то другим объектом. Или, или, или... Таких возможных событий не так и мало и вероятности их не меньше по сравнению с поялением прагматичного ИИ, который захочет сам остаться на планете.
На бесконечно долгой дистанции шансы человечества на выживание стремятся к нулю, как не крути.

EternalRain @ 11.10.2016
Или какой-то доселе вполне безобидный вирус мутирует в супервирус, оставив человечеству считанные часы

Кстати, ИМХО это может быть очень серьезная опасность, в случае если ученые с помощью генной инженерии научиться производить вирусы способные заразить сотни тысяч людей.

Если я ничего не путаю, Стивен Хокинг включил генно- инженерные вирусы в одну из 3 главных опасностей для человечества 21 века.

Причем, мне вот, на моем обывательском уровне, кажется что получить вирус плохим дядям из игил ( запрещенная в России террористическая группировка) и КНДР будет проще, чем сверх ии.

Если это не так, поправьте пожалуйста

Ai'r'r170, страшно представить что начнется, когда генетическая инженерия придет на бытовой уровень.

У Каганова есть рассказ Хомка, где дети балуются с домашним инкубатором, в который можно загрузить пиратскую прошивку и создавать любой организм на синтезированном ДНК.

С развитием образования и техники, бороться с такими явлениями государству будет сложнее, чем с наркотиками.

paravozek, Кстати, в таком случае, альтернатива доверить человечество в лапы ии, чтобы он не допустил распространенное генно модифицированных вирусов и ядерных грибков, выглядит уже не такой плохой...