Комментарии к колодцу Феруэлла

Создание ИИ подобно созданию атомной бомбы в 40-х годах прошлого века.
Кто первый создаст, тот и будет "править бал" некоторое время, пока ИИ не создаст другая страна (если дадут успеть).

Кто-то задумывался о безопасности, когда создавали атомное оружие?
Так и с ИИ, кто будет задумываться о рисках, когда на кону создание топ левел оружия?

Ai'r'r170 @ 10.10.2016
feruell, Вот предположим мы собрали лучших учёных и сказали им работать над безопасностью АИ. И чем конкретно должны будут заниматься учёные? Сидеть и высказывать свои опасение?

Просто много раз уже говорилось о необходимости работы над безопасности АИ, но вот в чёт конкретно эта работа должна заключаться не совсем понятно, с учётом того, что мы ещё АИ не создали. Единственное, можно на законодательном уровне запретить создавать АИ, что мало эффективно, само собой

Это будет определять человек, который будет возглавлять проект очевидно. В мире есть 3-4 места, где исследователи уже занимаются этим фулл-тайм. Люди типа Бострома и Юдковски знают, в каких направлениях надо копать и уже копают своими скромными силами.

Drovosek, Про безопасность в гугле конечно думают, но этого недостаточно. Сложность задачи слишком велика, чтобы даже объединенные усилия всех ведущих специалистов могли гарантировать успех, что уж тут говорить об одной частно компании, которая к тому же заинтересована в получении прибыли, то есть имеет конфликт интересов: выпустить продукт сейчас и заработать миллиарды или потратить 10 лет на тестирование безопасности и потерять рынок.

n1kO,

n1kO @ 9.10.2016
Вообще-то человек поевший на завтрак кашу с фруктами и орехами в разы энергичней и продуктивней, чем тот кто попил кофейку с пирожонкой, а на ланч съел шаурму, от которой у него началась изжога.

Охрененнное сравнение правильного вегетарианского питания с джанк-фудом. Всегда не нравился этот метод сравнивать людей которые жрут всё подряд с веганами, которые очень запариваются относительно своей еды. Хотите сравнений - сравнивайте с фитнессисами, которые также озабочены своим питанием. Тот кто кашу с фруктами и орехами белка получил хрен да маленько и тяжелую физ работу ему будет делать сложнее чем тому кто добавил к каше мясо творог или яйца.

feruell @ 10.10.2016
Это будет определять человек, который будет возглавлять проект очевидно. В мире есть 3-4 места, где исследователи уже занимаются этим фулл-тайм. Люди типа Бострома и Юдковски знают, в каких направлениях надо копать и уже копают своими скромными силами.

Я наверное не правильно сформулировал вопрос... Я не говорю о том, что нет работы в области безопасности AI, обсуждать и прогнозировать последствия создания AI - важно. Я не понимаю смысла создания мегапроекта..

Вот скажем мы озаботились опасностью столкновения земли с астероидом. Ну действительно, большой астероид может уничтожить всё нашу цивилизацию.
Ну тогда мы, если вероятность встречи земли с астероидом вдруг окажется относительно высокой, можем при желании создать мегапроект по защите земли от астеройдов с привлечением лучших учёных. Но ведь сделаем мы это, с понимание, что учёные в мегапроекте будут решать КОНКРЕТНЫЕ задачи
1) Создание оборудование, для обнаружения опасных для земли астероидов
2) Создание оборужования, способного их уничтожить, или отбуксировать от орбиты земли.
Ну подобные задачи, в общих чертах, вроде должны быть понятны широкому кругу людей

А какие КОНКРЕТНЫЕ задачи будут решать учёные в мегапроекте по безопасности ИИ?
Мы же его не создали, каким об будет не знаем и, соответственно, как с ним бороться, видимо, тоже.
Всё что я пока слышал, это разговоры о том каким потенциально опасным он может быть и как нам всем должно быть страшно и надо создавать дахрилион комиссий по контролю и т.д... Но вот кто бы сказал, что сейчас эти комиссии делать то будут? Можть добрый ии создавать, на марс лететь, или там возродить святую инквизицию, для сжигания на кострах создателей ИИ?
ЧЕМ они СЕЙЧАС будут заниматься? Это же очень важно обьяснить.
Я вот, как обыватель, уже не исключаю, что какой то процент из тех кто кричит о необходимости создания комиссий, тупо хочет денежек.

P.S При этом я представляю, чем они могут заниматься, когда мы хотя бы приблизимся к созданию ИИ. Тогда можно себе представить и контроль( будет что контролировать) и преславутые тесты 10 лет( будет что тестировать) и т.д

feruell @ 10.10.2016
Еще раз о том же самом, от хорошего рассказчика.

Я полностью разделяю мнение, что нужен мегапроект по работе над безопаснотью AI, который бы собрал лучших ученых. Это задача экстраординарной важности.

Я вот только одного понять не могу - в чем важность? Почему подвид прямоходящих обезьян 'Homo Sapiens' представляет какую-то особую ценность с точки зрения прогресса? Понятно что зверушка забавная, но ведь вроде сколько уже видов животных были сметены эволюцией и никто особо не переживал.

Zedmor, Речь о твоих родных и близких, а не только о роде прямоходящих обезьян.

Правильно в видео говорят, что людям тяжело представить и по-настоящему ужаснуться последствий.

Лично мне страшно на самом деле, в том числе и от равнодушных комментариев.

Позволю себе ещё один пост относительно "богатырской силы" вегетарианства.
В настоящее время самой массовой сферой человеческой деятельности, предьявляющей большие требования к человеческому организму является спорт. На вершину пирамиды (в спорт высших достижений) попадают люди прошедшие строгий отбор, а следовательно обладающие качествами дающими преимущество. Соответственно, если бы вегетарианство давало бонусы ,то в определенных видах спорта мы бы наблюдали доминирование вегетарианцев. Вегетарианцы в ответ любят говорить что их в принципе мало, но этот аргумент не убедителен ввиду того, что людей за 2 метра например тоже не много, но в баскетболе или волейболе этим никого не удивишь. Как противоположный пример можно привести бодибилдинг, там все топы едят по килограмму мяса в день +\-. Да и вообще в любом силовом виде спорта даже средний спортсмен-вегетарианец уже становится сенсацией. Соответственно значимых бонусов для физических возможностей вегетарианство не даёт.

Ai'r'r170, Ну если тебе интересно, почитай соответствующие научные работы. Тот же MIRI регулярно публикует то, что они на самом деле делают.

Да ЭМИ бомбу взорвал к хуям в дата центре если выебываться будет да и все.
Думаю, бессмысленно зашивать в код какие-то законы, типа как у Азимова.
Хотя, если говорить о интернете вещей, то теоретически ИИ сможет передать знания условному миллиарду холодильников, и тогда придется взрывать огромную бомбу над планетой и пострадает куча людей, т.к. даже современный комбайн не заведется. Но я не думаю, что у миллиарда холодильников в ближайшем будущем будут мощности, чтобы обрабатывать данные ИИ.

Zedmor @ 10.10.2016
Я вот только одного понять не могу - в чем важность? Почему подвид прямоходящих обезьян 'Homo Sapiens' представляет какую-то особую ценность с точки зрения прогресса? Понятно что зверушка забавная, но ведь вроде сколько уже видов животных были сметены эволюцией и никто особо не переживал.

А почему ты тогда против "фашистских методов ведения войны?" Почему несколько тысяч особей подвида прямоходящих представляют для тебя ценность?

Humanicide, Ну все, мы спасены. Случайный человек на покерном форуме за 3 минуты нашел решение важнейшей проблемы современности.

не зря колодец создавала спас планету

feruell @ 10.10.2016
Humanicide, Ну все, мы спасены. Случайный человек на покерном форуме за 3 минуты нашел решение важнейшей проблемы современности.

Решений всегда несколько.
Это самое радикальное и доступное.
Не думаю, что синтетический разум так сложно уничтожить и не считаю проблемой столетия.

feruell, я почитал/посмотрел всякого разного материала на тему и есть три вопроса/замечания:

1. Основные спикеры по теме, которых я вижу — это Юдковский, Бостром, Урбан, Харрис..
Они конечно важны для того, чтобы поднять вопрос, но при всём уважении они не сильно компетенты в обеих областях: ни в истуственном, ни в "естественном" интеллекте. Под компетентностью я имею в виду практическую работу в данной области (master degree Бострома не катит).
То есть мнение условных Google Deepmind было бы куда убедительнее.
Или оно всё есть и я просто не видел (сильно не искал)? Скинь ссылок, если есть плиз.


2. А ты читал/смотрел какие-то оппозиционные мнения или дебаты с участием скептиков?
Просто я (как подозреваю и ты) сильно не компетентен в AI и когда Бостром говорит про прогнозы создания или сложность всей задачи, я могу лишь поверить ему, т.к. проверить за короткое время это практически невозможно. И, как показывает практика, в таких штуках доверяться интуиции и дедуктивному мышлению может быть сильно неправильно.
Вот всё что я видел из такого:

Может ещё чего есть, посерьёзнее уровнем?


3. Ну и момент, который лично мне кажется странным:
Вот допустим мы согласились, что есть опасность. Что дальше? Ответ: создать проект по "контролю" за AI и

feruell @ 10.10.2016
Это будет определять человек, который будет возглавлять проект очевидно

не устраивает совсем.
Почему кандидат на эту роль не скажет что делать уже сейчас? Это секрет?
Просто ощущение, что ответа таки нет. Юдковский и ко потратили много ютюбочасов и пдфостраниц на рассказы как страшно и опасно это может быть, но я нигде не видел какого-то конкретного плана кроме "надо выделить миллиард денег, дать нам, мы сядем и подумаем" (утрирую).
Или опять же есть и я всё пропустил?

При этом чисто интуитивно (плохой подход, согласен) не ясно, как будут сочетаться наложенные нами "ограничения" с фактом того, что это суперинтеллект. То есть во-первых, он самообучаемый и самоизменяемый (как и любой интеллект), а во-вторых, супер, то есть ещё круче чем мы.

Humanicide, это совсем не решение и эффекта от него ровно 0. Ты думаешь, что перед тем, как навредить человечеству ИИ будет нас предупреждать, чтобы мы успели взорвать ЭМИ? Неужели ты считаешь, что НАСТОЛЬКО примитивный предохранитель остановит сверхинтеллект? Что он совсем не учтёт всех вероятных угроз с нашей стороны?

UPD надо думать не о том, как остановить ИИ в случае его выхода из под контроля - этого у нас никогда не получится, а о том, как создать такой ИИ, который просто не пойдёт против нас и наших убеждений.

Mad_Artist @ 10.10.2016
Humanicide, это совсем не решение и эффекта от него ровно 0. Ты думаешь, что перед тем, как навредить человечеству ИИ будет нас предупреждать, чтобы мы успели взорвать ЭМИ? Неужели ты считаешь, что НАСТОЛЬКО примитивный предохранитель остановит сверхинтеллект? Что он совсем не учтёт всех вероятных угроз с нашей стороны?

Да пусть учитывает что хочет. Всем похуй.
Когда кто-то что-то учитывает, это не значит, что у этого кого-то есть решение.

ConstOr @ 10.10.2016
Почему кандидат на эту роль не скажет что делать уже сейчас? Это секрет?
Просто ощущение, что ответа таки нет. Юдковский и ко потратили много ютюбочасов и пдфостраниц на рассказы как страшно и опасно это может быть, но я нигде не видел какого-то конкретного плана кроме "надо выделить миллиард денег, дать нам, мы сядем и подумаем" (утрирую).

Для начала можно почитать тут. Сразу предупреждаю, что это длинно, сложно и на английском. Но тому, кто хочет действительно что-то узнать, а не просто выбрать "кому поверить", без длинных и сложных текстов на английском не обойтись.

Upd. Лучше читать работы по этой ссылке, хотя бы первую статью. Это краткий обзор открытых математических проблем, связанных с созданием безопасного ИИ.

ConstOr @ 10.10.2016
То есть мнение условных Google Deepmind было бы куда убедительнее.
Или оно всё есть и я просто не видел (сильно не искал)? Скинь ссылок, если есть плиз.

Здесь уже была такая ссылка.

Shane Legg is co-founder of DeepMind Technologies (wiki), an AI startup that was bought for Google in 2014 for about $500 million.
...
He and his co-founders Demis Hassabis and Mustafa Suleyman have signed the Future of Life Institute petition on AI risks, and one of their conditions for joining Google was that the company agree to set up an AI Ethics Board to investigate these issues.

Humanicide @ 10.10.2016
Когда кто-то что-то учитывает, это не значит, что у этого кого-то есть решение.

Как будто для искуственного сверхинтеллекта будет проблемой найти решение. Он это сделает за секунду для всех вероятных угроз со стороны человека