Комментарии к колодцу Феруэлла

Цитата (БоевойСлон @ 12.10.2016)
Так мне и интересно, какие ещё сейчас используются или хотя бы обсуждаются методы, в которых в конечном счёте не заложена максимизация целевой функции / минимизация ошибки.

По дилетантски вмешаюсь.
Помню вот в старые 486 компы встраивали кнопку, замедляющую его. А то фпс в старых играх запредельный был.

Все таки в вопросах завода скрепок, цель - это не сделать максимальное количество скрепок, а сделать достаточное количество скрепок из имеющихся ресурсов.

Это конечно не отменяет того, что ИИ может начать максимизировать любую другую, побочную функцию, тоже н совместимую с существованием человечества.

Цитата (feruell @ 11.10.2016)
Пакет Яровой?

Ну, во-первых, примеры из российского законотворчества не годятся, потому что как вы сами заметили, демократии в России нет.
А во-вторых, каким образом этот закон иллюстрирует получение большой прибыли небольшим количеством людей за счет отчуждения незначительной части собственности у всех?

Цитата (paravozek @ 12.10.2016)
То что делает Юдковский - похоже на разработку специализированной вычислительной архитектуры, которая может вычислять все алгоритмы, кроме одного ('убить всех человеков').

Из того, что есть на сайте MIRI, я прочитал о двух идеях, связанный с безопасностью ИИ.
1) Corrigibility. Алгоритмы, которые не "заинтересованы" в том, чтобы препятствовать собственному выключению. Это позволит в любой момент выключить алгоритм, если "что-то пошло не так".

2) Value learning. Как научить ИИ понимать человеческие ценности? В идеале, если ИИ, наблюдая за людьми, сможет "понять", чего мы действительно хотим и что мы ценим (а в это "что-то" будет входить, в частности, и значительная самостоятельность человечества), то потом можно просто запустить ИИ на следование этим ценностям, и мы получим себе доброго Бога. В рамках следования этим ценностям он автоматически не допустит создания конкурирующего "злого ИИ".

"Понять" и особенно "заинтересованы" взяты в кавычки, т.к. речь конечно же идёт не о заинтересованности в человеческом понимании этого слова.

Обе эти идеи вполне универсальные, но не знаю, насколько их можно осуществить. Но вот, например, совместная статья Safely interruptible agents Google Deep Mind и MIRI на эту тему. Тут Constor никак не сможет предъявить претензии к отсутствию формул :)

Вспомним конец 19-ого / начало 20-ого века. Математики только-только начинали поступаться к вопросу о том, что такое "логика", как формально определить "доказательство", что такое "алгоритм". В итоге мы получили логики первого и второго порядка, теорему Геделя, машину Тьюринга, классы P и NP, и многое-многое другое.

Это же совершенно фантастические достижения по переводу сложных "человеческих" концепций на строгий математический язык. "Задача, требующая экспоненциального времени для своего решения" - этому понятию дано чёткое формальное определение и изучены его свойства! Почему бы сейчас математикам не повторить эти успехи в области безопасности ИИ?

А где можно почитать, что Юдковский хочет запретить Тьюринга?

Цитата (Nameless00 @ 12.10.2016)
Все таки в вопросах завода скрепок, цель - это не сделать максимальное количество скрепок, а сделать достаточное количество скрепок из имеющихся ресурсов.

Это конечно не отменяет того, что ИИ может начать максимизировать любую другую, побочную функцию, тоже н совместимую с существованием человечества.

Но если мы запускаем ИИ на производство скрепок, мы же ставим ему какую-то задачу? Сделать их как можно лучше, или как можно экономнее, или как можно более удобной формы, или ещё что-то. Иначе зачем нам ИИ в этом вопросе? И как только мы пробуем максимизировать хоть что-то, мы тут же получаем совершенно непредсказуемые последствия, если ИИ достаточно мощный, что действительно достичь максимума.

Цитата (БоевойСлон @ 12.10.2016)
Обе эти идеи вполне универсальные, но не знаю, насколько их можно осуществить. Но вот, например, совместная статья Safely interruptible agents Google Deep Mind и MIRI на эту тему. Тут Constor никак не сможет предъявить претензии к отсутствию формул :)

Я не хочу показаться черезчур категоричным, но все это больше похоже на "этические комитеты" у жены на работе, где регламентируется как делать операции мышам, чтобы они не страдали, каким способом их умерщвлять итп. То есть что-то, что делается для того, чтобы условный "этический комитет" одобрил их исследования и не мешался под ногами.

Цитата (БоевойСлон @ 12.10.2016)
Обе эти идеи вполне универсальные, но не знаю, насколько их можно осуществить. Но вот, например, совместная статья Safely interruptible agents Google Deep Mind и MIRI на эту тему. Тут Constor никак не сможет предъявить претензии к отсутствию формул :)

я кстати про MIRI ничего не говорил. Я слышал, что у них качественные работы (сам не читал). Ну и твои те ссылки на MIRI в toread висят )

Цитата (БоевойСлон @ 12.10.2016)
Неужели ты не можешь придумать мир, в котором существует всемогущий (в рамках физических законов) сверхчеловеческий интеллект, но который при этом действует так, что тебе хочется в этом мире жить? Действует так, потому что он был так запрограммирован? Неужели не стоит постараться именно так его и запрограммировать?

вот у меня в этом моменте есть интуитивное противоречие (непонимание). Чуйка говорит, что должно быть либо одно, либо другое.
То есть либо алгоритм работает строго в рамках, которые мы ему накодили, но тогда это не называется superAI и не делает все те страшные и умные штуки, про которые товарищи рассказывают (типа мы не можем его где-то запереть или отключить, т.к. он нас умнее и сможет нейтрализовать etc). Либо алгоритм может "видоизменяться" и "умнеть" и тогда в целом пофиг, какие начальные данные мы задали.
Я ошибаюсь?

Ну и вообще, есть неловкое чувство, что люди в целом не особо понимают, как сделать AI (всё что есть сейчас, включая DeepMind — это качественно другое вроде). Но есть группа людей, которая уже хочет какие-то ограничения придумать.

При этом математическую работу MIRI одобряю, это всегда полезно.

Цитата (Zedmor @ 12.10.2016)
Я не хочу показаться черезчур категоричным, но все это больше похоже на "этические комитеты" у жены на работе, где регламентируется как делать операции мышам, чтобы они не страдали, каким способом их умерщвлять итп. То есть что-то, что делается для того, чтобы условный "этический комитет" одобрил их исследования и не мешался под ногами.

Возможно ты прав, и для Deep Mind это так и есть, я не знаю. Но в любом случае можно надеяться хотя бы на то, что безопасная остановка и алгоритмическое изучение человеческих ценностей - это задачи, которые будут иметь и коммерческую ценность. И даже в рамках "этических комитетов" постепенно появятся учёные, которые будут строить на этом академическую карьеру, у них будут ученики и т.д. Чем больше людей будут заниматься этой проблемой, по любым причинам, тем больше шансов на успех.

Тот же FLH решили не в каких-то практических целях, а просто как исследовательскую задачу, которая была интересна нескольким группам учёных. Я читал их работы на эту тему, там за несколько лет объём решаемых задач на несколько порядков вырос, просто за счёт новых алгоритмических идей.

А в целом да, перспективы достаточно мрачные, но если кто-то решил побороться за успех, зачем его критиковать?

Как я понимаю ты потерял кучу денег из-за брексита. Нет злости что англичане оказались такими ватниками? Ведь по сути они проголосовали против глобализации.

Не понимаю, почему Zedmor считает, будто человек не согласится "переселиться" в вечное тело с усыплением старого. Я бы согласился.
Переживания по поводу выживания homo sapiens, имхо, вызваны излишним пафосом в отношении своей драгоценной жизни.
Тем не менее, я разделяю, с незначительными отклонениями, видение Zedmor'a на вопрос эволюции и целеполагания.
Как я это вижу, интернет и соцсети уже являются зачатком будущего сверхинтеллекта. При этом каждый пользователь, грубо говоря, является "нейроном".



Кроме того, считаю, что если даже появится "бездушный сверхалгоритм производства скрепок", то он не может быть записан в SAI и не сможет победить человека, даже если "захочет".
Настоящий SAI уже не назовёшь ни бездушной машиной, ни передовой технологией, это будет настоящее сознание, и намного сознательнее человеческого.

Дискуссионный уровень в колодце феруэлла настолько вырос, что теперь, заходя в закладки и видя кучу непрочитанных постов автора, подумав пару секунд, жму "Отметить все прочитанными". Совсем отупел, видимо. Что делать? Помогите!

Любопытно, что про Маска в этом блоге уже слегка позабыли, видимо, даже для его адептов слишком неловко обсуждать его явно бредовые марсианские затеи и до все большего числа людей стало доходить, что это просто Остап Бендер от техносферы. Думаю, со временем, дельцы от ИИ в лице Бостромов и иже с ним Юдковских, ждет аналогичная участь. Люди чисто занимаются профанацией.

http://www.currenttime.tv/a/28048203.html?utm_source=&utm_medium=&utm_campaign=smi-soobschayut-o-vozbuzhdenii-ugolovnogo-de

Дочь Емельяненко избили. Мда, уж. Настоящие мужчины.

Цитата (БоевойСлон @ 12.10.2016)
2) Value learning. Как научить ИИ понимать человеческие ценности?

Как я понимаю, большая часть человеческих ценностей задается в процессе обучения через рефлексы. Сделал плохо - получи укол боли, сделал хорошо - получил укол удовольствия.
Создать такие центры удовольствия/негатива в ИИ - вероятно, можно.

Но кто захочет испытывать укол боли напрямую в мозг? Даже мазохизм построен на стимуляции центра удовольствия опиатами и прочими штуками. Любой человек, будь это в его власти, откажется испытывать негатив добровольно. Но мы не властны над нашим мозгом, и почти не можем повлиять на его устройство. Именно по этой причине, кмк, и возможно обучение человеческим ценностям.

В случае компьютерной программы, которая гораздо более пластична в своем устройстве, это выглядит более сложной задачей. Её, по всей видимости, нужно будет решать через организацию прав доступа и нагромождение уровней абстракции.
Но с уровнями абстракции какая ситуация, - обычно, они серьезно замедляют производительность работы программы. В разы и на порядки. И тут, кроме технических проблем, встает серьезная проблема гуманитарного характера.

Предположим, что мы находимся в 2050г.
За несколько лет до этого ученые доказали - триллиард мемристоров, объединенных вместе, могут считать сильный ИИ. Многие развитые страны уже могут создать этот триллиард мемристоров, но не делают этого, т.к. боятся неконтролируемого ИИ. Вместо этого они громоздят уровни абстракции, придумывают какие-нибудь специфичные алгоритмы и ждут момента, когда промышленность сможет создать 10 триллиардов мемристоров. Вот уж на этих 10 триллиардах и запустят в безопасном режиме AI.exe.

В этот момент первая страна, которая запустит ИИ на 1 триллиарде мемристоров - получит абсолютное конкурентное преимущество над всеми другими странами.

Поэтому, собственно, вопрос - а возможна ли реализация идей Юдковского в мире, где существует много независимых юрисдикций?
Это ведь не ядерное оружие, применение которого бессмысленно, т.к. не дает захватить ресурсы врага, а попросту разрушает их. Это, скорее, чаша Грааля, бенефитов от которой будет тем больше, чем раньше ты ее применишь. При этом риски не очевидны - до последнего момента сохраняется иллюзорность контроля ситуации с помощью мужика с топором рядом с силовым кабелем.

Вообще, как-то это все заумно получается. Предлагаю простое решение - надо убедить ИИ в том, что есть какая-нибудь бомба для его уничтожения и мужик в секретном бункере на другой планете с красной кнопкой.
Но главное что надо сделать - это не делать ни бункера, ни кнопки, ни бомбы. Пусть ищет.

Цитата (ConstOr @ 12.10.2016)
я кстати про MIRI ничего не говорил. Я слышал, что у них качественные работы (сам не читал). Ну и твои те ссылки на MIRI в toread висят )

Те ссылки как раз будут без формул, если я правильно помню :). Это скорее вводно-ознакомительный материал.

Цитата (ConstOr @ 12.10.2016)
вот у меня в этом моменте есть интуитивное противоречие (непонимание). Чуйка говорит, что должно быть либо одно, либо другое.
То есть либо алгоритм работает строго в рамках, которые мы ему накодили, но тогда это не называется superAI и не делает все те страшные и умные штуки, про которые товарищи рассказывают (типа мы не можем его где-то запереть или отключить, т.к. он нас умнее и сможет нейтрализовать etc). Либо алгоритм может "видоизменяться" и "умнеть" и тогда в целом пофиг, какие начальные данные мы задали.
Я ошибаюсь?

Идея в том, что алгоритм не может сам менять свои конечные цели. Т.к. нет никаких "более высоких целей", ради которых он будет это делать. И всё своё обучение, создание своих копий, самоусовершенствование - он всё будет делать в рамках изначально заданных конечных целей. Надо только, чтобы эти цели включали в себя человеческие ценности. И лучше бы ничего больше и не содержали :)

С сorrigibility та же идея. Мы не надеемся сделать так, что сверх-ИИ не сможет помешать его выключить. Но можно попытаться сделать так, чтобы ему с самого начала было пофиг, выключим мы его или нет.

Цитата
Вообще, как-то это все заумно получается. Предлагаю простое решение - надо убедить ИИ в том, что есть какая-нибудь бомба для его уничтожения и мужик в секретном бункере на другой планете с красной кнопкой.
Но главное что надо сделать - это не делать ни бункера, ни кнопки, ни бомбы. Пусть ищет.

остроумное решение отличная идея для фантастической книжки)

Цитата (Zedmor @ 12.10.2016)
Я не хочу показаться черезчур категоричным, но все это больше похоже на "этические комитеты" у жены на работе, где регламентируется как делать операции мышам, чтобы они не страдали, каким способом их умерщвлять итп. То есть что-то, что делается для того, чтобы условный "этический комитет" одобрил их исследования и не мешался под ногами.

Ну в данном случае цена того, что работа этого комитета окажется профанацией ничтодна по сравнению с тем профитом, который будет если у них получится.

Человечество вполне может себе позволить выбросить пару десятков сотен нефти ради призрачного шанса решить иллюзорную угрозу и даже не поморщиться.

Цитата (БоевойСлон @ 12.10.2016)
Идея в том, что алгоритм не может сам менять свои конечные цели. Т.к. нет никаких "более высоких целей", ради которых он будет это делать. И всё своё обучение, создание своих копий, самоусовершенствование - он всё будет делать в рамках изначально заданных конечных целей. Надо только, чтобы эти цели включали в себя человеческие ценности. И лучше бы ничего больше и не содержали :)

Ну я понимаю это, вот только по чуйке кажется, что это несовместимо с понятием superAI из тех соображений, что у нас нет универсальных неизменяемых конечных целей. Человек может поменять все свои эвалюционные установки в голове без проблем. То есть например взять инстинкт самосохранения — это ключевой инстинкт заложенный "создателем" (эволюцией) и тем не менее у некоторых людей с криками "Алаху акбар!" неплохо получается с этим побороться. И в своей голове они очень последовательны и у них есть чёткое ощущение, что это правильно.
А superAI вроде как должен быть круче нас во всём.
А в отдельных компетенциях компы уже сильнее, но мы же не называем это superAI.

EternalRain,

Цитата (EternalRain @ 12.10.2016)
Как раз по шахматным программам я информирован очень неплохо и интересуюсь этим вопросом достаточно давно (даже занимался разработкой когда-то).


Конечно же, хорошая оценочная функция при прочих равных будет давать преимущество. Но все равно - основная сила современных шахматных программ именно в железе: или не согласен?

P.S. А вообще я имел ввиду, что не совсем корректно оценивать интеллект человека по силе игры шахматных программ.

Как я сказал выше, рывок в росте силе шахматных программ произошел благодаря значительному улучшению оценочной функции. Базы дебютов имеют минимальное значение, потому что как я уже говорил, топ гроссмейстерам давали фору в 4 первых хода - не помогло, давали и пешку - тоже самое. До эндшпиля человек вообще не доживает. Дерево вариантов растет геометрически, поэтому производительность сама по себе давала малый прирост силы, новая оценочная функция эффективно обрезает неперспективные ветки и это дает главный эффект. Поэтому железо - не главное, хотя тоже дает свой прирост.

Сравнение человека и шахматной программы имеет цель показать, что мы уже безнадежно проигрываем в узких областях и в итоге проиграем во всех.

Новый пост в Колодце Феруэлла:

Цитата (kidder115 @ 12.10.2016)
Как я понимаю ты потерял кучу денег из-за брексита. Нет злости что англичане оказались такими ватниками? Ведь по сути они проголосовали против глобализации.

С учетом того, что большая часть денег у меня в доллларах, не думаю, что я потерял деньги на Брекзите.

К Брекзиту все равно отношусь негативно.

Цитата (inevity @ 12.10.2016)
Дерево вариантов растет геометрически, поэтому производительность сама по себе давала малый прирост силы

Цитата (inevity @ 12.10.2016)
Базы дебютов имеют минимальное значение

Показалось?
Любая компетентная база знаний дает колоссальный прирост в продуктивности.

Цитата (inevity @ 12.10.2016)
новая оценочная функция эффективно обрезает неперспективные ветки и это дает главный эффект

Не главный, но очень существенный. Потому, что перебор на +1 ход в среднем даст значительно больший прирост в силе.

Цитата (inevity @ 12.10.2016)
Поэтому железо - не главное, хотя тоже дает свой прирост

Ты уверен, что лучшая на данный момент программа без базы дебютов и эндшпилей сможет хоть что-то противопоставить кому-то из мастеров, если запустить ее на условном Спектруме?)
Или запусти какую-то средненькую программу на суперкомпьютере и топовую - на обычном компе. Поставлю на первый вариант без раздумий.