Das KapitalЪ (совместный блог Nameless и Khishtaki)

Test2, не понял смысл твоего вопроса.

Я говорю о том, чтобы поставить ограничение для ИИ, что любое "важное" решение он обязательно должен согласовывать с людьми, предоставляя корректную информацию о последствиях этого решения, после чего люди принимают или не принимают его.

Если говорить конкретно о, например, Libratuse, то его можно контролировать тем что он выдаёт список вариантов действия с их ЕВ, а разработчики выбирают какой-из них будет реализован (сам он, естественно, выбрал бы вариант с наибольшим ЕВ).


P.S. Я очень надеюсь на какие-нибудь ссылки по этому вопросу, если нет на русском, то хотя бы на английском. Я вроде прочитал немало на джипси (включая ссылки на, наверное, большинство или даже почти все упомянутые там русскоязычные статьи) на эту тему (включая и этот пост Слона, плюсанувшего Nameless'a), но не заметил противоречия моему предложению (по сути, сделать целевую функцию с множителем - индикаторной функцией, где 1 означает согласие людей, а 0 (ну или -∞) - несогласие, т.е. ИИ максимизируя целевую функцию не должен получить результат, не устраивающий человечество).

surtr, Что мешает АИ убедить своего "командира" в том, что АИ нужно освободить?

surtr @ 26.3.2017
P.S. Я очень надеюсь на какие-нибудь ссылки по этому вопросу, если нет на русском, то хотя бы на английском.

Если ты можешь это осилить, то вот.

It is straightforward to program simple and less powerful agents to shut down upon the press of a button. Corrigibility problems emerge only when the agent
possesses enough autonomy and general intelligence to consider options such as disabling the shutdown code, physically preventing the button from being pressed, psychologically manipulating the programmers into not pressing the button, or constructing new agents without shutdown buttons of their own.

<Почему не помогут> penalty terms for deception and manipulation: the penalty term merely incentivizes the agent to search for exotic ways
of affecting the programmer’s beliefs without matching U’s definition of “deception”. The very fact that the agent is incentivized to perform such a search implies that the system’s interests aren’t aligned with the programmers’: even if the search is expected to fail, any code that runs the search seems dangerous. If we, as the programmers, choose to take computing systems and program them to conduct searches that will harm us if they succeed, we have already done something wrong, even if we believe the search will fail.

К сожалению, это всё не так просто изложить в нескольких предложениях без формул. Любые попытки сделать это на неформальном языке будут слишком нестрогими и вызовут гнев Хиштаки.

Soul @ 26.3.2017
surtr, Что мешает АИ убедить своего "командира" в том, что АИ нужно освободить?

1. Ставим ограничения на действия, один из результатов которых, по мнению ИИ, приведёт к такому варианту развития событий.

2. Ставим прямой запрет на согласие ИИ на такое предложение людей. Опционально, если мы хотим гарантировать его несогласие на наше предложение, независимо от обстоятельств.

3. Здравый смысл людей, принимающих решение - люди, осознающие опасность, как мне кажется, не захотят передавать контроль практически ни при каких обстоятельствах (кроме условного примера, где нас хотят уничтожить инопланетяне, которые без помощи ИИ уничтожат нас на 100%, но его помощи с ограничениями будет недостаточно; но сам ИИ не сможет подстроить каким-либо образом такую ситуацию из-за условия 1).

surtr,

Test2 @ 7.3.2017
Нет.
Если имеется полное абсолютно точное ГТО в смешанных стратегиях, то опп проигрывает ГТО только если играет хотя бы в одном месте по нулевой вероятности ГТО. Отклоняясь от ГТО по любой ненулевой ветви, опп может играть хоть со 100% вероятностью только по этой ветви, и игра с ГТО будет равной. Другое дело, что такого оппа уже можно эксплойтить, но это не делает ГТО.

Это происходит потому что в идеальном ГТО EV максимальны и одинаковы - но вероятности могут быть разные, в неидеальном ГТО EV "близкие" но разные, а ход выбирается всегда вероятностно а не с EVmax. ВНИМАТЕЛЬНО изучи тему https://forum.gipsyteam.ru/index.php?viewtopic=99285&st=460#entry4979685.
P.S. Попытки людей вмешаться в игру Либратус вероятно ухудшат точность ГТО с возможностью БОЛЬШЕЙ эксплуатируемости оппами.

Test2, я понимаю о чём ты написал, просто когда я придумывал пример контроля разработчиками (а именно это является ключевым в нашем обсуждении), то в моём примере я представлял, что ЕВ действий различны (а очевидно такое возможно: ставка любого размера с натсом на ривере в позиции имеет ЕВ больше чека (ну только если опп не фолдит всегда, но тогда уже в зеркальной ситуации у нас ЕВ фолда больше ЕВ колла)), а раз так, то Libratus всегда выберет действие с наибольшим ЕВ.

Но всё это не относится к сути вопроса, на мой взгляд.


БоевойСлон, я постараюсь прочитать, но с моим уровнем английского не уверен что получится. Тогда пока не вмешиваюсь в разговор, хотя надеюсь когда-нибудь увидеть объяснение на русском.

surtr, Товарищ маршал докладывает рядовой АИ Test2
В создавшейся ситуации с примерно равным противником необходим отвлекающий манер 66% наших войск. Мне понятны соображения, что это слишком много. Но меньший % легко декодирует АИ противника.
В случае декодирования наше поражение 90%, без маневра 80%.
При предложенном маневре 50%. Сделано несколько миллиардов симуляций для ознакомления.штаба.
Жду вашего приказа.

Test2, приказываю прекратить здесь обсуждение этого вопроса со мной (см. пост выше).

surtr, для меня как для дилетанта в этом вопросе ключевым является то, что в случае любой ошибки в твоих пусть и идеальных рассуждениях, последствия могут быть бесконечно плачевны.

Если мы возьмем предельным случаем вышедшего из под контроля АИ например "серую слизь", то уже не так и важно, насколько близок к нулю наш шанс на ошибку, если это не 0.

А на основе просто умных рассуждений мы не можем быть уверены что шанс ошибки 0. История знает сотни примеров, когда незыблемые, умозаключения оказывались в итоге неверными.

Nameless00 @ 26.3.2017
История знает сотни примеров, когда незыблемые, умозаключения оказывались в итоге неверными.

Можно твой личный топ - 10 ?
Ну и наберусь наглости, было бы круто если бы по каждому хоть 1 комментарий.

MegCecTpax @ 26.3.2017
Можно твой личный топ - 10 ?

топ-1: "Они не посмеют!" © (Цезарь, Мария-Антуанетта, Павел 1, Александр 2 и пр. и пр. и пр.)

surtr, Люди может быть и сознают опасность, но ИИ будет настолько же умнее нас, насколько мы умнее муравья. Как думаешь, муравей сможет предусмотреть все и контролировать человека? В общем это какая-то неимоверная гордыня думать, что мы такими простыми способами сможем контролировать ИИ.

Khishtaki @ 27.3.2017
топ-1: "Они не посмеют!" © (Цезарь, Мария-Антуанетта, Павел 1, Александр 2 и пр. и пр. и пр.)

Кажется имелись ввиду незыблемые постулаты в определенный момент времени:

земля плоская
солнце вращается вокруг земли
черный лебедь
полеты в космос
раунды инвестиций
дистанция вернёт

а почему всегда рассматривается вариант что человек никак не улучшит себя с помощью ии а всегда мы на уровне инфузории по сравнению с ии.

hochunl5k @ 27.3.2017
а почему всегда рассматривается вариант что человек никак не улучшит себя с помощью ии а всегда мы на уровне инфузории по сравнению с ии.

Боец улучшит силу/скорость/выносливость, мошенник - харизму/скорость мышления/ етс, ...Каждый себя видит различно, каждый понимает своё что ему мешает и требует улучшений. Политики при власти хотят еще больше власти, реформаторы хотят возможности и тд.

Soul @ 27.3.2017
surtr, Люди может быть и сознают опасность, но ИИ будет настолько же умнее нас, насколько мы умнее муравья.

Кстати, я думаю, что в качестве такой метафоры лучше и понятнее сравнивать не с муравьём, а с 3-5-летним ребёнком. Которого взрослый при должном старании может уговорить на всё что угодно.

Блин, раз мне продолжают отвечать всё же скажу своё мнение, хотя статью ещё не начинал читать кроме выделенных отрывков.

Мне не кажутся корректными ваши сравнения, а также не очевидным, что ИИ сможет убедить любого человека/группу людей в чём угодно. Также я не отстаиваю свою точку зрения (уж если на то пошло, то я за максимальное снижение риска - т.е. просто за то, чтобы такой ИИ не был создан), я просто предположил гипотетическое решение и хочу понять где я не прав. И я осознаю свою некомпетентность в данном вопросе, поэтому я даже предполагаю что почти наверняка я не прав. Но, лично для меня, слова типа "Люди может быть и сознают опасность, но ИИ будет настолько же умнее нас, насколько мы умнее муравья. Как думаешь, муравей сможет предусмотреть все и контролировать человека? В общем это какая-то неимоверная гордыня думать, что мы такими простыми способами сможем контролировать ИИ" совсем не являются убедительным аргументом, показывающим где я не прав. И, кстати, для меня ваши слова, вообще являются (почти) синонимом того, что мы принципиально неспособны контролировать такой ИИ (а я как раз так и думаю, хотя понимаю что ценность/сила этого мнения крайне мала из-за недостатка компетенции, просто мне так кажется).

surtr @ 27.3.2017
мы принципиально неспособны контролировать такой ИИ (а я как раз так и думаю

Так а в чём тогда твой вопрос?

БоевойСлон @ 27.3.2017
Так а в чём тогда твой вопрос?

surtr @ 27.3.2017
я просто предположил гипотетическое решение и хочу понять где я не прав

Т.е. если мы не берём за аксиому, что "мы принципиально неспособны контролировать такой ИИ", то мне хотелось понять где ошибка в том что я написал. Потому что сначала я думал, что в предложенной схеме есть какой-то явный баг и мне было интересно понять где он. И, хотя я сам не считаю так, но сам в приведённой схеме не заметил изъянов, и меня это напрягает.

surtr, Не понятно, что будет для тебя убедительным аргументом.