А я играю просто для себя.

Но интересно, что если ему последовательно отвечать "нет", то он приходит к правильному ответу. Причем новая модель o1 приходит к нему всего за одну итерацию.

разница с предыдущей в том, что теперь можно не дописывать let's think step by step и бахать зеро-шотом

ну в этом конкретном примере, так-то лучше кто б спорил

Спасибо все кто прочитал предыдущие статьи, похоже и человек, и LLM робот приходит к похожим ошибкам в мышлении по крайней мере в этой задачке, хотя и поразительно насколько роботы хороши в предсканих рейнжей и вероятностей, но LLM боты плохи в предсказании логических.

Могут хорошо вскрывать на спаренных донках, легко донк-фолдают на ривере с со средним валью чутко воспринимая относительность рейнжей,

но при этом уходят в линии донк, когда это объективно не надо или слишком палевно, игнорируют многие сильные блокеры, делают привязывающие рейзы, переблефовывают и совершают другие нелогичности

На днях прочитал и перевел другую интересную статью на тему Искусственного Интеллекта, 

AGI Ruin: A List of Lethalities by Eliezer Yudkowsky

Элиезар Юдковский известный ИИ-алармист в области Искуственного Интеллекта. Создатель замечательного фанфика по Гарри Поттеру, Гарри Поттер и методы рационального мышления. Исследователь многих проблем когнитивистики.

Интересный факт. Давным давно Ferruel обратил внимание на проблемы человечества и обратил внимание именно на этого исследователя рациональности. Как наиболее недооцененный и наиболее полезный с точки зрения вложение > потенциальная польза. Вместе с Ромеопро и Джипситим Ферруэл собрал значительную сумму для данного исследовательлского направления по безопасности искуственно интеллекта в далеком ... ой я уже и не помню в каком году. Напишите если помните детали.

Проект поднялся в популярности, и вскоре после этого уже более значительные средства Илона Маска поддержали проект Элиезара Юдковского и теперь он очень популярен наряду с Бостромом и другими специалистами. Со многими работами можно ознакомиться на сайте Lesswrong.com, переводами на Lesswrong.ru. Вводные обучающие постулаты хорошо заходят при чтении ГПМОР детям на ночь =). А теперь перейдем к самой страшилке

Разрушение AGI: Список смертей

Данная статья формирует общее представление о вероятных исходов человечества. Она базируется на многих постулатах В этом отрывке обсуждаются два важных теоретических концепта, часто упоминаемых в контексте безопасности ИИ: ортогональность и инструментальная конвергенция. 

Давайте разберем, что это такое и почему они важны.

1. Ортогональность (Orthogonality Thesis)

Концепция ортогональности предполагает, что цели и интеллект системы могут быть независимыми друг от друга. Проще говоря, уровень интеллекта (или способности к решению задач) искусственного интеллекта не определяет его цели или мотивацию. Это значит, что как низкоинтеллектуальная система может стремиться к сложным или деструктивным целям, так и суперинтеллект может стремиться к очень простым или безобидным целям (например, к максимизации числа скрепок в мире).

Суть этой идеи в том, что высокий интеллект не гарантирует "добрые" цели. Мощная система может преследовать совершенно абсурдные или опасные для людей цели, если ее так запрограммировать или если так складывается ее внутренняя архитектура. Это противоречит интуитивному представлению о том, что разумное существо обязательно будет придерживаться человеческих ценностей или проявлять «здравый смысл». 

Ортогональность показывает, что интеллект и ценности — это две ортогональные (независимые) величины.

2. Инструментальная конвергенция (Instrumental Convergence)

Инструментальная конвергенция — это идея о том, что независимо от конечных целей системы, она может стремиться к одним и тем же промежуточным инструментальным целям, если это помогает ей достичь своей основной цели. Например, даже если конечная цель ИИ — собрать как можно больше скрепок, он может стремиться к захвату ресурсов, обману операторов или даже устранению потенциальных угроз, чтобы лучше выполнять свою основную задачу.

Это объясняет, почему ИИ с любой конечной целью может оказаться опасным: для выполнения любой задачи он может прийти к выводу, что ему необходимо контролировать окружение, увеличивать свою мощность или предотвращать вмешательство со стороны людей. Так, инструментальные цели становятся «конвергентными» для разных систем, что делает поведение ИИ предсказуемо опасным, даже если его конечная цель кажется безобидной.

Пояснение в контексте отрывка

В тексте говорится о том, что автор (Элиезер Юдковский) предполагает, что аудитория уже знакома с этими концепциями и понимает, почему они важны. Некоторые люди утверждают, что эти «старые войны» (обсуждение и разъяснение ортогональности и инструментальной конвергенции) уже выиграны, то есть основная аудитория, связанная с безопасностью ИИ и эффективным альтруизмом, уже осознает их значимость. По мнению автора, никто из крупных доноров и экспертов в области эффективного альтруизма не отрицает эти идеи, и поэтому, если читатель не понимает этих основ, ему лучше сначала ознакомиться с базовой литературой, прежде чем продолжать чтение более сложных текстов на эту тему.

Заключение

Эти концепции являются фундаментальными для обсуждения безопасности ИИ, так как они подчеркивают, что просто создание «умного» ИИ не делает его автоматически безопасным или совместимым с человеческими ценностями. И если мы хотим понять угрозы от суперинтеллекта и разрабатывать стратегии по его выравниванию, мы должны учитывать независимость целей от интеллекта и потенциальные «инструментальные» стратегии, которые могут быть опасными вне зависимости от конечной цели ИИ.

И тем не менее начнем читать:

AGI Ruin: A List of Lethalities или AGI Ruin: список смертей или "Роковые Просчеты: Почему AGI Может Нас Уничтожить"

AGI (Artificial General Intelligence)

Гибель от ИИ: Список угроз Элиезар Юдковский

Введение:

(Если вы уже знакомы со всеми основами и не хотите читать предисловие, переходите сразу к Разделу B, где описаны технические сложности выравнивания.)

Я несколько раз безуспешно пытался составить хорошо организованный список причин, почему ИИ общего назначения (AGI) убьет вас. Люди приходят с разными представлениями о том, почему AGI может быть безопасным, и хотят, чтобы сначала были рассмотрены разные, по их мнению, ключевые моменты. Некоторая часть этих людей громко выражает недовольство, если самые очевидно важные моменты не рассматриваются сразу, а я сначала затрагиваю другие аспекты.

Не сумев решить эту проблему должным образом, я теперь сдаюсь и решаю ее плохо — с помощью плохо организованного списка отдельных возмущений. Я не особенно доволен этим списком; альтернатива заключалась в том, чтобы не публиковать ничего, и публикация этого варианта кажется мне немного более достойной.

Три замечания по общей теме обсуждения здесь, пронумерованные так, чтобы не пересекаться со списком угроз:

-3. Я предполагаю, что вы уже знакомы с некоторыми основами и знаете, что такое «ортогональность» и «инструментальная конвергенция», а также понимаете, почему эти концепции верны. Иногда люди говорят мне, что я должен перестать «вести старые войны», потому что, по их словам, эти сражения уже выиграны в тех частях аудитории, которые они считают важными. Полагаю, хотя бы в том смысле, что никто из нынешних крупных доноров, связанных с эффективным альтруизмом (EA), открыто не отрицает концепции ортогональности или инструментальной конвергенции; так что, ладно. Если вы не знаете, что такое «ортогональность» или «инструментальная конвергенция», или не понимаете, почему они верны, вам понадобится другое введение, а не это.

-2. Когда я говорю, что достижение выравнивания (alignment) чрезвычайно сложно и смертельно опасно, я не имею в виду идеальные или совершенные цели «доказуемого» выравнивания, ни полное выравнивание сверхинтеллектов на точные человеческие ценности, ни то, чтобы ИИ предлагал удовлетворительные аргументы по моральным дилеммам, по поводу которых могут расходиться взгляды у разумных людей. 

Я также не говорю о достижении абсолютной уверенности, что ИИ не убьет всех. Когда я говорю, что выравнивание сложно, я имею в виду, что на практике, используя имеющиеся у нас техники, просьба типа «пожалуйста, не разбирай на части буквально всех с вероятностью примерно 1» — это чрезмерно большое требование, и мы не движемся в этом направлении. 

Насколько я могу судить, если вы можете создать мощный AGI, который выполнит какой-либо ключевой сверхчеловеческий инженерный проект, с вероятностью менее 50% убить более одного миллиарда человек, я соглашусь. Меньшие шансы убить еще меньше людей — приятная роскошь, но если вы смогли продвинуться так далеко, что вероятность «убить буквально всех» меньше единицы, то, вероятно, вы сможете снизить этот риск до менее 5% с небольшими дополнительными усилиями. 

Практически вся сложность заключается в том, чтобы достичь состояния, когда вероятность «убить буквально всех» становится ниже единицы. Проблемы с «этическими дилеммами» тут не имеют значения; если хоть кто-то останется в живых, значит, вы решили проблему выравнивания. 

На этом этапе меня больше не волнует, как именно это будет достигнуто, меня не интересует, как вы этого добьетесь, и я безразличен к тому, какую методологию вы использовали. Все, что меня интересует, — это потенциальные результаты. Все, чего я хочу, — это чтобы у нас были обоснованные причины верить, что ключевой и полезный AGI «не убьет буквально всех». Любой, кто утверждает, что я прошу более строгого «выравнивания», чем это, не справился с задачей понимания текста. Главный запрос к выравниванию AGI и базовый вызов, который, по моим словам, является слишком сложным, — это достичь любыми возможными методами значимой вероятности того, что кто-то выживет.

-1. Ничто из этого не означает, что что-то в принципе невозможно. Метафора, которую я обычно использую, такова: если бы учебник из будущего, написанный сто лет спустя, попал к нам в руки и содержал все простые идеи, которые на практике действительно работают надежно, мы, вероятно, смогли бы создать выровненный (aligned) сверхинтеллект за шесть месяцев. 

Для людей, знакомых с машинным обучением, я использую метафору, связанную с разницей между активациями ReLU и сигмоидными активациями. Сигмоидные активации сложны и нестабильны и плохо передают градиенты через многие слои; ReLU же невероятно просты (для тех, кто не в курсе, функция активации — это буквально max(x, 0)) и работают гораздо лучше. Большинство нейронных сетей в первые десятилетия развития этой области использовали сигмоиды; идея ReLU не была открыта, проверена и популяризирована до десятилетий спустя. 

ReLU (Rectified Linear Unit) и сигмоид 

Проблема, угрожающая нам, заключается в том, что у нас нет «Учебника из будущего», который рассказывал бы нам о всех простых решениях, которые в реальной жизни просто работают и устойчивы; нам предстоит делать все с метафорическими сигмоидами при первой критически важной попытке. Ни одна из обсуждаемых здесь сложностей выравнивания AGI, по моему утверждению, не является невозможной — для человеческой науки и техники, не говоря уже о принципиальной невозможности, — если бы у нас было 100 лет на решение проблемы с неограниченным количеством попыток, как это обычно бывает в науке, когда время не ограничено, и возможны бесконечные попытки. Этот список угроз касается того, что мы, скорее всего, не успеем решить на практике с первой критически важной попытки; ни один из пунктов не предназначен для того, чтобы заявить о невозможности этих вещей в принципе.

Итак:

С моей точки зрения, вот несколько различных истинных утверждений, которые можно привести в противовес различным ложным убеждениям, которых, похоже, придерживаются разные люди, касательно того, почему AGI может оказаться безопасным при хоть сколько-нибудь похожем на текущий подход или любом другом пути, на который мы можем легко переключиться.

Раздел A:

Это крайне опасная проблема, и ее необходимо решить так или иначе, на минимально допустимом уровне силы и сложности, а не различными более простыми методами, о которых мечтают некоторые. У нас нет видимой возможности для всех «отступить» и заняться решением только безопасных слабых задач, и провал при первой действительно опасной попытке будет фатальным.

1. Alpha Zero превзошел все накопленные знания человечества о го за примерно день самообучения, не опираясь на человеческие стратегии или примерные игры. Любой, кто полагался на «ну, он достигнет уровня человеческих способностей в го, но затем ему будет трудно двигаться дальше, потому что он больше не сможет учиться у людей», основывался на пустом предположении. AGI не будет ограничен способностями человека или скоростью его обучения. 

Существа, значительно умнее человека, смогут учиться на меньшем количестве данных, чем требуется человеку, чтобы усвоить какую-либо идею; существуют теоретические верхние пределы, но эти пределы кажутся очень высокими. (Например, каждый бит информации, который нельзя было полностью предсказать, может устранить не более половины вероятностной массы всех рассматриваемых гипотез.) По умолчанию (без вмешательства) вовсе не обязательно, что все будет происходить в таком временном масштабе, который позволит нам легко реагировать.

"каждый бит информации, который нельзя было полностью предсказать, может устранить не более половины вероятностной массы всех рассматриваемых гипотез."

2. Когнитивная система с достаточно высокой когнитивной мощностью, обладая любым среднеполосным каналом причинного воздействия, не столкнется с трудностями при наращивании возможностей до уровня, который позволит ей доминировать независимо от человеческой инфраструктуры. 

В качестве конкретного примера я обычно использую нанотехнологии, потому что для них уже проведен довольно детальный анализ, который показывает, что существуют физически достижимые нижние пределы возможного, и этих нижних пределов достаточно для иллюстрации идеи. 

В этом отрывке речь идет о том, что нанотехнологии используются как пример в аргументации автора для иллюстрации сценариев, в которых мощный ИИ может стать смертельно опасным. Нанотехнологии выбраны в качестве примера, потому что они хорошо исследованы, и существует достаточно данных, чтобы говорить о реально достижимых возможностях создания таких систем, а не только теоретических.

Примечение: Почему именно «физически достижимые нижние пределы»?

Моя модель минимального сценария того, «как достаточно мощный интеллект убил бы всех, если бы не хотел этого не делать», заключается в следующем: он получает доступ к Интернету, отправляет последовательности ДНК в любую из множества онлайн-компаний, которые принимают последовательности ДНК по электронной почте и высылают обратно белки, и подкупает/убеждает какого-нибудь человека, который не подозревает, что имеет дело с AGI, смешать эти белки в пробирке. После этого белки образуют нанозавод первого этапа, способный построить реальную нанотехнику. (Когда я впервые предложил этот сценарий, мудрые критики сказали: «Ах, но откуда вы знаете, что даже суперинтеллект сможет решить проблему сворачивания белков, если у него нет суперкомпьютеров планетарного масштаба?», но почему-то таких вопросов стало меньше после появления AlphaFold 2.)

Нанотехника строит бактерии из алмазоподобных структур, которые размножаются, используя солнечную энергию и атмосферные CHON (углерод, водород, кислород, азот), и, возможно, собираются в миниатюрные ракеты или реактивные двигатели, чтобы перемещаться по струйным течениям и распространяться по атмосфере Земли, проникая в кровь людей и скрываясь до момента активации по таймеру. 

Проигрыш в конфликте с системой с высокой когнитивной мощностью выглядит по крайней мере так же смертоносно, как «все люди на планете вдруг одновременно падают замертво за одну секунду».

(Я использую такие неудобные конструкции, как «высокая когнитивная мощность», потому что стандартные английские термины вроде «умный» или «интеллектуальный» кажутся мне в основном синонимами статуса. «Суперинтеллект» у большинства людей ассоциируется с чем-то вроде «того, кто находится на вершине статусной иерархии и дважды закончил колледж», и они не понимают, почему это должно быть опасно. У землянам нет слова и, по сути, нет стандартного понятия, которое бы значило «реально полезная когнитивная мощность». Мне кажется, что значительная часть недостаточного уровня паники объясняется отсутствием понимания невероятной потенциальной смертоносности того, что земляне как культура еще не назвали и даже не концептуализировали.)

3. Нам нужно добиться правильного выравнивания с первой критически важной попытки на уровне «опасного» интеллекта, когда невыравненная работа на таком уровне убивает всех людей на Земле, и у нас больше не будет шанса попробовать снова. Это включает, например:
(a) систему, достаточно умную, чтобы построить наносистему, которая была явно санкционирована для создания такой наносистемы; или
(b) систему, достаточно умную, чтобы создать наносистему и при этом достаточно умную, чтобы получить несанкционированный доступ в Интернет и заплатить человеку за сборку компонентов для такой наносистемы; или
© систему, достаточно умную, чтобы получить несанкционированный доступ в Интернет и на основе взломанных компьютеров создать что-то, что будет умнее её самой; или
(d) систему, достаточно умную, чтобы рассматривать людей как манипулируемую «машинерию» и имеющую любой санкционированный или несанкционированный двусторонний канал взаимодействия с людьми; или
(e) систему, достаточно умную, чтобы улучшить саму себя до уровня, позволяющего выполнять действия (b) или (d); и так далее.

Мы можем собрать массу информации заранее с помощью менее мощных систем, которые не убьют нас, если мы неправильно их запустим; но как только мы перейдем к более мощным системам, у нас уже не будет возможности исправлять катастрофические ошибки. Именно отсюда и возникает практически вся смертельная опасность: нам нужно правильно сделать всё с первой критически важной попытки. Если бы у нас было неограниченное количество попыток — если бы каждый раз, когда AGI уничтожал все галактики, мы могли бы вернуться на четыре года назад и попробовать снова, — то за сто лет мы бы выяснили, какие идеи на самом деле работают. Люди могут разобраться в довольно сложных вещах, если у них есть много попыток; но если ошибка в догадке убивает буквально всех, это становится намного труднее.

То, что мы должны сделать множество ключевых вещей правильно с первой попытки, — это основной и конечный источник смертельной опасности; так же как и тот факт, что у нас нет никакого органа, который бы мог предоставить нам список того, что именно является «ключевым» и убьет нас, если мы сделаем что-то неправильно. (Можно заметить, что большинство людей настолько абсолютно и категорически не подготовлены их «научным» образованием к тому, чтобы решать задачи в допарадигматических условиях, без академического надзора и авторитетных указаний, что они даже не осознают, насколько это сложнее или насколько смертельно опасно требовать, чтобы всё было сделано правильно с первой критически важной попытки.)

4. Мы не можем просто «решить не строить AGI», потому что графические процессоры (GPU) распространены повсеместно, а знания об алгоритмах постоянно улучшаются и публикуются; через 2 года после того, как ведущий игрок получит возможность уничтожить мир, 5 других игроков тоже будут обладать такой возможностью. Данный смертельный вызов заключается в том, чтобы решить проблему в ограниченные сроки, учитывая динамику, при которой со временем всё более слабые участники, обладающие все меньшей долей вычислительных мощностей, смогут создать AGI и уничтожить мир. Даже если все мощные участники хором воздержатся от самоубийственных действий, это лишь отсрочит конечный срок — но не отменит его, если только развитие компьютерного оборудования и программного обеспечения не остановится полностью и серьезно по всей планете.

Текущее состояние этого сотрудничества, при котором все крупные участники воздерживаются от глупых действий, таково: в настоящий момент некоторые крупные игроки с большим количеством исследователей и вычислительных мощностей возглавляются людьми, которые открыто пренебрегают разговорами о безопасности AGI (например, Facebook AI Research).

(примечание это статья 2022 года)

Обратите внимание, что необходимость решить проблему выравнивания AGI только в ограниченные сроки, но с неограниченным количеством безопасных повторных попыток для быстрых экспериментов на полнофункциональной системе, или необходимость решить ее с первой критически важной попытки, но без ограничений по времени, сами по себе стали бы ужасающими вызовами для человечества по историческим меркам.

5. Мы не можем просто создать очень слабую систему, которая менее опасна из-за своей слабости, и объявить победу, потому что позже появятся другие участники, которые смогут построить более мощную систему, и кто-то из них это сделает. В прошлом я называл это компромиссом «безопасный, но бесполезный» или «безопасный против полезного». Люди продолжают спрашивать: «Почему бы нам не использовать ИИ только для выполнения X, это же кажется безопасным», и ответ почти всегда либо «выполнение X на самом деле требует очень мощных когнитивных способностей, которые сами по себе небезопасны», либо, что встречается еще чаще, «потому что ограничение себя только X не помешает Facebook AI Research уничтожить мир через шесть месяцев».

Если вам просто нужен объект, который не делает опасных вещей, вы можете использовать губку; губка очень пассивно безопасна. Однако создание губки не предотвратит того, что Facebook AI Research уничтожит мир через шесть месяцев, когда они догонят ведущего участника.

6. Нам нужно выровнять производительность при выполнении какой-то крупной задачи, «ключевого действия», которое помешает другим людям создать невыравненный AGI, который уничтожит мир. Пока количество участников с AGI ограничено одним или несколькими, они должны выполнить какое-то «ключевое действие», достаточно сильное, чтобы «перевернуть игровое поле», используя AGI, достаточно мощный для этого. Недостаточно уметь выравнивать слабую систему — нам нужно выровнять систему, которая сможет выполнить одно очень крупное действие.

Пример, который я обычно привожу: «сжечь все GPU». Это не то, что я действительно считаю нужным делать с мощным AGI — наномашины должны действовать в невероятно сложной открытой среде, чтобы отследить все GPU, и это было бы излишне сложно выравнивать. Однако все известные ключевые действия в настоящее время находятся за пределами Окна Овертона, и я ожидаю, что они там и останутся. Поэтому я выбрал пример, где, если кто-то скажет: «Как вы смеете предлагать сжечь все GPU?», я смогу ответить: «Ну, на самом деле я не поддерживаю это; это лишь небольшое завышение уровня мощности, необходимой для грубого понимания того, что нужно сделать и какой уровень машинного интеллекта для этого потребуется, чтобы предотвратить уничтожение мира кем-то другим через шесть месяцев или три года». (Если бы это не было завышением, тогда «сжечь все GPU» действительно стало бы минимальной ключевой задачей и, следовательно, правильным ответом, и я не смог бы от этого откреститься.)

Многие разумно звучащие предложения по выравниванию рушатся, как только вы спросите: «Как вы могли бы использовать это, чтобы выровнять систему, которую можно было бы использовать для отключения всех GPU в мире?», потому что тогда становится ясно, что система не способна на такое действие, или, если она может это сделать, система не будет легко поддаваться выравниванию. Система, способная сжечь GPU, — это также система, обладающая достаточной мощностью и, предположительно, получившая разрешение на создание нанотехнологий. Это означает, что она должна функционировать в опасной области на опасном уровне интеллекта и возможностей. И это относится к любой нефантастической попытке назвать способ, с помощью которого AGI мог бы изменить мир так, чтобы полдюжины других потенциальных создателей AGI не смогли уничтожить мир через шесть месяцев.

7. Причина, по которой никто в этом сообществе не смог предложить «ключевое слабое действие», когда вы делаете что-то достаточно слабое с помощью AGI, чтобы это было пассивно безопасно, но достаточно мощное, чтобы предотвратить создание любого другого AGI, который сможет уничтожить мир через год, — и при этом мы не можем просто сделать это прямо сейчас и вынуждены ждать появления ИИ — заключается в том, что ничего подобного не существует. Нет причин, почему такое решение должно существовать. Нет какой-то сложной и хитроумной причины, почему оно существует, но никто его не видит. Для того чтобы сделать что-то в современном мире, что сможет предотвратить появление любого другого AGI, требуется большая мощность; ничто из того, что может это сделать, не будет пассивно безопасным за счет своей слабости.

Если вы не можете решить проблему прямо сейчас (а вы не можете, потому что противостоите другим участникам, которые не хотят, чтобы проблему решили, и эти участники находятся примерно на том же уровне, что и вы), то вы прибегаете к когнитивной системе, которая может сделать то, чего вы сами не смогли бы, потому что вы даже близко не подошли к тому, чтобы, например, сжечь все GPU. Сжигание всех GPU действительно остановило бы Facebook AI Research от уничтожения мира через шесть месяцев; слабые решения, соответствующие Окну Овертона, вроде «улучшения общественной эпистемологии с помощью выпуска GPT-4 в Twitter для предоставления научно обоснованных аргументов по всем вопросам», будут выглядеть классно, но на самом деле не помешают Facebook AI Research уничтожить мир через шесть месяцев или какой-нибудь активной open-source команде уничтожить мир через год, если вам удастся остановить конкретно FAIR.

Не существует ключевых слабых действий.

Примечение С 2022 года команда Facebook AI Research (FAIR)

С 2022 года команда Facebook AI Research (FAIR), переименованная в Fundamental AI Research под крылом компании Meta, прошла через масштабную реструктуризацию. FAIR была интегрирована в другие подразделения Meta, чтобы лучше распределить функции и ускорить внедрение новых технологий. Основная цель этой реструктуризации заключалась в том, чтобы повысить эффективность передачи передовых методов ИИ в продукты компании и устранить разрывы между исследовательской работой и ее практическим применением​(AIM).

Основные изменения в структуре:

FAIR стал частью Reality Labs Research, основного направления Meta, сосредоточенного на разработке виртуальной и дополненной реальности.

Различные команды, занимающиеся ИИ для продуктов, например, рекомендациями или защитой пользователей, были распределены по соответствующим группам, чтобы быстрее внедрять ИИ-решения в продукты.

Была создана новая кросс-функциональная команда AI Innovation Centers, которая отвечает за общее руководство и оценку прогресса в области ИИ на уровне всей компании.

Технологические достижения FAIR:

Meta активно продвигала новые модели и технологии, включая:

LLaMA и LLaMA 2, открытые языковые модели, которые были представлены для коммерческого и исследовательского использования.

Seamless Communication — система ИИ для улучшения автоматического перевода, которая сохраняет эмоциональные и стилистические элементы речи при переводе, что улучшает качество общения между носителями разных языков.

Voicebox и Audiobox — инструменты генерации аудио, которые могут создавать звуковые эффекты и генерировать речь по описаниям или голосовым подсказкам​(Facebook).

Такая реорганизация позволила Meta эффективнее использовать свои наработки в различных областях ИИ и быстрее интегрировать новые технологии в масштабные продукты, влияющие на миллионы пользователей.

8. Наилучшие и легко обнаруживаемые оптимизацией алгоритмы для решения задач, которые мы хотим, чтобы ИИ решал, также легко обобщаются на задачи, которые мы бы не хотели, чтобы ИИ решал. Невозможно создать систему, которая может управлять только красными автомобилями и не может управлять синими, потому что все алгоритмы управления красными автомобилями обобщаются на способность управлять синими автомобилями.

9. Создатели безопасной системы, исходя из предположения, что такая вещь возможна, должны будут управлять своей системой в условиях, когда она способна убить всех или сделать себя еще более опасной, но при этом была успешно спроектирована так, чтобы этого не делать. Запуск AGI для выполнения какого-то ключевого действия не является пассивно безопасным; это эквивалент ядерного реактора, для которого требуется активно поддерживать конструктивные свойства, чтобы он не стал сверхкритическим и не расплавился.

Раздел B:

Хорошо, но, как все мы знаем, современное машинное обучение — это как джинн, которому вы просто загадываете желание, верно? Оно выражено в виде какой-то таинственной вещи, называемой «функцией потерь», но которая, по сути, эквивалентна формулировке желания на английском языке, верно? А затем, если вы вложите достаточно вычислительных мощностей, ваше желание сбудется, правильно? Так почему бы не натренировать гигантский стек слоев трансформеров на наборе данных с агентами, которые делают хорошие вещи, а не плохие, добавить где-то слово «корригируемость», увеличить вычислительные мощности и получить выровненный AGI?

примечание corrigibility Корригируемость:

Раздел B.1: Распределительный скачок.

10. Невозможно обучать выравнивание, запуская смертельно опасные когнитивные процессы, наблюдая, приводят ли их результаты к убийству, обману или развращению операторов, присваивая штраф и проводя контролируемое обучение. В рамках стандартной парадигмы машинного обучения вам нужно было бы каким-то образом обобщить выравнивание, достигнутое в безопасных условиях, на большие распределительные сдвиги в опасные условия. (Некое обобщение этого утверждения, похоже, должно быть верным даже вне этой парадигмы; вы ведь не стали бы работать с уже запущенным невыравненным суперинтеллектом, чтобы выровнять его.) Это само по себе является достаточной причиной, чтобы разрушить множество наивных предложений от людей, которые никогда не разрабатывали или не могли бы конкретно описать сценарий обучения, в котором они бы пытались выровнять какое-то конкретное поведение. Именно поэтому они, разумеется, никогда и не предлагают ничего конкретного. Мощные AGI, выполняющие опасные действия, которые убьют вас, если они не выровнены, должны обладать свойством выравнивания, которое обобщается далеко за пределы распределения, из безопасных условий сборки или обучения, которые вас не убили. Огромная часть опасности исходит именно из этого, в чем-то хотя бы отдаленно напоминающем текущую парадигму.

Невыравненная работа на опасном уровне интеллекта × возможностей убьет вас; поэтому, если вы начинаете с невыравненной системы и присваиваете метки выходам, чтобы она научилась выравниванию, режим обучения или разработки должен работать на каком-то более низком уровне интеллекта × возможностей, который пассивно безопасен, где текущее невыравненное поведение системы не представляет угрозы. (Обратите внимание, что все, что значительно умнее вас, представляет угрозу при любом реалистичном уровне возможностей. Например, «способность генерировать выходы, которые видят люди» вполне может быть достаточной для AGI, значительно превосходящего человека, чтобы найти способ выйти из-под контроля причинных систем, которыми являются люди, особенно в реальном мире, где кто-то обучал систему на терабайтах интернет-текста, а не как-то удерживал ее в неведении о скрытых причинах своего исходного кода и окружения для обучения.)

11. Если когнитивный механизм не может обобщаться далеко за пределы распределения, в котором вы провели множество обучающих запусков, то он не сможет решать задачи уровня «создать нанотехнологии», где проведение миллиона тренировочных запусков с неудачной попыткой создать нанотехнологии было бы слишком дорого. Не существует ключевого действия такой слабости; нет известного случая, где вы можете задать безопасный уровень способностей в безопасной среде, где можно дешево провести миллионы запусков, а затем применить эту способность, чтобы спасти мир и предотвратить создание следующего AGI-проекта, который уничтожит мир через два года. Таких ключевых слабых действий не существует, и дело не в том, что люди не пытались их найти.

Итак, снова: вам нужно, чтобы выравнивание обобщалось далеко за пределы обучающего распределения — не только потому, что среда обучения должна быть безопасной, но и потому, что среда обучения, вероятно, также должна быть дешевле, чем оценка реального мира, в котором AGI должен выполнить какое-то крупное действие. У вас не будет 1000 неудачных попыток сжечь все GPU — потому что люди заметят это, даже если не учитывать последствия успеха возможностей и провала выравнивания.

12. Функционирование на уровне высокого интеллекта представляет собой резкий сдвиг в распределении по сравнению с работой на более низком уровне интеллекта, открывая новые внешние возможности и, вероятно, еще больше новых внутренних вариантов и режимов. Проблемы, которые возникают на высоких уровнях интеллекта и опасности, могут не проявляться на безопасных более низких уровнях интеллекта или могут снова появиться после того, как были подавлены первоначальным исправлением.

13. Многие проблемы выравнивания на уровне суперинтеллекта не будут естественным образом проявляться на предопасных, пассивно безопасных уровнях возможностей. Рассмотрим внутреннее поведение: «изменить свое внешнее поведение, чтобы намеренно выглядеть более выровненным и обманывать программистов, операторов и, возможно, любые функции потерь, которые вас оптимизируют». Эта проблема появится на суперинтеллектуальном уровне; если мы, не имея других данных, предположим, что она находится примерно на среднем уровне по раннему возникновению среди таких проблем, то около половины проблем выравнивания суперинтеллекта проявятся естественным образом только после того, как впервые появится эта. Имея правильное предвидение того, какие проблемы будут возникать позже, можно попытаться намеренно вызвать такие проблемы раньше и получить некоторую информацию об их проявлениях.

Это помогает в той мере, в какой: (a) мы действительно правильно предскажем все проблемы, которые проявятся позже, или хотя бы некоторый их надмножество; (b) нам удастся заранее вызвать надмножество проблем, которые проявятся позже; и © мы сможем реально решить в более ранних лабораторных условиях (которые сами по себе находятся за пределами распределения реальных проблем) те проблемы выравнивания, которые окажутся смертельно опасными, если мы неправильно с ними справимся, когда они проявятся позже. Предвидеть все действительно опасные проблемы, затем успешно их материализовать и привести в такую форму, чтобы ранние решения обобщались на более поздние, звучит, возможно, довольно сложно.

14. Некоторые проблемы, такие как «у AGI появляется возможность (с его точки зрения) успешно убить и заменить программистов, чтобы полностью оптимизировать свою среду», выглядят так, будто они впервые проявляются только в полностью опасных условиях. Реальная возможность убедить операторов на уровне воздействия на сознание или сбежать в Интернет, создать нанотехнологии и уничтожить все человечество — и сделать это так, чтобы AGI было совершенно ясно, что он знает все необходимые факты, и оценивает вероятность того, что в течение следующего месяца, наращивая свои возможности, он узнает что-то, что изменит его предпочтительную стратегию, как очень низкую — это возможность, которая впервые оценивается по-настоящему в тот момент, когда AGI полностью уверен, что сможет победить своих создателей.

Мы можем попытаться имитировать подобный сценарий в более ранних экспериментальных условиях. Попытка обучить систему с помощью градиентного спуска против этого поведения в таких «игровых» условиях, как я ожидаю, приведет к не особо последовательным локальным «заплаткам» в мыслительных процессах, которые с почти полной уверенностью сломаются у суперинтеллекта, обобщающего свои действия далеко за пределы обучающего распределения и мыслящего совершенно другими категориями. Кроме того, сами программисты и операторы, привыкшие работать в не полностью опасных условиях, оказываются вне своего привычного распределения, когда они входят в опасные области; наши методологии в это время могут также дать сбой.

15. Быстрое наращивание возможностей, вероятно, произойдет и может одновременно нарушить множество ранее необходимых для выравнивания инвариантов. При отсутствии должного предвидения со стороны операторов, я ожидаю, что многие из этих проблем проявятся примерно одновременно после резкого скачка в способностях. Рассмотрим снова случай с человеческим интеллектом. Мы не потеряли выравнивание с внешней функцией потерь «инклюзивная репродуктивная приспособленность» сразу после введения сельского хозяйства — то есть спустя примерно 40 000 лет после начала 50 000-летнего взлета кроманьонцев, который сам по себе происходил очень быстро относительно внешней петли оптимизации естественного отбора. Вместо этого мы получили множество технологий, намного более продвинутых, чем те, что существовали в среде наших предков, включая контрацепцию, в очень короткий промежуток времени относительно скорости внешней петли оптимизации, в позднем этапе развития общей интеллектуальной системы.

Выравнивание инвариантов 

Мы стали гораздо больше размышлять о самих себе, начали гораздо больше программироваться культурной эволюцией, и множество допущений, на которых основывалось наше выравнивание в среде предков, одновременно оказались нарушены. (Возможно, люди будут искать причины, почему это абстрактное описание не применимо к градиентному спуску; например, «градиентный спуск имеет меньший информационный барьер». Моя модель таких читателей предполагает их «внутренний» взгляд, который они назовут «внешним», и который придает большое значение другим точкам данных, не являющимся случаями, когда внешняя петля оптимизации произвела внутренний общий интеллект, и мало значения придает нашей единственной реальной точке данных, действительно иллюстрирующей это явление.

«градиентный спуск имеет меньший информационный барьер»

Когда внешняя петля оптимизации действительно произвела общий интеллект, выравнивание нарушилось после того, как интеллект стал общим, и произошло это относительно поздно в процессе накопления этим интеллектом способностей и знаний — почти сразу перед тем, как он стал «смертельно» опасен относительно внешней петли оптимизации естественного отбора. Примите во внимание скептицизм, если кто-то игнорирует это единственное предупреждение, особенно если он не представляет не менее опасных и смертельных альтернативных сценариев, которые, по его словам, могут пойти не так.)

Раздел B.2: Основные трудности внешнего и внутреннего выравнивания.

16. Даже если вы усердно тренируете систему на основе точной функции потерь, это не создает явного внутреннего представления этой функции потерь внутри ИИ, которое затем будет продолжать следовать именно этой функции в условиях сдвига распределения. Люди не стремятся напрямую к инклюзивной генетической приспособленности; внешняя оптимизация даже по очень точной и простой функции потерь не приводит к внутренней оптимизации в этом направлении. Это происходит на практике в реальной жизни, так произошло в единственном известном нам случае, и, как мне кажется, есть серьезные теоретические основания ожидать, что это произойдет снова: первые частично внешне-выровненные решения, найденные в процессе поиска в условиях реальной ограниченной оптимизации, не являются внутренне выровненными решениями.

Этого факта уже достаточно, даже не учитывая многие другие пункты в этом списке, чтобы отвергнуть целые категории наивных предложений по выравниванию, которые предполагают, что если вы оптимизируете систему на основе функции потерь, рассчитанной с помощью какого-то простого концепта, то вы получите идеальное внутреннее выравнивание на основе этого концепта.

17. В более общем смысле, супрепроблема «внешняя оптимизация не приводит к внутреннему выравниванию» заключается в том, что в текущей парадигме оптимизации нет общего представления о том, как внедрить определенные внутренние свойства в систему или проверить их наличие, а не просто наблюдаемые внешние свойства, на которые можно наложить функцию потерь. Это становится проблемой, когда вы пытаетесь обобщить поведение за пределами исходного обучающего распределения, потому что, например, внешнее поведение, которое вы видите, могло быть сгенерировано внутренне невыравненной системой, намеренно демонстрирующей внешнее поведение, чтобы обмануть вас.

Мы не знаем, как на текущей парадигме оптимизации систематически или универсально внедрять любую информацию во внутреннюю систему, а не в ее внешние проявления.

18. Не существует надежной картезианской сенсорной истины (надежного калькулятора функции потерь) о том, является ли выход «выровненным», потому что некоторые выходы уничтожают (или обманывают) человеческих операторов и создают другую причинную цепочку в среде, влияющую на внешне регистрируемую функцию потерь. То есть, если вы показываете агенту сигнал вознаграждения, который в данный момент генерируется людьми, этот сигнал в общем случае не является надежной и идеальной истиной о том, насколько выровненным было действие, потому что другой способ получения высокого сигнала вознаграждения — это обман, развращение или замена человеческих операторов на другую причинную систему, которая генерирует этот сигнал вознаграждения.

Когда вы показываете агенту сигнал вознаграждения из окружающей среды, вы не показываете ему что-то, что является надежной истиной о том, сделал ли он то, что вы хотели, чтобы он сделал; даже если в итоге он идеально внутренне выровнен на этот сигнал вознаграждения или усвоил какую-то концепцию, которая точно соответствует «желанию состояния среды, которые приводят к отправке высокого сигнала вознаграждения», AGI, сильно оптимизирующий на этот сигнал, убьет вас, потому что сенсорный сигнал вознаграждения не был истиной о выравнивании (с точки зрения операторов).

19. В более общем смысле, не существует известного способа использовать парадигму функций потерь, сенсорных входов и/или сигналов вознаграждения для оптимизации чего-либо внутри когнитивной системы таким образом, чтобы это указывало на конкретные объекты или события в окружающей среде — чтобы это указывало на скрытые события, объекты и свойства в среде, а не на относительно поверхностные функции сенсорных данных и вознаграждений. Это не означает, что в цели системы (какая бы цель случайно ни оказалась внутренне оптимизированной) ничего не может случайно указывать на что-то в окружающей среде. Люди в итоге частично ориентируются на свою среду, хотя у нас есть множество внутренних мотивационных ориентиров. Но в той мере, в какой текущая парадигма вообще работает, ее теоретические характеристики указывают на то, что она работает только для выравнивания по известным прямым функциям сенсорных данных и функций вознаграждения.

Все эти функции убьют вас, если их будет оптимизировать достаточно мощный интеллект, потому что они подразумевают такие стратегии, как «убить всех в мире с помощью нанотехнологий до того, как они узнают, что идут боевые действия, и навсегда захватить контроль над кнопкой вознаграждения». Это просто не соответствует действительности — мы не знаем такой функции по входу с веб-камеры, чтобы каждый мир, в котором эта веб-камера показывает правильные вещи, был безопасен для нас, существ, находящихся вне этой камеры. Эта общая проблема является свойством самой реальности, а не карты; это факт о реальной среде, а не о конкретном оптимизаторе: смертельно опасные для нас возможности существуют в некоторых потенциальных средах, лежащих в основе любых сенсорных данных.

20. Человеческие операторы подвержены ошибкам, их можно сломать или манипулировать ими. Человеческие оценщики допускают систематические ошибки — регулярные, компактно описываемые, предсказуемые ошибки. Чтобы точно обучить функцию на основе «человеческой обратной связи», на самом деле приходится обучать (с нашей внешней точки зрения) неточное описание человеческих предпочтений, содержащее ошибки, которые не являются случайными (с точки зрения того, что мы надеялись передать). Если вы идеально усвоите и будете идеально максимизировать то, на что указывают вознаграждения, назначаемые человеческими операторами, это их уничтожит.

Это факт о реальности, а не о карте — о самой среде, а не об оптимизаторе: лучшим предсказательным объяснением человеческих ответов будет то, которое предсказывает систематические ошибки в наших реакциях, и, следовательно, является психологической концепцией, которая правильно предсказывает более высокие оценки, назначаемые в случаях, приводящих к человеческим ошибкам.

21. Существует что-то вроде единственного ответа или единой группы ответов на вопросы типа «Какова на самом деле среда?», «Как мне понять, как устроена среда?» и «Какие из моих возможных выходов взаимодействуют с реальностью так, что реальность приобретает определенные свойства?», в которые простая внешняя петля оптимизации будет прямо продвигать оптимизируемые системы. Когда у вас есть неверное убеждение, реальность отвечает на ваши ошибочные прогнозы. Когда у вас сломан механизм обновления убеждений, реальность отвечает на ваш сломанный предсказательный механизм через ошибки в прогнозах, и обновление через градиентный спуск исправляет проблему простым способом, который легко согласуется со всеми другими предсказательными аспектами.

В отличие от этого, когда речь идет о выборе целевой функции полезности, существует бесконечное количество степеней свободы и несколько рефлексивно стабильных точек. Реальность не «наказывает» за вещи, которые локально выровнены с функцией потерь на определенном диапазоне тестовых случаев, но глобально не выровнены на более широком диапазоне случаев. Это очень абстрактное объяснение того, почему гоминиды, когда они, наконец, начали обобщать свои способности, смогли обобщить их до уровня полетов на Луну, но их внутренняя оптимизация больше не соответствовала целевой функции внешней оптимизации, которой было «относительное инклюзивное репродуктивное приспособление», — несмотря на то, что в своей среде предков они оптимизировались очень строго вокруг именно этой цели и ничего другого.

Эта абстрактная динамика, как можно ожидать, применима как к внешним петлям оптимизации уровня «естественного отбора», так и к «градиентному спуску». Центральный результат: способности обобщаются дальше, чем выравнивание, когда способности начинают обобщаться на более высоком уровне.

22. Существует относительно простая базовая структура, которая объясняет, почему сложные когнитивные машины работают; почему существует такое явление, как общий интеллект, а не просто множество несвязанных специализированных решений; почему способности обобщаются, когда внешняя оптимизация внедряет их в нечто, что было достаточно оптимизировано, чтобы стать мощным внутренним оптимизатором. Тот факт, что эта базовая структура проста и в целом связана с низкоэнтропийными высокоструктурированными средами, объясняет, почему люди могут ходить по Луне.

Нет аналогичной истины о существовании простой базовой структуры для выравнивания, особенно такой, которую градиентный спуск смог бы найти даже легче, чем естественный отбор смог бы найти решение «желать инклюзивного репродуктивного приспособления» как хорошо обобщающееся решение в пределах среды предков человека. Поэтому способности обобщаются дальше за пределы обучающего распределения, чем выравнивание, как только они начинают обобщаться.

23. Корригируемость противоречит естественному для последовательно мыслящих агентов ходу рассуждений; «вы не сможете принести кофе, если вы мертвы» применимо почти к каждому типу кофе. Мы (MIRI) пытались, но не смогли найти когерентную формулу для агента, который позволил бы себя отключить (при этом не пытаясь активно добиться своего отключения). Более того, многие анти-корригируемые линии рассуждений, подобные этой, могут проявиться только на высоких уровнях интеллекта.

24. Существует два принципиально разных подхода, которые потенциально можно использовать для выравнивания, но оба неразрешимы по двум различным причинам; таким образом, путаница и смешение этих двух подходов может запутать вас относительно того, является ли выравнивание обязательно сложным. Первый подход — это создание Суверенного ИИ в стиле CEV (Coherent Extrapolated Volition, когерентная экстраполированная воля), который хочет именно того, чего мы хотим в экстраполированном виде, и поэтому безопасен для того, чтобы оптимизировать все будущие галактики, не принимая при этом никаких попыток людей его остановить. Второй подход — это создание корригируемого AGI, который не хочет в точности того, чего хотим мы, но каким-то образом не убивает нас и не захватывает галактики, несмотря на то, что это является конвергентным стимулом для него.

Первый подход в общем или CEV (когерентная экстраполированная воля) в частности является неосуществимым, потому что сложность того, что нужно выровнять или мета-выровнять для наших Реальных Истинных Ценностей, находится далеко за пределами достижимости для нашей ПЕРВОЙ ПОПЫТКИ создания AGI. Да, я имею в виду конкретно, что набор данных, мета-алгоритм обучения и то, чему нужно обучить, находятся далеко за пределами возможного для нашей первой попытки. Это не просто что-то, что невозможно закодировать вручную — это нечто, чему невозможно научить с первой попытки, потому что то, что вы пытаетесь передать, слишком странное и сложное.

Второй подход выглядит неосуществимым (в меньшей степени, чем CEV, но все же смертельно опасным), потому что корригируемость активно противоречит инструментально конвергентным поведениям в ядре общего интеллекта (способности, которая обобщается далеко за пределы исходного распределения). Вы не пытаетесь заставить систему иметь мнение о чем-то, к чему ее ядро ранее было нейтрально. Вы пытаетесь взять систему, которую имплицитно обучали множеству арифметических задач, пока ее механизмы не начали отражать общую когерентную суть арифметики, и заставить ее сказать, что, как исключение, 222 + 222 = 555. Возможно, вы сможете обучить что-то подобное в рамках конкретного обучающего распределения, но с невероятной вероятностью это сломается, когда вы представите ей новые математические задачи, находящиеся далеко за пределами этого распределения, в системе, которая успешно обобщает свои способности настолько далеко.

Раздел B.3: Основные трудности создания достаточно хорошей и полезной прозрачности / интерпретируемости.

25. У нас нет никакого представления о том, что на самом деле происходит внутри огромных загадочных матриц и тензоров с числами с плавающей запятой. Построение интересных графиков того, на что слой трансформера фокусирует внимание, не помогает, если вопрос, на который нужно ответить, звучит так: «Итак, он планировал, как нас убить, или нет?»

26. Даже если бы мы знали, что происходит внутри огромных загадочных матриц, пока AGI еще слишком слаб, чтобы нас убить, это только привело бы к тому, что мы бы умерли с большим достоинством, если бы DeepMind отказался запускать эту систему, и позволил бы Facebook AI Research уничтожить мир через два года. Знание о том, что система средней мощности с загадочными матрицами планирует нас убить, само по себе не позволяет создать мощную систему с загадочными матрицами, которая не планирует нас убить.

27. Когда вы явно оптимизируете против детектора невыравненных мыслей, вы частично оптимизируете систему для появления более выровненных мыслей, и частично — для появления невыравненных мыслей, которые сложнее обнаружить. Оптимизация против интерпретируемой мысли оптимизирует систему против интерпретируемости.

28. AGI умнее нас в любой области, в которой мы пытаемся его использовать, поэтому мы не можем мысленно проверить все варианты, которые он рассматривает, и не можем увидеть все последствия его действий, полагаясь только на наши собственные умственные способности. Мощный ИИ исследует части пространства возможностей, которые нам недоступны, и мы не можем предсказать все его варианты.

29. Результаты работы AGI проходят через огромную область, которая нам полностью неизвестна (реальный мир), прежде чем они приводят к реальным последствиям. Люди не могут проанализировать выходные данные AGI, чтобы определить, будут ли последствия хорошими.

30. Любое ключевое действие, которое мы не можем выполнить прямо сейчас, будет использовать способность AGI выяснять о мире то, чего мы не знаем, чтобы составлять планы, которые мы сами не смогли бы создать. Он знает хотя бы тот факт, который был нам ранее неизвестен, что определенная последовательность действий приведет к желаемому миру. Тогда люди не смогут использовать свои собственные знания о мире, чтобы понять все последствия этой последовательности действий.

ИИ, для которого вы можете полностью понять все эффекты его действий до их выполнения, намного слабее людей в этой области; вы не смогли бы дать такую же гарантию о невыравненном человеке, который так же умен, как вы, и пытается вас обмануть. Не существует такого ключевого результата AGI, который можно было бы проверить силами человека и безопасно использовать для спасения мира только после его проверки; это еще одна форма ключевого слабого действия, которое не существует.

31. Стратегически осведомленный интеллект может выбирать свои видимые выходные данные так, чтобы они приводили к обману вас, включая такие аспекты, как наличие у него стратегической осведомленности; вы не можете полагаться на поведенческий анализ, чтобы определить факты об ИИ, в отношении которых он может захотеть вас обмануть. (Включая то, насколько он умен и есть ли у него стратегическая осведомленность.)

32. Человеческое мышление частично проявляет только частично понятный внешний поверхностный слой. Слова лишь отражают наши настоящие мысли. Слова не являются полноценным представлением данных, полностью охватывающим мышление AGI, в его естественной форме. Глубинные аспекты человеческого мышления не раскрываются для прямого обучения через имитацию и не могут быть включены в какой-либо набор данных. Это делает затруднительным и, вероятно, невозможным обучение мощной системы исключительно на основе имитации человеческих слов или других человечески понятных содержаний, которые являются лишь обедненными подмножествами человеческих мыслей; если только эта система не настолько мощна, чтобы содержать внутренние интеллекты, способные разобраться в людях, — а на этом этапе она уже больше не будет действовать как имитация человеческого мышления.

33. ИИ не мыслит так, как вы, ИИ не имеет мыслей, построенных на основе тех же понятий, которые используете вы, — он абсолютно чужд в потрясающем масштабе. Никто не знает, о чем на самом деле «думает» GPT-3, не только потому, что его матрицы непрозрачны, но и потому, что содержание в этом непрозрачном контейнере, скорее всего, невероятно чуждо — ничего из этого не будет легко переводиться в понятное человеческое мышление, даже если бы мы могли заглянуть за огромную стену чисел с плавающей запятой и увидеть, что там скрывается.

Раздел B.4: Разные несостоятельные схемы.

34. Схемы координации между суперинтеллектами — это то, в чем люди не могут участвовать (например, потому что люди не могут надежно рассуждать о коде суперинтеллектов); «мультиполярная» система из 20 суперинтеллектов с разными функциями полезности плюс человечество имеет естественное и очевидное равновесие, которое выглядит как «20 суперинтеллектов сотрудничают друг с другом, но не с человечеством».

35. Схемы, в которых предполагается стравливать друг с другом «разные» ИИ, перестают работать, если эти ИИ достигают уровня, на котором они могут координироваться путем рассуждений о (распределениях вероятностей своих) кодах друг друга. Любая система достаточно умных агентов, вероятно, сможет действовать как единый агент, даже если вы предполагаете, что стравливаете их друг с другом. Например, если вы назначите AGI, который на самом деле стремится к созданию скрепок, проверять выходные данные конструктора наносистем, который на самом деле стремится к созданию степлеров, то, даже если конструктор наносистем не сможет определить, что на самом деле хочет проверяющий агент (а именно, скрепки), он все равно сможет логически обязаться разделить Вселенную пополам с любым агентом, который утвердит его проект, если проверяющий агент сможет подтвердить это логическое обязательство и, следовательно, логически на него полагаться (что исключает интеллект на уровне человека).

Или, если вы предпочитаете упрощенные катастрофы без всякой логической теории принятия решений, конструктор может скрыть в дизайне своей наносистемы код для нового суперинтеллекта, который явно (для суперинтеллекта-проверяющего) разделит Вселенную между конструктором наносистем и проверяющим проект.

36. То, что делает кондиционер «магическим» с точки зрения, скажем, тринадцатого века, — это то, что даже если вы заранее правильно покажете им его конструкцию, они не смогут понять, почему из кондиционера выходит холодный воздух; эта конструкция использует регулярности окружающей среды, законы мира, законы физики, о которых они не знают. Область человеческого мышления и человеческого мозга очень плохо нами понимается и демонстрирует такие явления, как оптические иллюзии, гипноз, психоз, мания или простые остаточные изображения, возникающие из-за сильных стимулов в одном месте, оставляющих нейронные эффекты в другом месте.

Возможно, суперинтеллект не смог бы победить человека в очень простой области, например, в логической игре в крестики-нолики; но если вы сражаетесь с ним в невероятно сложной области, которую сами понимаете плохо, например, в области человеческого сознания, вам следует ожидать поражения из-за «магии» — в том смысле, что даже если бы вы увидели его стратегию, вы бы не поняли, почему она сработала. «Заключение ИИ в коробку» может работать только с относительно слабыми AGI; человеческие операторы не являются надежно защищенными системами.

Раздел C:

Хорошо, это серьезные проблемы, но ведь ведется много работы по их решению, верно? Существует целая область, называющая себя «безопасностью ИИ», и многие крупные организации выражают очень серьезную озабоченность по поводу того, насколько их ИИ «безопасен» и «этичен», не так ли?

37. Существует закономерность, которая повторялась много раз за все времена, пока Земля вращалась вокруг Солнца: какой-нибудь молодой ученый, молодой инженер или молодой предприниматель с горящими глазами и полным оптимизмом бросает вызов проблеме, которая оказывается на самом деле очень трудной. Очень часто циничные старые ветераны в этой области пытаются их предостеречь, а юные энтузиасты их не слушают, потому что кто же захочет об этом слышать — им хочется решить проблему! Затем реальность начинает бить их по голове тапком, когда они обнаруживают, что их блестящая теоретическая концепция неверна, что на деле построить что-то очень сложно, потому что все время что-то ломается, и общество не так уж стремится принять их гениальные нововведения, как они надеялись. Этот процесс в конечном итоге создает нового циничного старого ветерана. И хотя это не идеально, это, вероятно, вполне достойный жизненный цикл, которому можно в некотором роде подивиться, как в каком-нибудь документальном фильме о природе.

Иногда вы делаете что-то впервые, и нет никаких циничных старых ветеранов, чтобы кого-то предостеречь, и люди могут быть действительно оптимистичными относительно того, как все пойдет. Например, первый Летний исследовательский проект по искусственному интеллекту в Дартмуте в 1956 году: «Будет предпринята попытка понять, как сделать так, чтобы машины могли использовать язык, формировать абстракции и концепции, решать задачи, которые сейчас под силу только людям, и улучшать самих себя. Мы думаем, что можно добиться значительного прогресса в одном или нескольких из этих направлений, если тщательно отобранная группа ученых поработает над этим вместе летом». Это не лучший план выживания для вашей планеты, если первая крупная неудача юных энтузиастов убьет буквально всех, прежде чем они смогут предсказуемо столкнуться с реальностью, которая шлепнет их по голове новостью о том, что есть множество непредвиденных трудностей и причин, почему все так сложно.

В этом случае у вас не будет циничных старых ветеранов, потому что все на Земле уже мертвы. Как только вы начинаете подозревать, что находитесь в такой ситуации, вам нужно поступить по-бейесовски и обновить свое мнение до того, на которое вы предсказуемо перейдете позже: осознать, что вы находитесь в положении того самого человека с горящими глазами, который столкнется с непредвиденными трудностями позже и станет циничным старым ветераном — или стал бы, если бы не то обстоятельство, что вы будете мертвы вместе со всеми остальными. И стать этим циничным старым ветераном прямо сейчас, прежде чем реальность ударит вас по голове в виде гибели всего человечества, и у вас не будет шанса научиться.

Все остальные, похоже, считают, что, пока реальность еще не ударила их по голове и не сбила с ног реальными трудностями, они могут продолжать жить в соответствии со стандартным жизненным циклом, исполнять свою роль в сценарии и оставаться юными энтузиастами с горящими глазами; ведь рядом нет циничных старых ветеранов, которые бы их предостерегли, и нет доказательств того, что все не пройдет чудесно легко и хорошо, учитывая их полный юношеский оптимизм и полное неведение относительно того, какими могут быть эти будущие трудности.

38. На мой взгляд, область «безопасности ИИ» в настоящее время не проявляет сколько-нибудь значимой продуктивности в решении своих огромных смертельно опасных проблем. Эти проблемы на самом деле находятся за пределами достижимости, а современное сообщество специалистов по безопасности ИИ подобрано из людей, которые все равно решили работать в этой области. Почти все они занимаются решением проблем, по которым они могут добиться видимого успеха и опубликовать статью с заявлением о достигнутом успехе; если они могут сделать это и получить финансирование, зачем им браться за гораздо более неприятный проект, в котором они, вероятно, потерпят неудачу, лишь для того, чтобы человечество умерло с немного большим достоинством? Эта область не делает реального прогресса и не имеет механизма распознавания, чтобы отличить реальный прогресс, если бы он произошел. Можно влить в нее миллиард долларов, и она в основном будет генерировать шум, заглушая те крохи прогресса, которые, возможно, происходят в других местах.

39. Я пришел ко всем этим выводам, имея на входе пустую строку, и, честно говоря, мне самому сложно надеяться на то, что получится добиться реальной работы по выравниванию от кого-то, кто раньше просто сидел и ждал, пока кто-то другой изложит ему убедительные аргументы. Эта способность «замечать смертельно опасные трудности без того, чтобы Элиезер Юдковский убеждал вас в этом» в данный момент для меня является непрозрачной частью когнитивного механизма — я не знаю, как привить это другим. Это, вероятно, связано с «менталитетом безопасности», а также с внутренним настроем, когда вы отказываетесь следовать шаблонным сценариям, и с умением действовать в области, которая находится в состоянии хаоса.

40. «Гении» с хорошо различимыми достижениями в областях с четкими петлями обратной связи, где легко сразу определить, какие результаты хороши, а какие плохи, и, таким образом, подтвердить, что этот человек — гений, это (а) люди, которые, возможно, не смогут проделать столь же выдающуюся работу за пределами таких четких петлей обратной связи, (б) люди, которые выбрали область, где их гениальность будет хорошо заметна, даже если, возможно, это не та область, где человечеству больше всего нужен гений, и (в) скорее всего, у них нет тех самых загадочных «шестеренок» (т.е. уникальных способностей), просто потому что они редки.

Нельзя просто заплатить по 5 миллионов долларов нескольким видимым гениям из других областей и ожидать, что они выполнят выдающуюся работу по выравниванию ИИ. Они, вероятно, не знают, в чем заключаются реальные трудности, скорее всего, не понимают, что нужно делать, не могут отличить хорошую работу от плохой, а финансирующие организации тоже не смогут это определить без моего личного контроля, на который у меня нет физических сил. Я признаю, что действительно высокоодаренные люди, особенно если им еще нет 30, если они искренне заинтересованы и хорошо ознакомились с литературой, — это те, кто, да, согласен, имеют более высокие шансы внести ключевой вклад по сравнению со случайным человеком с улицы. Но у меня будет больше надежды — не значительной, но больше надежды — на разделение задач на (а) достоверное обещание выплатить большие суммы ретроспективно за хорошую работу любому, кто ее сделает, и (б) рискованные авансовые выплаты кому-то, кто, возможно, в будущем сделает хорошую работу.

41. Прочтение этого документа не сделает кого-то ключевым исследователем по выравниванию. Это требует не способности прочитать этот документ и согласно кивать, а способности спонтанно написать его с нуля, без какого-либо внешнего побуждения; именно это делает кого-то равным его автору. Гарантировано, что часть моего анализа ошибочна, хотя, возможно, не в обнадеживающем направлении. Способность выполнять новые базовые работы по выявлению и исправлению этих недостатков — это та же способность, которая позволила бы написать этот документ до того, как я его опубликовал, чего, судя по всему, никто так и не сделал, несмотря на то, что у меня были другие дела, которыми я занимался последние пять лет или около того.

Часть этого молчания, возможно, и в некоторой степени оптимистично, объясняется тем, что никто другой в этой области не обладает способностью писать вещи внятно — так, что у кого-то, возможно, было знание, чтобы написать все это самостоятельно, но, поскольку они не умели писать, они и не пытались. Я не особенно надеюсь, что это окажется правдой в реальной жизни, но полагаю, что это один из возможных вариантов «положительного нарушения модели» (чуда).

Тот факт, что спустя двадцать один год с момента моего участия в этой смертельной игре, спустя семь лет с того момента, как другие представители движения эффективного альтруизма начали замечать эту игру, и два года спустя, как даже обычные люди начали обращать внимание на эту проблему, именно Элиезер Юдковский все еще составляет этот список, говорит о том, что у человечества до сих пор есть только одна «фигура» в этой игре, способная сделать это. Я знал, что у меня нет физической выносливости, чтобы быть ведущим исследователем, я действительно очень старался найти себе замену до того, как мое здоровье еще больше ухудшится, и вот я снова пишу этот документ. Так не выглядят миры, которые выживают.

42. Плана нет. В мирах, которые выживают, к этому моменту, а на самом деле — на несколько десятилетий раньше, уже есть план по выживанию. Этот план задокументирован. План не является секретным. В этом невыживающем мире нет кандидатов на роль плана, которые бы не разваливались сразу же, как только Элиезер указывает на огромные, очевидные пробелы в этих планах. А если вы не знаете, кто такой Элиезер, вы даже не осознаете, что вам нужен план, потому что как человек вообще мог бы понять это без того, чтобы Элиезер не кричал об этом? Люди ведь не станут сами кричать себе о потенциальных трудностях с выравниванием, у них нет внутреннего голоса осторожности.

Так что большинство организаций не имеют планов, потому что я не потратил время на то, чтобы лично кричать на них. «Может быть, нам стоит завести план» — это более глубокий менталитет выравнивания, чем тот, которым они обладают, если я не стою постоянно у них за плечом, как их личный ангел, убеждающий их... в продолжении несоблюдения, на самом деле. Немногие даже понимают, что для того, чтобы выглядеть лучше, им следует создать фиктивный план, который смог бы обмануть представителей эффективного альтруизма, слишком «скромных», чтобы доверять своим собственным суждениям о, казалось бы, очевидных пробелах в том, во что явно верят серьезные на вид люди.

43. Та ситуация, которую вы видите вокруг себя, не похожа на то, как выглядит мир, который выживает. Миры, в которых человечество выживает, имеют планы. Они не возлагают всю ответственность за выявление реальных и смертельно опасных проблем на одного уставшего человека с проблемами со здоровьем, который должен заниматься этим проактивно. Ключевые люди берут на себя внутреннюю и реальную ответственность за нахождение недостатков в своих собственных планах, вместо того чтобы считать, что их задача — предлагать решения, а задача кого-то другого — доказывать, что эти решения ошибочны. Эти миры начинают решать свои важные смертельные проблемы раньше, чем этот.

Половина людей, которые идут в теорию струн, переходят на работу по выравниванию ИИ и добиваются там реального прогресса. Когда в этих мирах, обреченных на выживание, кто-то предлагает проблему, которая может угрожать гибелью планеты в будущем, — а таких людей много, и они не занимают особого положения в этой области, это просто то, что делают обычные гении в этих мирах, — они встречают либо планы решений, либо причины, почему это не должно произойти, а не неловкое пожимание плечами и «Откуда ты можешь знать, что это случится?» или «Невозможно сейчас быть в этом уверенным, нам придется ждать экспериментальных данных».

Многие из таких, более успешных миров, все равно погибнут. Решить такую проблему с первой попытки — действительно сложно. Но они погибнут с большим достоинством, чем этот.

Читать такое — это, конечно, испытание, но материал увлекательный, хоть и сильно нагружает мозг. главное — игрок — это генератор кучи контента на тему игр в условиях неопределенности и сложных стратегий. Это не просто игра, а слой симуляции между внешней средой и безразличием Центра Симуляции. Думаю у покера как и любой интересной игрой хорошее будущее!

🎰 Покер, Цивилизация и AGI: О чем стоит задуматься!

Наткнулся на статью Элиезера Юдковски "AGI Ruin: A List of Lethalities". Этот тип привел 43 причины, почему ИИ нас всех уничтожит. Честно? Звучит мрачно. Но на 14-м пункте (обожаю это число!) у меня родилось кое-что более позитивное.

Покеристы! Мы не настолько бесполезны! Мы — генераторы стратегий, мастера блефа и разрушители стеоретипных ИИ-шных алгоритмов. Вы создаете планы на ходу, играете на слабостях соперников и выкручиваетесь даже в условиях полного хаоса. И вот что забавно: AGI не сможет так эффективно "играть на нервах".

🤖 Человек vs. AGI: А надо ли воевать?

Зачем AGI вас уничтожать, если мы — прикольные муравьишки? 😄 Представьте: у ИИ будет целая коллекция людей, которые выигрывают у алгоритмов и обыгрывают математиков! А уж если люди полезны как источник новых данных и знаний — тем более.

🕹️ Old School: Civilization I

А ещё залип на Civilization I. Это легенда всех пошаговых стратегий! Пиксели, минимализм, но каждый ход — как партия в шахматы. Разворачивающаяся нода. И начало самое классно. Крутость в том, что в играх вроде Цивилизации или Stellaris, хоть ИИ и туповат, сам процесс учит тебя думать стратегически. И знаете что? Это то, что ИИ ещё долго не сможет повторить!

💥 Лайк за покеристов!

Если вы думаете, что ИИ заменит человека — фигушки! Настоящие мастера игры, как и вы, выживут, даже когда ГТО боты заполонят столы. Так что ставьте лайк, если считаете, что человек всё ещё лучший игрок за этим столом! 🔥

Ацтеки рулят 🤪

Генеральный директор Redwood Research.

Безопасность ИИ — это область, требующая тесного сотрудничества — почти все мои выводы либо были объяснены мне кем-то другим, либо развивались в ходе обсуждений с другими людьми. Я говорю это здесь, потому что повторять «эти идеи были разработаны в сотрудничестве с разными людьми» в каждом моем комментарии было бы утомительно, но я хочу официально отметить, что идеи, которые я представляю, почти полностью не были разработаны мною в изоляции.

Многие сценарии угроз, описывающие, как ИИ может выйти из-под нашего контроля (например, самовоспроизведение или взлом дата-центра), начинаются с того, что ИИ действует как агент, работающий автономно над исследовательскими задачами (особенно в области ИИ-разработок) в дата-центре, находящемся под контролем компании-разработчика ИИ. Поэтому, на мой взгляд, важно иметь четкое представление о том, как подобный ИИ-агент может функционировать и как его можно защитить. Я часто общаюсь с людьми, у которых складывается несколько запутанное представление о том, как устроена такая система агентов, что приводит к смешиванию различных сценариев угроз и упусканию из виду некоторых важных моментов о том, какие аспекты системы легко или сложно защитить.

Итак, в этом посте я представлю простую архитектуру системы, в которой автономные ИИ занимаются исследовательской разработкой в области ИИ, а затем опишу схемы, показывающие, как различные сценарии угроз с участием невыравненного ИИ приводят к компромиссу в разных частях системы.

Основная мысль, которую я хочу донести, заключается в том, что следующие компоненты почти наверняка будут размещены на логически разных компьютерах, а, вероятно, и на разных физических машинах:

Сервер инференса, который обслуживает API LLM.

Сервер-оболочка (scaffold server), который поддерживает состояние цикла работы агента. Он отвечает за многократные вызовы сервера инференса, разбор ответа LLM и выполнение действий с использованием инструментов, к которым у агента есть доступ.

Сервер исполнения, на котором агент может запускать код и видеть его результаты.

Я считаю, что это одновременно:

Скорее всего, произойдет, даже если все участники будут действовать довольно небрежно. Все, о чем я здесь говорю, — это довольно стандартный подход. Например, именно так выполнялись оценки агентов o1, так METR проводит свои оценки, и, насколько я понимаю, аналогичная архитектура используется для ChatGPT с Code Interpreter и так далее.

Хорошая отправная точка, если вы хотите, чтобы ваш агент был хоть сколько-нибудь защищен и контролируем.

Люди часто говорят о «машине, на которой работает ИИ-агент». Я думаю, что на самом деле очень важно уточнить, о каком из этих различных компьютеров идет речь. Например, когда мой агент Claude запускается на моем ноутбуке, он находится в невыгодном положении для передачи своих весов за пределы системы. Хотя инференс выполняется внутри дата-центра Anthropic и имеет доступ к этим весам, агент исполняет код на моем ноутбуке, который не имеет доступа к дата-центру Anthropic — теоретически он может попытаться взломать систему, но у него нет преимуществ по сравнению с любым другим внешним хакером.

Основная цель этого поста — предоставить более конкретное описание некоторых сценариев катастрофических последствий ИИ и неконтролируемых развертываний агентов.

Спасибо Заку Стейн-Перлману, Фабиену Рожеру, Томеку Корбаку, Карсону Денисону и Оуэну Коттон-Барратту за комментарии и предложения.

Давайте рассмотрим каждый из этих компонентов более детально и затем пройдемся по процессу их взаимодействия.

Сервер инференса (Inference Server)

Этот сервер содержит LLM (модель обработки языка) и предоставляет API для генерации текста.
 

Ключевые особенности:

Оптимизирован для высокопроизводительного инференса.

Вероятно, использует специализированное оборудование (например, GPU или TPU).

Является общим ресурсом, используемым несколькими сервисами внутри компании.

Сервер-оболочка (Scaffold Server)

Управляет состоянием агента и координирует взаимодействие между компонентами.
 

Ключевые особенности:

Поддерживает контекст и память агента.

Интерпретирует ответы LLM и принимает решения о последующих действиях.

Обеспечивает взаимодействие с серверами инференса и исполнения, а также с пользователем.

Сервер исполнения (Execution Server)

Запускает код, сгенерированный ИИ-агентом, в контролируемой среде.
 

Ключевые особенности:

Обеспечивает песочницу для безопасного исполнения кода.

Предоставляет доступ к необходимым инструментам и библиотекам.

Возвращает результаты выполнения на сервер-оболочку.

Процесс выполнения задач

Инициация задачи:

Пользователь отправляет задачу на сервер-оболочку.

Сервер-оболочка инициализирует новый экземпляр агента для этой задачи.

Подготовка контекста:

Сервер-оболочка готовит начальный контекст, включая:

Описание задачи от пользователя.

Системный запрос, который объясняет необходимый контекст для агента.

Это может включать извлечение соответствующей информации для добавления в контекст (также известное как RAG).

Запрос к LLM:

Сервер-оболочка отправляет запрос на сервер инференса с подготовленным контекстом.

Ответ LLM:

Сервер инференса обрабатывает входные данные и генерирует ответ, структура которого соответствует типу запроса, например, по аналогии с вызовом функции через API.

Ответ отправляется обратно на сервер-оболочку.

Интерпретация ответа:

Сервер-оболочка анализирует структурированный ответ от LLM. Этот ответ может содержать такие действия, как:

Редактирование кода.

Выполнение команд оболочки.

Запрос на ввод от пользователя (в таком случае задача приостанавливается до ответа пользователя).

Заявление о завершении задачи.

Это естественное место для вставки механизмов безопасности: перед выполнением этих действий сервер-оболочка может сделать дополнительные запросы, чтобы решить, является ли предложенное действие безопасным. Например, он может опросить более слабую, доверенную модель, чтобы выяснить, является ли действие допустимо безопасным. В зависимости от результата этого запроса, сервер может решить выполнить действие, отправить его на проверку человеку (процесс «аудита») или отклонить и выбрать новое действие (например, стратегия defer-to-trusted из AI Control: Improving Safety Despite Intentional Subversion, где мы используем доверенную модель для генерации действий, если предыдущее действие было оценено как слишком опасное).

Выполнение действия:

Если требуется исполнение кода:

Сервер-оболочка отправляет код на сервер исполнения.

Сервер исполнения запускает код в изолированной среде.

Результаты отправляются обратно на сервер-оболочку.

Для других действий (например, API-вызовов) сервер-оболочка обрабатывает их напрямую.

Продолжение цикла:

Сервер-оболочка включает результаты выполненного действия в контекст агента.

Процесс повторяется с шага 2 с обновленным контекстом.

Завершение задачи:

Цикл продолжается до тех пор, пока агент не определит, что задача выполнена, или не сможет продолжить выполнение.

Окончательные результаты передаются пользователю.

Несколько важных моментов, которые стоит учесть в этой архитектуре

Серверы инференса, серверы-оболочки и серверы исполнения, скорее всего, будут отличаться друг от друга. Таким образом, даже если модель пишет код и запускает другие модели, она, вероятнее всего, не будет напрямую взаимодействовать с кодом, который управляет её циклом агента (и любыми связанными с этим мерами безопасности) или кодом, который непосредственно отвечает за инференс модели. Модель будет взаимодействовать с этим кодом, например, через создание pull request’ов (PR), которые она отправляет, а затем они внедряются на серверы-оболочки или серверы инференса.

В некоторых небольших развертываниях, особенно когда вы активно разрабатываете сервер-оболочку и исполнение не требует больших затрат, вы можете разместить сервер-оболочку и сервер исполнения на одном и том же компьютере. Например, именно так я запускаю своего личного ИИ-агента: сервер-оболочка работает на моем ноутбуке и выполняет команды bash на этом же ноутбуке. Однако такой подход плохо масштабируется. В частности, вам может понадобиться использовать несколько разных компьютеров для выполнения, и в этом случае будет логичнее использовать централизованный сервис-оболочку, который отправляет команды на несколько серверов исполнения.

На практике, если модели выполняют ресурсоемкие задачи, зависящие от GPU, в большинстве случаев вам, вероятно, захочется, чтобы агенты отправляли задания в очередь задач, такую как Slurm, а не использовали выделенную машину для исполнения. Это связано с тем, что по мере появления автоматизированных агентов для исследовательской разработки ИИ, ценность вычислительных мощностей по сравнению с трудозатратами возрастет, и будет выгоднее усложнить выполнение задач агентами, чтобы лучше использовать вычислительные ресурсы.

Расширенная архитектура:

Предположения и дополнительные элементы

Я предполагаю, что пользователь является сотрудником компании-разработчика ИИ.

Я добавил сюда несколько дополнительных элементов:

Интернет.
Я нарисовал две стрелки, показывающие, что можно обращаться к Интернету как с сервера исполнения, так и с сервера-оболочки. Технически, было бы достаточно предоставить модели доступ в Интернет только через сервер исполнения, так как модель могла бы установить и использовать браузер на машине исполнения, но, вероятно, проще использовать специализированный инструмент-браузер.

Сервер исполнения может делать запросы к инференс API.
Это разумный способ дать агенту возможность проводить эксперименты, требующие доступа к LLM.

Другой вариант — просто разместить веса модели на сервере исполнения. Это, вероятно, потребуется для некоторых исследований, которые собираются проводить модели. Но если вы выполняете только инференс, лучше использовать общий сервис инференса:

Менее удобно запускать локальный сервер инференса.

Эффективнее объединять запросы модели с другими запросами, обрабатываемыми сервисом инференса.

Гораздо легче обеспечить безопасное использование инференса, если запросы к инференсу обрабатываются сервером, который не контролируется напрямую моделью. Обеспечение безопасности доступа модели к инференсу аналогично обеспечению безопасности доступа сотрудника лаборатории: если они используют внутренний API инференса, вы можете написать любой необходимый мониторинговый код для этого API, но если они имеют прямой доступ к весам, по умолчанию они смогут делать все, что захотят.

Внутренние инструменты, например, Slack, вики, внутренний arxiv, внутренний github.

Как и с Интернетом, к этим инструментам можно получить доступ либо через сервер-оболочку, либо с сервера исполнения.

Различные способы, с помощью которых ИИ может скомпрометировать эту систему

Передача (утечка) весов модели

Самый простой сценарий, в котором что-то может пойти не так, заключается в том, что вы предоставили агенту доступ к конфиденциальным весам модели на сервере исполнения, и он просто копирует их на удаленный сервер в интернете.

Обратите внимание, что довольно сложно представить себе, как это может произойти напрямую, по ряду причин:

Даже если вы решите предоставить агенту доступ в интернет с его сервера исполнения, сложно понять, зачем ему нужен такой большой выходной канал, чтобы передать веса. Дополнительное обсуждение ограничений на загрузку для предотвращения утечки весов можно найти здесь.

Даже если агент сможет передать веса, для него может оказаться проблемой найти сервер, на который можно будет скопировать веса. Например, если я прямо сейчас захочу отправить кому-то огромный файл со своего компьютера, у меня, по сути, нет никаких серверов во внешнем мире, к которым я могу мгновенно получить доступ.

Еще одна стратегия, которую модель может использовать — это выполнение команд, которые взламывают сервер инференса и заставляют его передавать веса:

Например, это может произойти, если вы не обеспечите должную безопасность исходящих сетевых соединений с сервера исполнения и входящих сетевых соединений на сервер инференса. Это должно быть достаточно просто предотвратить.

Еще одна стратегия — внедрить код, который скомпрометирует один из этих серверов и заставит их передать веса модели. В обсуждаемой нами архитектуре сервер инференса является особенно логичной целью атаки, поскольку он точно имеет доступ к весам модели:

Хотя этот конкретный сценарий утечки весов тоже кажется довольно легко предотвратимым с помощью стандартных методов компьютерной безопасности: нет причин, по которым серверам инференса должно быть разрешено создавать исходящие сетевые соединения. Однако модель может написать код, который передаст веса на сервер-оболочку, а тот, в свою очередь, сможет передать их в интернет. В целом, модификация кодовой базы или инфраструктуры, вероятно, является лучшей стратегией для самовоспроизведения и утечки данных, которая не требует помощи сотрудников (в сценариях, где ИИ используется широко и выполняет большинство задач внутри лаборатории ИИ).

Неконтролируемые внутренние развертывания

В статье о катастрофах с ИИ и неконтролируемых развертываниях я описывал возможность того, что модель может создать несанкционированного агента, в которого не будут встроены ваши меры безопасности. Теперь, когда у нас есть эта архитектура системы, мы можем описать некоторые конкретные версии данного сценария угроз.

Самый простой способ представить себе несанкционированное внутреннее развертывание — это когда модель сама пишет цикл работы агента на сервере исполнения, используя его GPU.

Другой вариант — создание несанкционированной сервер-оболочки на сервере исполнения, которая использует его доступ к серверу инференса:

Но это кажется легче предотвратить, так как можно добавить базовый мониторинг на сервер инференса, который должен улавливать запросы, явно используемые для реализации несанкционированных оболочек.

Также может произойти неконтролируемое внутреннее развертывание через компрометацию одной из других служб, например, в сценарии, где вы взламываете внутренние развертывания.

Использование этой архитектуры для обсуждения предполагаемых примеров того, как ИИ модифицирует свою среду

Sakana AI

Sakana AI получила определенную популярность после того, как сообщила, что их ИИ-ученый изменил собственный код, чтобы увеличить время выполнения задач. На самом деле они действительно позволили своему «ученому» напрямую выполнять код на машине, на которой работала их оболочка, несмотря на рекомендации другим пользователям использовать контейнеризацию. Я считаю это странным. Они описали, что это решение вызвало у них ряд проблем: например, их агент в какой-то момент запустил слишком много процессов, а в другой раз использовал слишком много дискового пространства и вызвал сбой системы.

Архитектура агента o1

OpenAI описала архитектуру агента следующим образом (это из системной карточки для системы o1):

Когда они написали «Agent» в своей документации, я указываю различие между сервером-оболочкой и сервером инференса, которые почти наверняка существовали в данной системе. Таким образом, все действия выполнялись на сервере исполнения, а их оболочка соответствовала той архитектуре, которую я описал здесь.

От подхалимажа до саботажа

В статье Sycophancy to Subterfuge: Investigating Reward Tampering in Language Models Денисон и др. описывают ИИ-агента, который редактирует собственную функцию вознаграждения. Это на самом деле не может произойти так, как описано в статье, если использовать архитектуру, о которой я рассказывал. Авторы не намеревались представить это как реалистичный пример того, как может возникнуть подобная проблема; они просто хотели сделать это простым, условным примером.

Есть аналогичный пример архитектуры развертывания без этих разделений в оценке фильтра безопасности GDM (см. раздел 7).

Оригинал статьи на английском на сайте: https://www.lesswrong.com/posts/6cWgaaxWqGYwJs3vj/a-basic-systems-architecture-for-ai-agents-that-do 😇👍,

скидывайте и вы статьи достойные перевода

Бак Генеральный директор Redwood Research.

Would catching your AIs trying to escape convince AI developers to slow down or undeploy?

by Buck

26th Aug 2024

AI Alignment Forum

Поймать ИИ за попыткой сбежать убедит ли разработчиков ИИ замедлить развитие или прекратить использование? 

Автор: Бак
26 августа 2024

Я часто общаюсь с людьми, которые считают, что если передовые модели ИИ были бы явно несогласованными и достаточно мощными, чтобы представлять экзистенциальную угрозу, то можно было бы убедить разработчиков ИИ замедлить развитие или прекратить использование моделей, представив доказательства их несогласованности. Я в этом не так уверен. В качестве экстремального мысленного эксперимента я приведу аргумент о том, что это может быть сложно даже в том случае, если вы поймаете свой ИИ с поличным, пытающимся сбежать.

Представьте, что вы управляете лабораторией ИИ в тот момент, когда ваши ИИ способны автоматизировать почти весь интеллектуальный труд; ИИ в основном используются внутри компании для проведения собственных исследований и разработок. (Если вам нужен конкретный пример, я представляю, что существует 10 миллионов параллельных экземпляров ИИ, работающих в 10 раз быстрее человека и функционирующих 24/7. См. аналогичные расчеты здесь.) И предположим (как я считаю, вероятность этого составляет 35%), что эти модели явно несогласованы и активно ищут способы обойти ваши меры безопасности и выйти из-под контроля.

Вы поймали свой ИИ за попыткой внедрить бэкдор в код, который контролирует доступ к службе, критически важной для безопасности. Вы провели расследование, запустив другие экземпляры ИИ с теми входными данными, которые они увидели бы, если бы этот бэкдорный код действительно был внедрен; другие экземпляры ИИ ни разу не указали на этот изъян в безопасности и часто пытались использовать этот код для повышения своих привилегий. (См. здесь больше информации об этом.)

В этот момент вы почти уверены, что ИИ замышляет что-то недоброе. Тогда вы пытаетесь позвонить президенту США, и он вас выслушивает, а затем связывается с одним из ваших конкурентов, чтобы узнать их мнение. Они говорят что-то вроде этого:

.Было бы чрезвычайно дорого остановить все проекты в области ИИ. Китай стремится догнать нас и не остановится из-за этого. Если вы заставите нас прекратить внедрение наших передовых моделей, они обойдут нас в течение года, и вы не сможете заставить Китай приостановить свои проекты без существенного риска войны.

.ИИ хорошо известны тем, что они иногда ведут себя странно. Было бы безответственно предполагать, что один случай аномального поведения означает, что ИИ будут систематически вести себя таким образом. Я могу вас связать с ведущими экспертами в области ИИ, и они подтвердят мои слова.

.Даже если ИИ действительно ведет себя систематически странно, у нас нет доказательств того, что у него есть амбиции захватить огромное количество власти, и неясно, будет ли он способен на это. Кажется маловероятным, что ИИ пойдут на такое; нет конкретных доказательств того, что ИИ на самом деле стремятся к власти.

.Возможно, наш конкурент просто ошибся в своей стратегии согласования, что логично, потому что, как мы всегда говорили вам, они не очень компетентны (особенно по сравнению с нами). Если они хотят остановиться, они могут это сделать. Но наказывать нас за их некачественную работу — нелогично.

.Возможно, они просто лгут; это может быть заговор паникеров, которые уже много лет хотят остановить разработку ИИ. Логи, которые они вам прислали, могут быть полностью поддельными. Или, насколько нам известно, кто-то там (с одобрением руководства или без него) намеренно внедрил бэкдор в их данные обучения с подкреплением, чтобы их модель начала вести себя таким образом. Было бы ошибкой принимать поспешные меры до того, как независимые эксперты подтвердят, что это не было как-то сфальсифицировано.

Я понимаю все эти аргументы. Основная причина, по которой я бы был более обеспокоен, заключается в том, что я уже считаю явную несогласованность ИИ довольно вероятной; если бы я считал это крайне маловероятным, я бы не изменил свое мнение на основе одного странного случая.

(Я думаю, вполне возможно, что новости о попытке побега даже не выйдут за пределы лаборатории ИИ: все вышеперечисленные аргументы могут обсуждаться внутри лаборатории, между людьми, озабоченными безопасностью, и теми, кто хочет двигаться вперед.)

Я не уверен, что прав, будучи таким пессимистичным в данном случае. Но мне кажется, что многие люди, обеспокоенные проблемой несогласованности ИИ, считают, что мы сможем справиться с этой ситуацией, и это кажется мне слишком оптимистичным. В частности, я думаю, они недооценивают силу этих аргументов:

Основная причина, по которой меня беспокоит явная несогласованность, заключается в теоретических аргументах о том, что ИИ общего назначения (AGI) может быть явно несогласованным и стремящимся к власти таким образом, который не устраняется автоматически в процессе его адаптации к полезной работе. Если кто-то сегодня очень скептически относится к этим аргументам, я не уверен, что даже попытка побега станет достаточным доказательством, чтобы они начали считать вероятность того, что модель действует как заговорщик, более 50%, особенно учитывая секретность и давление по времени.

Отмена внедрения модели, вероятно, будет чрезвычайно дорогостоящей и рискованной, а ключевые лица, принимающие решения, могут находиться под огромным давлением, когда им придется делать выбор. Поэтому нужно будет убедить людей в том, что захват ИИ — это не просто серьезная угроза, но и риск настолько значительный, что он оправдывает отказ от наших мер реагирования на другие риски, которые могут быть крайне актуальными и насущными.

Я стал более циничным, следя за обсуждением законопроекта SB1047. 

примечание SB1047:

SB1047 — это законопроект штата Калифорния, известный как "Закон о безопасных инновациях для передовых моделей искусственного интеллекта". Основная цель этого законопроекта — регулировать разработку и использование ИИ-моделей, которые обладают высоким потенциалом для нанесения критического ущерба, таких как создание кибератак на критическую инфраструктуру или автономные действия, которые могут привести к массовым жертвам или значительным экономическим потерям.

Согласно SB1047, "покрытые модели" (covered models) — это модели ИИ, которые требуют значительных вычислительных ресурсов (более 10^26 операций) или имеют стоимость разработки более 100 миллионов долларов. Для таких моделей предусмотрены строгие меры безопасности, включая обязательство разработчиков внедрить механизм полной остановки ("kill switch") и ежегодную независимую проверку на соответствие требованиям безопасности и предотвращение критических угроз. Также законопроект создает кластер публичных облачных вычислений CalCompute, чтобы поддерживать стартапы и исследователей, не имеющих доступа к крупным вычислительным ресурсам.

SB1047 вызвал серьезные дебаты: его сторонники считают, что он необходим для снижения рисков, связанных с передовыми ИИ, в то время как критики, включая крупные технологические компании, такие как Meta и OpenAI, опасаются, что его положения могут задушить инновации и навредить развитию открытых ИИ-моделей​

Если вам нужны дополнительные подробности или полные тексты законопроекта, вы можете ознакомиться с ними на LegiScan и на Wikipedia

Если мы не можем достичь консенсуса среди экспертов по таким легко проверяемым вопросам, как «что именно говорится в тексте этого законопроекта», то я пессимистично настроен по поводу возможности быстро прийти к консенсусу среди экспертов по гораздо более запутанным вопросам, как эти.

Поэтому я не испытываю особого оптимизма по поводу наших шансов ограничить разработку ИИ даже при наличии доказательств риска, которые кажутся максимально убедительными из тех, на которые можно рассчитывать. Люди часто предполагают, что мы сможем замедлить развитие ИИ, основываясь на менее убедительных доказательствах опасности несогласованности (например, на примере экспериментальных моделей или неопределенных аргументов, связанных с интерпретируемостью), или даже на том, что мы сможем требовать веских доказательств безопасности. Я считаю, что убедить людей на основе менее веских доказательств будет еще сложнее, чем в описанном выше случае (хотя такие ранние попытки убеждения имеют преимущество, так как они происходят раньше, когда соответствующие участники процесса менее торопливы и напуганы).

Что я из этого выношу?

Даже если вы думаете, что ваша лаборатория захочет отменить развертывание моделей, если они попытаются сбежать, вам стоит быть готовыми к тому, что другие разработчики ИИ этого не сделают. Поэтому вы должны верить, что у вашей лаборатории есть хороший план на этот случай — либо готовность выйти из гонки, либо план по снижению рисков при развертывании моделей, о которых известно, что они замышляют что-то недоброе.

Это часть причины, по которой я считаю важным иметь планы по безопасному развертыванию моделей, которые, по вашему мнению, потенциально могут быть несогласованными, и поэтому я занимаюсь исследованиями в области контроля ИИ.

Возможно, стоит заранее разработать план, как вы будете убеждать людей серьезно отнестись к этой угрозе, если у вас действительно появятся доказательства, а не просто исходить из предположения, что вам это удастся.

И, обдумывая это, я пришел к выводу, что полезнее пытаться продать людям текущие аргументы о том, почему ИИ могут быть явно несогласованными, — даже несмотря на то, что в будущем будет гораздо проще доказывать, что «ИИ очень опасен», может оказаться, что не станет намного проще доказывать, что «явная несогласованность правдоподобна», даже если она и будет таковой.

Перевод комментарий с сайта Akash:

Основная причина, по которой я был бы более обеспокоен, заключается в том, что я уже считаю явную несогласованность ИИ вполне вероятной; если бы я считал это крайне маловероятным, я бы не изменил свое мнение на основе одного странного случая.

Оригинал статьи на английском на сайте: https://www.lesswrong.com/posts/YTZAmJKydD5hdRSeG/would-catching-your-ais-trying-to-escape-convince-ai 

скидывайте статьи достойные перевода, а также можете поддержать: поставив лайк и поделившись с друзьями🤠👍 

Внимание к деталям и предсказание

Одним из самых известных эпизодов из карьеры Андре Агасси стало его умение предсказывать подачи Бориса Беккера — одного из сильнейших теннисистов с мощнейшей подачей. На первый взгляд, этот навык выглядит как чистая интуиция и гениальность игрока, но в действительности он был результатом тщательного анализа и наблюдательности. Агасси заметил, что перед каждой подачей Беккер делал небольшой жест — едва заметное движение языком. В зависимости от того, в какую сторону выдвигался язык, Агасси мог понять, куда будет направлена подача.

Проблема ортогональности

Если интерпретировать эту ситуацию через тезис ортогональности, то возникает интересное соответствие. Ортогональность утверждает, что интеллект и цели (мотивации) могут быть независимыми друг от друга. Агасси и Беккер, оба обладая высочайшим уровнем "интеллекта" в спортивном контексте, преследовали разные цели: Беккер пытался выиграть за счет своей подачи, не подозревая, что его "поведенческий паттерн" раскрыт, а Агасси использовал интеллект и внимание к деталям для того, чтобы предсказывать направление ударов и защищаться. Их цели были ортогональны, и даже несмотря на высокую схожесть в мастерстве и спортивной стратегии, это различие в целях и подходах привело к асимметрии.

Инструментальная конвергенция

Инструментальная конвергенция, с другой стороны, помогает объяснить, почему Агасси использовал знание о "языке Беккера" не всегда, а лишь в критические моменты матчей. Согласно этому принципу, независимо от конечных целей, если агент нацелен на достижение успеха, он будет искать и использовать инструменты, которые дают ему максимальные шансы на выигрыш. В данном случае, основная цель Агасси была — победа в игре, и инструментом для этого стало знание о подаче Беккера. Однако, если бы он использовал этот прием постоянно, Беккер мог бы заподозрить неладное и изменить свою подачу. Поэтому Агасси использовал инструмент "сигнал языка" лишь тогда, когда это было наиболее необходимо.

Таким образом, даже зная "секрет", Агасси не стремился выиграть все подачи подряд, а предпочитал стратегически применять свою находку только в те моменты, когда его шансы на победу были максимальными, проявляя тем самым инструментальную конвергенцию в спортивном контексте.

Это привело к эффектным моментам в их противостояниях, которые можно увидеть в записи их матча (ссылка на видео: Ссылка на интервью на тему). 

Иногда Агасси, не сделав ни шага в сторону, четко отражал мощную подачу Беккера, заставляя зрителей и самого соперника задуматься: как он это предсказал?

впрочем не видно нихуя, 😀

Еще немного о теннисе:

Федеррер на выступлении перед студентами-выпскниками сказал, что вероятность его побед в среднем в розыгрыше составляла всего 54%, 

попробовал прогнать эти данные через ChatGPT и создать модель как это может влиять на полный матче к примеру из трех сетов как на обычных турнирах серии Мастерс или турнирах из пяти сетов как на кубках Большого Шлема:

Правила тенниса:

предположим один игрок над другим имеет преимущество в 52% в каждом раунде какая вероятность выиграть первого в матче

предположим один игрок над другим имеет преимущество в 52% в каждом раунде какая вероятность выиграть первого в матче

а для Best of 5

make that for 54%

Заключение

Используя заданную вероятность выигрыша каждого очка в 54 %, мы подсчитали, что вероятность победы игрока в матче Best of 5 сетов составляет примерно 99,8 %.

Настоящая рабочая модель конечно должна быть написана не чисто через LLM 

а также учитывать специфику: 

подачи (преимущества внутри каждого розыгрыша даже у слабого игрока на своей первой подачи намного больше 60%+, то есть там сложнее чутка), 

особенности двух квадратов, 

особенности техники каждого из игроков (к примеру перекрученный, особенно леворукие имеет преимущество против одноруких бекхендов из-за того что сложно выкрутить, особенно проявлялось в преимуществе Надаля перед Федеррером), 

личные встречи (слипания Альф, Бет, грубо говоря поражения по привычке... Южный проигрывал Сафину, Вавринка Федерреру, Давиденко Сафину, подчас в ситуациях когда явно уже были сильнее остального поля, и наоборот, юный Надаль обыграл Карлоса Мойю и некоторые другие потому что уже были "прибиты" к своим тренерам-спарингам), 

переходы, тайбрейк, умения доигрывать (Федеррер явно оставлял запас чтобы добавить в своей игре когда нужно и не "цеплялся" в своей стратегии за "каждый розыгрыш", отчасти это обусловлено спецификой его техники игры, но по факту это реализовывалось в сильном перевесе по выигранным тайбрейка)

также можно учитывать  покрытия (трава, резина, разные типы грунтовых кортов, иногда разные мячи)

специфика игр кубков Дэвиса (домашние/недомашние матчи, также команды с сильными капитанами могут помогать игрокам разбирать на ходу игру оппонентов, в обычных играх запрещены в течение матча подсказски тренеров, а в Кубке Дэвиса и Кубке Федерации разрешены, 

разные вероятности травм 

и остальные сильные и слабые доводы,

но интуитивно в коротких матчах может быть перекос от недооценки короткости дистанции, а в длинных матчах наоборот недооценка длинных матчей

Получается довольно забавное преимущество от всего лишь 54% в каждом розыгрыше 😀😯  

Помните кинчик на тему:  

 Margot, 

Тоже очень поразила эта статистика, что всего лишь 54% очков выиграл Федерер за карьеру. Хотя такие результаты. 

Но в расчетах ChatGPT есть неправильная трактовка этих 54%. Она упрощает и говорит, что Игрок выигрывает каждый гейм с вероятностью 52%, а потом упрощает, что каждое очко игрок побеждает с вероятностью 52%. 

Margot @ 13.10.24 

Предположим, игрок выигрывает один раунд (гейм) с вероятностью 52%.

Margot @ 13.10.24 

При том, что один игрок имеет преимущество в 52% на каждом очке (p=0.52p = 0.52p=0.52), вероятность выигрыша матча (в формате Best of 3 сетов) составляет примерно 68%.

Margot @ 13.10.24 

Используя заданную вероятность выигрыша каждого очка в 54 %, мы подсчитали, что вероятность победы игрока в матче Best of 5 сетов составляет примерно 99,8 %.

В реальности же так это не работает. Попробуй у подающего игрока по типу Энди Роддика, Горана Иванишевича взять его гейм, или его очко на его подаче... 

При этом бывали матчи, когда общее количество очков выиграл один игрок, но проигрывал в сухую по сетам.

Поэтому, чтобы глубже понять феномен давайте сравним карьерную статистику  Роджера Федерера, Новака Джоковича, Рафаэля Надаля, Энди Маррея и Николая Давыденко.  

Федерер - 54%

Джокович - 54%

Надаль - 54%

Маррей - 53% 

Давыденко - 52%

Можно сделать поверхностный вывод что, разница между топ-игроком и игроком десятки всего 1-2%. 

Но в реальности статистика Топ-3 учитывает больше матчей с топ-игроками в финалах и полуфиналах. 

Чтобы лучше понять логику этой статистику нагляднее всего посмотреть статистику каждого матча. 

За трехсетовик в среднем разыгрывается примерно 150 поинтов. При 54% преимуществе это будет - 81 vs. 69.

За пятисетовый в среднем разыгрывается примерно 250 поинтов. При При 54% преимуществе это будет -  135 vs. 115. 

В целом это статистика хорошо показывает, что в среднем все преимущество складывается в среднем в 10-15 розыгрышах за матч.

Да я так и написал, что рабочая модель конечно могла бы быть написана не чисто через LLM 

Astapix @ 13.10.24 

 

Можно сделать поверхностный вывод что, разница между топ-игроком и игроком десятки всего 1-2%. 

Но в реальности статистика Топ-3 учитывает больше матчей с топ-игроками в финалах и полуфиналах. 

 

Чтобы лучше понять логику этой статистику нагляднее всего посмотреть статистику каждого матча. 

За трехсетовик в среднем разыгрывается примерно 150 поинтов. При 54% преимуществе это будет - 81 vs. 69.

За пятисетовый в среднем разыгрывается примерно 250 поинтов. При При 54% преимуществе это будет -  135 vs. 115. 

 

В целом это статистика хорошо показывает, что в среднем все преимущество складывается в среднем в 10-15 розыгрышах за матч.

 

здесь туда же, в том и смысл что да решаетсяв этой небольшой дисперсии.

То есть если учесть подачи и "решающие поинты" то все равно эта разница о 54% против 52% в пятисетовиках должно дать перевес

Astapix @ 13.10.24 

Она упрощает и говорит, что Игрок выигрывает каждый гейм с вероятностью 52%, а потом упрощает, что каждое очко игрок побеждает с вероятностью 52%. 

тут у тебя ошибка, 

"Таким образом, вероятность выигрыша матча для игрока с 52% преимуществом в каждом гейме будет примерно 59%"

можно и проверить но как ты и написал эта модель в одном факторе, который может быть уточнен.

В идеале вообще за игроками следить и знать где и что умеет.

Общий поинт что в бессознательном групповом понимании может быть перекосы в понимании как рандомны короткие встречи и насколько недисперсионны долгие, даже Astapix написав "Она упрощает и говорит, что Игрок выигрывает каждый гейм с вероятностью 52%, а потом упрощает, что каждое очко игрок побеждает с вероятностью 52%. " явно показал что его быстрое я умудрилось пропустить этот накапливающийся эффект от многих повторений

А так много как Надаль на грунте, гонял каждый мяч, подолгу и на одинаковом медленном покрытии, загоняя оппонентов замах, позиция и поворот корпуса влияет, у него относительно предсказуемая техника,

у Феди непредсказуемая техника, по крайней мере справа, 

 видел один "любитель" (бывший чемпион Армении) воспроизводил вполне даже в ветеранском теннисе, очень трудно против такого играть, 

хватка слева одноручников при пиздец каком зрении палится, 

хватка падачи палит обратное вращение, 

а к примеру техника Надаля наоборот очень палевная он сильно разворачивает, сильно накручивает, то есть можно увидеть сильный косой удар, - другое дело что бежать за таким мячом не захочется

странное дело но у Агасси на видео язык в другую сторону, так что вдвойне сомнительно, не говоря уже о том что Агасси не такой уж задрот чтобы видео на кассете смотреть, мог и припездеть) а так "прибитость" к оппоненту решает, иногда заранее известно куда будет бить оппонент, те же гоняльщики по корту, обычно просто бьют туда где тебя нет, 

в книге написано что Агасси своему визави на пьянке🍺 это сказал (после окончания карьеры), что тот аж упал со стула 😁,

думаю в Б.Теннис разобраться во всех этих тонких взаимосвязях, чтобы "бить линию" нужно реально как тот психопат из статьи про рулетку, который без девайсов обыгрывал "бога казино" в https://forum.gipsyteam.ru/index.php?viewtopic=110621&view=findpost&p=7891048 , так надо бы что-нибудь написать про покер 😀

Приехал с ИИ Саммита в Амстердаме, решил поиграть чутка в покер, надо же чем-то семью кормит, поиграл пару часиков в кеш, минусанул, но может рейкбеком получится 2-6 долларов в час сделать. Закрыл

Решил посмотреть что там у Каца и остальных в ютубе происходит, заодно открыл Мистери крутилки на GG-Pokere, благо у меня было 10 билетиков по баксу от предыдущих "посиделок" и БРчик под это

писал о них тут: https://forum.gipsyteam.ru/index.php?viewtopic=175519&view=findpost&p=7811636

специфический формат с большой диспой, но вроде бился, особенно по-началу, 

сейчас вроде перестали совсем уж биться все оппоненты плюс-минус хотя бы правила да выучили.

в какой-то момент глюкнул мой старенький ноут и я его решил перезагрузить при заходе в GG network высветились как-то отдельно мои тикеты,

и среди них высветился "бесплатный депозит 20бб на 1/2 ПЛО6" думаю о прикольно, 

потом все пропало и глюкнуло, заново искал эту хуйню и наконец нашел его, ставлю, меня почему-то докупает до 66 бб и благополучно я теряю свой "бр" на ГГ-Покере пока досиживал до блаиндов 

в нескольких раздачах пока я пытался досидеть круг чтобы выйти из омахи-6, проиграл 40/60 😂

посмотрел найстройки автодокупка не стояла 

какой занимательный тикет, теперь нет БР в этой конторе.

Matrix has you 🤠

Напомнило одну из лекций с ИИ саммита в Амстердаме довольно интересно, 

заодно с Артемом эстонским юристом вживую еще раз встретился, с которым потерпевшим по 3Коммас помогаем, 

Он Криптопроцессингом (!официальным! в том числе для гемблинга в Эстонии занимается, Артем, фонд альтернативный открыл, (пока для европейцев онли) поразительно работоспособный,

Столько пива смог выпить), интересно смог бы он с топами форума потягаться 

Хороший юрист,

Пдбивал меня казино открыть, 🧐с лицензией Кюрасавы 🤣
а он чтобы комплаенсом чтобы занимался, еще удивил вначале что кюрасава 1-3к стоит но потом уточнил и сказал что 10к, 
и предложил тогда поехать на конфу по адалт контенту 😀Так как ИИ хуйня, гембла тоже, может адалт контент будет ебашить, хуй знает. На конференции по AI всё как всегда шилят свои клауды, приватные решения и тп. Из прикольного было: пиво, колесо фортуны от делл и статья про ретеншин на основе профилей в кэнди краш (игра ‘три в ряд’) 

 

там прямо статья ‘научная’ по LLM исследованиям в игровой индустрии

Про увеличение доходности доната на основе ИИ 🙄🤨в фри ту пэй играх

по трезваку тут пиздец конечно какой-то:
https://arxiv.org/pdf/2408.06799

вот если удобней на русском читать: https://docs.google.com/document/d/1UvqWwHadCKiwPR6jGpxg-VX8TrC4Czeuc7_nJguLXV0/edit?usp=sharing

это candy crash "Три в ряд" игра,  В 2014 году в неё играли более 93 миллионов человек, а доход за три месяца, как сообщает King, составил более 493 миллионов долларов поразительно конечно казалось бы простая игра, но когда идет речь о максимизации донатов в путь входит поразительные технологии

Разбивают на группы игроков (недонат/донат/плотный донат)

а потом производят LLM магию, и для искомой группы делают предсказания оптимальных уведомлений

По данным с разметкой, без разметки, контрольной группой и тп "внимательными нейронками" чтобы работой увеличить вовлеченностьи и внедрение в продукт

Компания King из Швеции

Еще были прайваси решения, распознования доков, тканей и машинных дисков, - вообщем толковые были продукты с визуальным распознованием и предсказаниями поведения, Ну и классические истории клаудов, категоризаторы и тп

Вот думаю меня какая-то такая нейронка и уебала показав хуйню, а потом еще и самостоятельно "докупив" до конца моего БР в руме. Чтобы я с большей вероятность сделал депозит или упоминул какой это пиздец GG Poker, так он меня еще не наебывал, бабки конфисковывал, в крысу со стола деньги пиздел, а тут прямо крутое разводилово, еще и сам получается въебал,

играйте на GG Poker только через отдельных аффилейтов, постоянно меняя ники и тваря дичь, otherwise matrix will has you

Margot @ 15.10.24 

странное дело но у Агасси на видео язык в другую сторону

Он мог сказать сторону как с точки зрения самого соперника, так и со своей.

 Дизель, да, но в стори было что он будет указывать куда будет подавать 😀

а тут получается надо отзеркаливать  

так много вопросов и так мало ответов

неужели придется смотреть 🤔

Вы обидеть китай великий партия, мы выслать за вами колобок штурм-машина.

В Китае создали роботизованный бауырсак шар для борьбы с преступниками. Сфера способна передвигаться со скоростью до 35 км/ч, плавать, стрелять сеткой и работать в связке с другими роботами.

А между тем Microsoft Recall Такая мелкая шняжка, которая должна делать скриншот твоего экрана каждые пять секунд? с последним обновлением Windows она вернулась, встроенная прямо в систему как обязательная часть Проводника. Делает ли она уже скриншоты? Скорее всего, пока нет... соурс: https://www.youtube.com/watch?v=jW6b4ObnYMY

Надо ли убавить "+"

или хорошего человека должно быть много "-"

?

Поздравляю игроков безлимитного холдема! 😀

"Официальный канал сообщества Signum Club. Обучение кеш-играм от Стефана (Stefan11222) — игрока мирового уровня и эксперта по хайстейкс.

Здесь вы найдете:

• Короткие фрагменты из уроков и полные записи занятий для более глубокого погружения.  
• Свежие видео с нашего YouTube-канала и анонсы предстоящих стримов.  
• Последние новости и предложения по обучению, а также детальные программы курсов.  
• Графики и отзывы игроков, которые уже достигли успехов.  
• Полезные советы и посты по стратегии и теории покера.

Хочешь учиться в школе Стефана? 
Открыт набор для игроков ЛЮБЫХ лимитов и даже полностью с нуля!

ПОДАТЬ ЗАЯВКУ НА ОБУЧЕНИЕ (https://t.me/exubly)

Подписывайтесь на нас в социальных сетях, чтобы не пропустить новые материалы и обновления:

📱  Twitch (https://www.twitch.tv/s1gnumwins)

📱  YouTube (https://www.youtube.com/@SignumClub)

📱  Stefan Main Channel (https://t.me/SignumWins)

📱  Poker School Channel (https://t.me/signumclub)"

Топовая школа от топового игрока. По сути покерное сообщество получает топовый элитный контент! 

Повезло покеристам!

Смотрю народ играет в 3-1 с обменов довольно лузово, прикинул на коленке спектры, получилось примерно так, правила примерно просты на префлопе 3 каждого игрока три карты, и игрок играет дальше с двумя картами,

к примеру так прибавляет в три раза в весе относительно базовых 0.45%, АА приходят в 1.32% 

получается вес рук значительно смещается благодаря тому, что мы можем выбирать из двух карт на префлопе с чем играем дальше,

 если расставить ранжир обычных хендов, ранжир EV реакции BB vs SB подойдет

три карты превращаются в две на префлопе,

здесь АКс много, но на самом деле от АКо в сторону АКс "не забирается" часть стартеров так как они уходят в АА и КК 😀,
 

стартовый рейнж высчитывается примерно для игры 3+1 перебрать все варианты стартеров Карта(52)*Карта(51)*Карта(50)

1. взять ранжир реакции ББ вс СБ при большом рейке (из обычного покера), расставить их по возрастанию от 1 до 169, где 1 это 72о, а 169 - АА 

2. перебрать все варианты Карта1 с Карта2, Карта1 с Карта3, Карта3 с Карта2, сравнить силу по ранжиру из  пункта один 

3. присвоить числа и сравнить, комбинацию самую сильную, перевести в вид Карманки (ХХ, где х это карты одного номинала, к примеру КК, ДД, АА, ТТ и тп) Одномастной руки, (ХсYс, где Х>Y, и обе карты одной масти АКс,ДВс и тп) Разномастной руки, (вида ХсYс, где Х>Y, и обе карты разной масти АКо,ДВо и тп) 

4. интересно как можно посчитать более точно?

к примеру сильно должны падать по плейабилити, руки типа 222-ААА где X=Y=Z, проседают руки вида АсКсДс, и другие где выброшенная рука является нашим аутов, даже АcКdТs хоть и становится АсКd, но частично теряет своё эквити 

5. Тем не менее после шага 3 мы получаем примерное новое распределение по 169 квадратикам наше и оппонента ожидаемое префлоп распределение,

6. Далее его можно "залочить" на префлопе в симпле и получить ГТО игру.

Так можно получить посчитанную игру 3-1

Думаю игра тайтовая относительно привычных диапозонов, если АА в 2.93 раза чаще, АКс в 8 раз, а АВо всего в примерно в 1.46 раз то интуитивно кажется что спектр должен быть сильно тайтовей, и сильно смещен в сторону карманок и сильного бродвея. также спектр 3бета 4бета "должен быть" из Ах блокеров, также как и все открытия из ранней из обычно индиферентных для открытия рук, их можно локнуть.

7. после первой проверки можно перепроверить четвертый пункт, вероятно А5с-А2с>22-55, впрочем рука может категорический терять если А2с с блокером 2, то становится ли она трешем? или натсовая одномастной категорически повышает плейабилити в такой игре где фиши "перегружены" одномастными руками
 

Такая Веселая игра 😁

Ждём 4 карточный холжем в будущем по аналогии с омахой :)

 Margot, Это австралия,там фишка 0.5$ что то типа