В этой теме обсуждаются посты из колодца Феруэлла.
Если вы хотите задать ему новый вопрос, напишите его в колодце
Если вы хотите задать ему новый вопрос, напишите его в колодце
-
-
-
Nameless00, Вроде, самый мощный суперкомпьютер отстает лишь на порядок от распространенной оценки производительности мозга в 1 эксафлопс.
Единичный процессор - на 6-7 порядков. -
Цитата (Nameless00 @ 12.10.2016)
Ну так "железо" у человека пока что получше чем у компьютера.
Причем, считается, драматически получше.
Типа на 3 порядка пока уступаем.
Но ты не учитываешь какие гигантские потоки информации (как внешней, так и внутренней) принимает и анализирует человек каждую секунду и насколько мозг загружен обработкой этой информации, кроме игры в шахматы. Так что у компьютера в решении таких узкоспециализированных задач, как игра в шахматы, явное преимущество. -
-
-
Цитата (Khishtaki @ 12.10.2016)
Zedmor ты пишешь разумные вещи, но point Феруэлла вовсе не в том, о чём ты пишешь. Существует отдельная опасность: создание завода по производству скрепок, которому забудут создать граничные условия,
Я не хочу показаться нескромным, но я думаю что прочитал всю доступную полемику по данному вопросу. Я прекратил играть в покер практически уже как 5-6 месяцев, хотя прошлый год был лучшим в моей карьере, и все доступное время посвящаю тому, чтобы через пару лет стать инжинером в этой отрасли. Понятно, что я не авторитет, но чуть-чуть заглянул за границы популярного в сторону того как оно действительно работает.
Этот локальный риск, с моей точки зрения, очеловечивание проблемы. Мы - люди, не умеем мыслить в глобальных категориях, сама идея эволюции нам непонятна, так как наш опыт сосредоточен на 2-3 поколениях, а история уходит вглубь на 120 поколений всего, поэтому мышление на уровне эволюционном нам слабо доступно. Отсюда и очеловечивание агента. Не в том примтивном смысле, что агент будет иметь целепологание похожее на наше или непохожее но тем не менее. Очеловечивание в том, что в принципе это целеполагание будет существовать. То есть подход Бострома и ко магически-алхимический по сути, некий волшебник в башне из слоновой кости создает некого "джина" и этот джин выходит из под контроля и начинает все уничтожать, т..к его целеполагание не совпадает с нашим или вообще наше не учитывает. Этот подход настолько наивен, как может быть наивен взгляд любого умного человека, который только со стороны наблюдает вопрос.
То, что я тут несколькими примерами пытаюсь показать, это что внешний, нечеловеческий интеллект начинает занимать все большее и большее место в мире, просто потому, что выполняет функции, которые выполнял человек все лучше и лучше.
И тот момент, когда общая "сила" интеллекта превысит человеческую пройдет абсолютно незаметно.
Ведь никто не пойдет больше к турагенту, не будет спрашивать совета у конкретного эксперта, а пойдет на квору, вместо чтения книги будет изучать общее распределенное знание. С ручным трудом все понятно, но и профессии врача, юриста, педагога скоро отойдут в прошлое и для этого не нужен будет какой-то определенный агент.
Моя мысль в том, что, конечно, конец человечества и тотальная доминация созданных человеком систем неминуема, но это вряд ли будет какой-то "агент" по оптимизации чего либо, это будет скорее окружение, которое будет заменять человека во всем в чем сможет, пока не заменит и его самого и это произойдет задолго до того, как вопрос о контроле над paperclip maximizer-ом вообще встанет, но даже если случится некий локальный прорыв и вот и правда некий агент появится, то это ровным счетом ничего не поменяет.
Не существовало "последнего неандертальца" вот что я хочу сказать. ;) -
Zedmor, а чем, на твой взгляд, будут заниматься люди, когда ИИ вытеснит человека из большинства экономических процессов?
-
Кстати, когда ИИ поработит человечество, то Феруэлла, Констора Айшилда и прочих рационалистов он уничтожит за ненадобностью (потому что он и сам такой же, но лучше), а Иова, Имбафера, меня и прочих поклонников философии и эстетики оставит для экспериментов и развлечения :)
И в этом смысле, получается, что истинные рационалисты-то это как раз мы! -
Цитата (paravozek @ 12.10.2016)
Zedmor, а чем, на твой взгляд, будут заниматься люди, когда ИИ вытеснит человека из большинства экономических процессов?
Оптимисты говорят, что будет "полдень 21век", пессимисты, что просто перестанут рожать и уменьшатся до какой-то минимальной популяции, которая будет жить в условном "парке развлечений". А что делал бы условный "общий предок" (это от которого и мы и шимпанзе произошли) если бы сохранился бы в реальности? Ну жил бы где-то там в джунглях, но кому какое было бы до него дело? Это же уже была бы не его цивилизация. Этот вопрос меня тоже интересует, надеюсь, что удастся посмотреть ;) -
Цитата (Zedmor @ 12.10.2016)
Очеловечивание в том, что в принципе это целеполагание будет существовать.
Назови, пожалуйста, пример современной программы в области искусственного интеллекта, в которую не заложена какая-то оценочная функция, которую программа стремится максимизировать.Цитата (Zedmor @ 12.10.2016)
Ведь никто не пойдет больше к турагенту, не будет спрашивать совета у конкретного эксперта, а пойдет на квору, вместо чтения книги будет изучать общее распределенное знание. С ручным трудом все понятно, но и профессии врача, юриста, педагога скоро отойдут в прошлое и для этого не нужен будет какой-то определенный агент.
Моя мысль в том, что, конечно, конец человечества и тотальная доминация созданных человеком систем неминуема, но это вряд ли будет какой-то "агент" по оптимизации чего либо, это будет скорее окружение, которое будет заменять человека во всем в чем сможет, пока не заменит и его самого
Я согласен почти со всей цепочкой, но откуда берётся конечный вывод? Почему человека должно что-то заменить? Ну пусть программы решают все наши материальные проблемы. Это же не помешает людям играть в футбол,смотреть "Дом-2"- просто делать то, что им нравится, и любить друг друга. Обычные любители шахмат продолжают играть и получать от этого удовольствие, и появление мощных компов ничего тут не изменило.
Но для этого нужно, чтобы описанное тобой "ИИ-окружение" согласовывалось с тем, что мы, люди, любим и ценим. Ну и согласовывалось с самой возможностью остаться в живых.
Неужели ты не можешь придумать мир, в котором существует всемогущий (в рамках физических законов) сверхчеловеческий интеллект, но который при этом действует так, что тебе хочется в этом мире жить? Действует так, потому что он был так запрограммирован? Неужели не стоит постараться именно так его и запрограммировать?
Ты всё приводишь пример неадертальцев. Но есть одно отличие - у неандертальцев не было шанса создать сапиенсов такими, какими неандертальцы хотели бы их видеть. А у человечества этот шанс есть. Ты же, по сути, предлагаешь просто забить на этот шанс и сдаться. -
Согласен с Zedmor. Это не будет апокалипсис, а будет процессом эволюции. Но как я понял feruell волнуется о том, чтобы это не стало как раз таки апокалипсисом, как в том примере с заводом и скрепками Khishtaki. Когда у системы основная цель вэлью, а человечество мешает максимизации его. -
Цитата (Khishtaki @ 12.10.2016)
И в этом смысле, получается, что истинные рационалисты-то это как раз мы
Кстати, когда ИИ поработит человечество, то Хиштаки и прочих истинных рационалистов он уничтожит за ненадобностью (потому что он и сам такой же, но лучше), а поклонников алкоголя, шлюх и наркотиков оставит для экспериментов и развлечения :)
И в этом смысле, получается, что истинные-истинные рационалисты-то это как раз они! -
Цитата (БоевойСлон @ 12.10.2016)
Назови, пожалуйста, пример современной программы в области искусственного интеллекта, в которую не заложена какая-то оценочная функция, которую программа стремится максимизировать.
Так это способ, а не цель. Максимизация это всего лишь один из (не единственный) методов достижения результата для алгоритма. Моя мысль в том, что это не то, чего стоит опасаться тем, кто думает о судьбе человечества.Цитата
Я согласен почти со всей цепочкой, но откуда берётся конечный вывод?
Но для этого нужно, чтобы описанное тобой "ИИ-окружение" согласовывалось с тем, что мы, люди, любим и ценим. Ну и согласовывалось с самой возможностью остаться в живых.
Контроль теряется вот что происходит. Когда мы отдаем нашу цивилизацию алгоритмам автоматически утрачиваем контоль, шаг за шагом, но наступит тот момент, что мы не сможем ничего уже сделать.
Слушай, у нас же нет ненависти к животным, но мы не признаем за ними особых прав и более того мы легко и непринужденно управляем их поведением, т.к. интеллектуально выше их. Ровно также человеческий интеллект прекратит быть доминантным в мире вот и все.
Какая разница будем мы живы или нет уже, это будет неважно. Никакой речи о "программировании" не идет вообще, системы будут усложняться до той степени, когда человек уже вообще не сможет разобраться ни как они функционируют, ни как управляются и поведение человека с точки зрения этих систем будет предсказано и учтено до малейших деталей.
И нет, жить в таком мире мне будет страшно - каждый мой шаг будет просчитан, мое поведение полностью определено, мне скажут "ап" и я должен на тумбочку залезать? Хрен знает, мне наверное и иллюзию могут создать что это не так. Если иллюзия будет то ок, я согласен ;)
У тебя тоже тут мышление не эволюционное, а то, что типа кто-то будет что-то "программировать".Цитата
Ты всё приводишь пример неадертальцев. Но есть одно отличие - у неандертальцев не было шанса создать сапиенсов такими, какими неандертальцы хотели бы их видеть. А у человечества этот шанс есть. Ты же, по сути, предлагаешь просто забить на этот шанс и сдаться.
Мысль не в том, что неандертальцы неудачники и если бы они могли то... Идея в том, что эволюция это сила, которая убрала неандертальцев и ровно та же эволюция уберет и нас с тобой. Эволюции в общем-то все равно, и попытки ее остановить это все равно что ложкой море черпать.
По поводу веры в человечество - извините, но: http://varlamov.ru/423151.html - самые счасливые люди на земле, есличо. -
-
Nameless00, но они существовали в одной экологической нише с сапиенсами.
В случае ИИ это не очевидно. -
Цитата (Zedmor @ 12.10.2016)
Так это способ, а не цель. Максимизация это всего лишь один из (не единственный) методов достижения результата для алгоритма.
Так мне и интересно, какие ещё сейчас используются или хотя бы обсуждаются методы, в которых в конечном счёте не заложена максимизация целевой функции / минимизация ошибки.Цитата (Zedmor @ 12.10.2016)
Хрен знает, мне наверное и иллюзию могут создать что это не так. Если иллюзия будет то ок, я согласен ;)
Более того, это может быть даже и не иллюзией. Ты, как программист, можешь знать, что ИИ не контролирует тебя полностью. Потому что он так запрограммирован.
Но источник разногласия понятен:Цитата (Zedmor @ 12.10.2016)
Контроль теряется вот что происходит. Когда мы отдаем нашу цивилизацию алгоритмам автоматически утрачиваем контоль, шаг за шагом, но наступит тот момент, что мы не сможем ничего уже сделать.
Никакой речи о "программировании" не идет вообще, системы будут усложняться до той степени, когда человек уже вообще не сможет разобраться ни как они функционируют, ни как управляются и поведение человека с точки зрения этих систем будет предсказано и учтено до малейших деталей.
Правильно, и именно поэтому Юдковский и прочие бьют тревогу и пытаются уже сегодня разработать математические методы, которые позволят нам контролировать результат работы алгоритмов, несмотря на то, что эти алгоритмы будут "умнее" нас.
Возьмём, к пример игру в Омаху 1 на 1. Мы знаем, что у неё есть ГТО-решение, и оно нам точно неизвестно. Но мы можем доказывать теоремы об этом решении. Мы можем описать очень многие свойства этого ГТО-решения. Когда компы найдут это решение, мы может и не сможем точно разобраться, почему они делают тот или иной рейз или колл. Но мы будем знать, что они никогда не снесут натс и не заколят на ривере со слабейшей возможной рукой. И мы будем знать много чего ещё. Потому что у нас есть математическая теория, которая описывает поведение этих компов.
Как бы ни были сложны будущие алгоритмы, всё равно они все в итоге будут брать начало в некотором исходном коде, написанном человеком, пусть даже через длинные цепочки самоусовершенствования. И можно попытаться сейчас разработать математические теории, которые позволят нам писать такие коды, которые будут сохранять нужные нам свойства через любое количество итераций самообучения и самопереписывания. Потому что эти инварианты будут математически доказаны. И одним из таких инвариантов вполне может быть "отказ" ИИ от полного контроля за человечеством. И тогда это не будет иллюзией, это будет математической теоремой.
Так вот, ты фактически исходишь из того, что это сделать невозможно. Да и сам Юдковский называет свою миссию "do the impossible". Но попытаться-то можно. -
Цитата (БоевойСлон @ 12.10.2016)
И одним из таких инвариантов вполне может быть "отказ" ИИ от полного контроля за человечеством. И тогда это не будет иллюзией, это будет математической теоремой.
Так вот, ты фактически исходишь из того, что это сделать невозможно. Да и сам Юдковский называет свою миссию "do the impossible". Но попытаться-то можно.
Понял твою мысль, Юдковский мне видится фантазером в таком случае. Да даже если это и было бы возможно даже теоретически, что никак не согласутеся с моим пониманием проблемы, но не будем забывать что я просто студент, интересно было бы услышать специалистов, но не о том речь, даже допустив это в реальности, не надо забывать что на сегодня человечество управляется в основном жаждой наживы и власти (человеки же, чо), поэтому если я работая в гугле разработаю систему, которая заставит людей покупать зубную пасту Х на 10% чаще мне дадут денег и повысят в должности, а мой отдел будет получасть миллионное финансирование, а вопрос контроля интересен примерно также как особенности размножения пингвинов в антарктиде.
То есть да, ты где-то можешь получить на это дело грант... в 20 тысяч в год. Удачи тут что-то контролировать, когда у тебя просто не будет ресурсов. Эффективность такой деятельности по контролю все равно что с плакатом "не регистрируйтесь в фейсбуке" на площади стоять. И то у последнего может быть и побольше ;) -
Цитата (БоевойСлон @ 12.10.2016)
Как бы ни были сложны будущие алгоритмы, всё равно они все в итоге будут брать начало в некотором исходном коде, написанном человеком, пусть даже через длинные цепочки самоусовершенствования.
Пока все выглядит так, что логические выводы хорошо развитого разума диктуются не столько его архитектурой, сколько особенностями нашего мира.
То что делает Юдковский - похоже на разработку специализированной вычислительной архитектуры, которая может вычислять все алгоритмы, кроме одного ('убить всех человеков'). В общем случае, эта задача не выглядит решаемой. Способность устройства к вычислительным операциям, как я понимаю, говорит о том, что на таком процессоре может быть реализован любой алгоритм. -
Цитата (paravozek @ 12.10.2016)
Пока все выглядит так, что логические выводы хорошо развитого разума диктуются не столько его архитектурой, сколько особенностями нашего мира.
То что делает Юдковский - похоже на разработку специализированной вычислительной архитектуры, которая может вычислять все алгоритмы, кроме одного ('убить всех человеков'). В общем случае, эта задача не выглядит решаемой. Способность устройства к вычислительным операциям, как я понимаю, говорит о том, что на таком процессоре может быть реализован любой алгоритм.
Ну да судя по тому, что я слышал он хочет Тьюринга с Шеноном запретить. Ну это... эээ... смело. Вот ;)
1 человек читает эту тему (1 гость):
Зачем регистрироваться на GipsyTeam?
- Вы сможете оставлять комментарии, оценивать посты, участвовать в дискуссиях и повышать свой уровень игры.
- Если вы предпочитаете четырехцветную колоду и хотите отключить анимацию аватаров, эти возможности будут в настройках профиля.
- Вам станут доступны закладки, бекинг и другие удобные инструменты сайта.
- На каждой странице будет видно, где появились новые посты и комментарии.
- Если вы зарегистрированы в покер-румах через GipsyTeam, вы получите статистику рейка, бонусные очки для покупок в магазине, эксклюзивные акции и расширенную поддержку.
Как раз по шахматным программам я информирован очень неплохо и интересуюсь этим вопросом достаточно давно (даже занимался разработкой когда-то).
Конечно же, хорошая оценочная функция при прочих равных будет давать преимущество. Но все равно - основная сила современных шахматных программ именно в железе: или не согласен?
P.S. А вообще я имел ввиду, что не совсем корректно оценивать интеллект человека по силе игры шахматных программ.