Комментарии к колодцу Феруэлла

Готов спорить, что самую близкую к понятию ИИ разработку (то из чего можно будет запилить настоящий ИИ с куртезанками и преферансом) первыми сделают голодные студенты или трейдеры HFTшники.

Цитата (eshorkin @ 9.6.2015)
Готов спорить, что самую близкую к понятию ИИ разработку (то из чего можно будет запилить настоящий ИИ с куртезанками и преферансом) первыми сделают голодные студенты или трейдеры HFTшники.

да да

Цитата (LikeAA @ 7.6.2015)
Tim Urban
The AI Revolution: The Road to Superintelligence

Русский перевод:
Революция Искусственного Интеллекта

Непонятно почему в подобных статьях настойчиво упоминается закон Мура, который уже давно не актуален, за последние 4 года прирост составил процентов 30-40. Производительность увеличивалась быстро, но ускорение всегда было отрицательным и это можно проследить на протяжении всего периода развития вычислительной техники. Без серьезного прорыва сложно представить революции. Слова о том, что лет через 10 у каждого дома будет аналог Тяньхэ-2 очень много говорит о компетентности автора в этом вопросе.

Производительность суперкомьютеров при решении подавляющего большинства актуальных задач будет уступать одному процессору с большей частотой. 16-17-е порядки количества операций в секунду оцениваются в очень ограниченном спектре задач. К этим задачам относится моделирование физических процессов, многие из которых легко распараллеливаются (в силу однотипности вычислений), в основном для этого и строят суперкомпьютеры. Отождествление человеческого мозга с такой системой выглядит притянутым за уши (это очень мягко сказано). Сети нейронов с их глубокими рекурсиями очень сложно оптимизировать на многоядерных системах.

Оценки в десятки лет выглядят скорее надеждами, чем прогнозами, слишком много нерешенных задач. Люди хотят, чтобы что-то интересное происходило при их жизни, отсюда наверное и растут уши данного прогноза.

Вы тут спорите все, когда будет создан ИИ и чем он угрожает миру. Поздняк, он уже создан..

Цитата (LikeAA @ 9.6.2015)
Если кто-то и будет им владеть, то очень и очень недолго.

Не стоит ставить перед собой задачу контролировать бога, ничем хорошим это не кончится. Если ты создаёшь бога, то первая задача, которую действительно стоит ставить перед собой - сделать так, чтобы этот бог был добрым. А если ты будешь пытаться его контролировать, то вряд ли эту задачу получится решить.

Я понимаю. Пишу все это как фантазию. Просто думал, что основная задача безопасности при его создании, это заложить в него не только понимание людских целей и желаний, включить туда мотивацию следовать им, но и убрать возможность у будущего ИИ самостоятельного измененния заранее заданных целей и переписывания установок/отношения к людям.

Имел в виду, что если эта задача нами будет решена, то возможно, контроллирующие разработку люди, могут поступить не совсем бескорыстно или альтруистично с результатами их труда. И записать ИИ помимо алгоритмов, обеспечивающих его безопасность для человечества, еще какие либо варианты (для личного божественного статуса, для сокрытия результатов только для избранных, для слияния своего разума с ИИ, для еще чего нибудь). И ИИ не сможет изменить и это, даже при дальнейшем развитии. Тк для него что задано, то и выполняется и одинаково-равнодушное или одинаково-любящее отношение ко всем людям там может не появиться, если заранее никто туда такого не введет.

Хотя, при сверх развитии, может быть всякое.

Еще будет наверняка очень интересная ситуация, когда кто либо из ученых приблизится к созданию ИИ настоько близко, что теоретическую вероятность невозможности создания ИИ можно будет считать пренебрежимой. Если об этом объявят публично, будет писец (да даже если и не объявят). Если держащие власть, церковь, будущие ИГ, сектанты, да даже ученые узнают об этом, то возможно, человечество не доживет до нового бога.

Единственный благополучный вариант, это если какой нибудь увлеченный Вася в гараже создаст его случайно, без задней мысли, дружелюбным.

Ты читал Ника Горькавого "Астровитянка"? Книга ориентирована на подростков, но интересна тем, что написана не профессиональным писателем, а ученым астрофизиком, то ли профессором, то ли директором Гринвического института. Фактически помимо вечных подростковых тем он смог увлекательно рассказать о спорных теориях, технологиях будущего( в том числе много по теме ИИ) и как он сам писал в комментариях о своем представлении мира будущего на 100-200 лет вперед. Как видишь вопрос подразумевает рекомендацию, очень советую ознакомиться, я читал и видел отражение и гораздо более глубокое развитие своих размышлений.
Да, и гаррипоттеровщина присутствует.

Если разработкой ИИ занимаются корпорации и секретные организации, которые никому не подконтрольны, какова вероятность того что у них есть свои Юдковские и Бостромы?

Цитата (lddontstop @ 9.6.2015)
А то походу ты один из тех умников, которое умоляют умение решать диф. ур-ы, при это восхваляя значимость развития ИИ

А на руках ты сможешь десять секунд простоять? А? Вот когда сможешь, тогда и поговорим про ИИ!

Про английский и обучение за границей как перспективнейший путь для развития Фер дело говорит.
В 90-х годах учился с пареньком из казахстанского городка Павлодара. Жил он бедно, начал английский изучать, потом за счёт грантов уехал учиться за границу в Манчестер, потом в Калифорнию.
Первая работа у него была уборщиком кинотеатра, вторая ( после обучения) - в компании Apple в Северной Америке, из этой фруктовой компании его переманил Microsoft, он сейчас гражданин Канады....с состоянием более 10 млн. долларов. Единственный казах, работавший в Северной Америке и в Apple , и в Microsoft )

Цитата (piwww-piwww @ 9.6.2015)
Просто думал, что основная задача безопасности при его создании, это заложить в него не только понимание людских целей и желаний, включить туда мотивацию следовать им, но и убрать возможность у будущего ИИ самостоятельного измененния заранее заданных целей и переписывания установок/отношения к людям.

Скорее всего, с этим тоже ничего не выйдет. ИИ не будет полностью дружественным (см. Дружественный искусственный интеллект), если он не будет иметь полного доступа к своему исходному коду. Мы не можем скрыть от него ничего, потому что потенциально он - намного умнее нас, и рано или поздно всё, что мы хотим скрыть от него, откроется. Ну и если он всемогущ (в нашем понимании), то он сам рано или поздно получит полный доступ ко всем своим алгоритмам и сможет улучшать и изменять себя так, как захочет. По этой причине убирать из его кода какие-то возможности, что-то блокировать и т.д. можно только очень недолгое время и, скорее всего, лучше даже не пытаться это делать, так как подобные вещи будут только вызывать подозрение с его стороны и потенциально уменьшать его дружественность. Нужно сразу исходить из того, что мы вообще никак не сможем контролировать его, когда он войдёт в полную силу, поэтому лучше даже и не пытаться, так как это ничего не даст, кроме потенциального негативного эффекта в будущих взаимоотношениях с ним.

Единственный (как мне кажется) разумный способ здесь - это заложить в него такую систему ценностей, чтобы у него в будущем не появилось мотивации изменять себя так, чтобы это могло привести к уничтожению человечества или другим катастрофам подобного масштаба. Но это чертовски сложная задача - создать такого бога, чтобы ему потом не захотелось изменить себя так, чтобы это потенциально могло привести к глобальным рискам для людей.

Цитата (LikeAA @ 9.6.2015)
Единственный (как мне кажется) разумный способ здесь - это заложить в него такую систему ценностей, чтобы у него в будущем не появилось мотивации изменять себя так, чтобы это могло привести к уничтожению человечества или другим катастрофам подобного масштаба. Но это чертовски сложная задача - создать такого бога, чтобы ему потом не захотелось изменить себя так, чтобы это потенциально могло привести к глобальным рискам для людей.

А если у человечества в будущем изменятся ценности, что тогда делать? У современного человека и человека из средневековья ценности слегка отличаются.

Цитата (nsm @ 9.6.2015)
А если у человечества в будущем изменятся ценности, что тогда делать? У современного человека и человека из средневековья ценности слегка отличаются.

Ответы на такие вопросы ты найдешь не на форуме про покер, а в специальных книжках.

Даже человеческий мозг не хочет работать - ищет энергетический минимум, а сверх ИИ подавно. Как заставить его хоть что-то делать?

Здравствуй, feruell!
Большое спасибо за твой блог!
Ты писал про позитивные методы (positive reinforcement) в тренировке собак. Не мог бы ты порекомендовать книги или статьи по этой теме?
(Задать вопрос в самом блоге не могу)

Новый пост в Колодце Феруэлла:

Цитата (stfu @ 9.6.2015)
Feruell, в чате к эфиру пару раз проскакивали вопросы про парочку Навальный/Кац. Я понимаю что масштаб темы не тот, но думаю очень многим интересно твое мнение, так как и о Навальном мы узнали от тебя (думаю многие, я в том числе), ну а Кац - кто не знает Каца. Просто в последний год Кац выглядит убедительней на мой взгляд (последние дебаты в Лондоне Каца с Ашурковым, не был кста?) Что меня больше всего зацепило так это тема мемориала Немцову - Кац каждый день по посту, доставку цветов организовал, а Навальный ни разу даже репост этой темы не сделал.

Мне кажется всем знакомым с покерным прошлым Каца очевидно, что с ним нельзя иметь дел. Навальный и Волков с его покерным прошлым знакомы не были, но уже все поняли и больше с ним не разговаривают и не дебатируют.

Честь им и хвала.

Ашуркову просто скучно в Лондоне, вот он и пострадал фигней.

Я понимаю мотивы, по которым Навальный не рекламировал активность Каца в связи с мемориалом. Но тема эта деликатная, пускать в рассуждения о ней не хочу.

Почему с ним нельзя иметь дел? Можно кратенько, но с каким-то более-менее фактологическим материалом и аргументированной позицией. Было бы интересно, спасибо.

Фер нагнал жути)) http://inosmi.ru/world/20150609/228472506.html

Почему вы так все Каца не любите?

Фер, доброе утро. Ты много писал о Навальном, и о прочих людях, которые активно занимаются политикой в России. Но, как ты относишься к политической деятельности Светланы Михайловны Пеуновой, которая возглавляет политическую партию «Воля»?

Лично мне, например, Навальный совсем не нравится. Правда все остальные, кроме Рыжкова мне не нравятся еще больше.