Комментарии к колодцу Феруэлла

Цитата (ZiingRR @ 18.12.2018)
(Суть: вероятно, консенсуса по вопросу, когда будет создан ИИ, не предвидится до самого его создания; всегда найдутся те, кто будет уверять, что до ИИ ещё далеко, даже когда это не так. Так что, сама по себе, неопределенность таймлайнов - не повод откладывать работу над безопасностью)

меня ещё во время прошлой итерации по этому поводу мучил вопрос: если нет и возможно не будет консенсуса (=почти никто не знает, как будет создан ИИ), то как работать над безопасностью?

Вообще в проблеме с ИИ не нравится слишком большое количество неопределённостей.
Можно ли создать такой ИИ? Если да, то когда? Как? Будет ли он опасен? Можем ли мы вообще что-то сделать? Как? Ни на один из этих вопросов я пока ни разу не видел чёткого обоснованного ответа (философия не в счёт). Зато видел призывы скинуть бабло.

Интересное обсуждение. С одной стороны, это примерно также, как если бы люди во времена алхимиков собирали деньги на исследования уровня "чтобы ядрёна бомба не рванула". С другой стороны, рванула ведь. Если бы и собирали, помогло бы это жителям Хиросимы?
Знания человечества в плане AI пока на уровне алхимии. Но время сейчас течёт, конечно, гораздо быстрее, чем 1000 лет назад. Не понятно, что будет.

Но есть одна вещь, которая известна на 100%. Если скинетесь даже по соточке, то почувствуете себя знающими и просвещёнными. Членами элитного клуба. Ни чета идиотам и неудачникам, которые носят мандарины в детские сады.

(видео особенно интересно с 11 минуты, комментарии тоже очень показательные)
P.S. Если бы выпустили копеечный значок с маской Дарта-Вейдера и буквами MIRI, дело пошло бы лучше.

Почему всех так корёжит от того, что кто-то решил распорядиться своими деньгами по своему усмотрению

Цитата (Okten2018 @ 19.12.2018)
Почему всех так корёжит от того, что кто-то решил распорядится своими деньгами по своему усмотрению

Могу описать свои ощущения. Меня нисколько не корёжит от того, как человек решил распорядиться своими деньгами. Более того, считаю инициативу изучения "дружественности AI" важной и полезной. Человечество должно задумываться на тем, что оно делает, в том числе и с этой точки зрения.

Не корёжит, но вызывает брезгливость фразы про "протухшие мандарины", другие благотворительные инициативы и организации, причисление себя к "людей, понимающих, что нужно делать" и дешёвые манипуляции.

x3nn0v,
Делать. Снять для начала розовые очки, и идти ебашить во благо своим целям. Ну аж если твоя цель " спасать челевечество" - спасай ради бога. Но зачем призывать "спасать" других,при этом используя детские манипуляции, разного рода софизмы и свой " авторитет", который после таких постов,попадает под сомнения. Автор в плане покера компетентный,спору нет, но это не делает его автоматически компетентным в других сферах жизни. После прочтения его поста,и второго чела(с кем они собирают "пожертвования на храм"), я задался вопросом : " адекватны ли эти люди?"
ПС : после прочтения коментов, убежден что АИ победил уже больше половины людей,лол.

Каждый сам решает как тратить свои деньги, но
Очень советую перед донатом пройтись по ссылкам и изучить на что расходуются средства. Возможно, лично вас что-то не устроит или вдохновит.

Цитата (feruell @ 17.12.2018)
Мощь технологий растет каждый год, а управляют миром примерно те же люди, что допустили вторую мировую, холокост и все остальное прочее. Глупые, жадные, не видящие дальше своего носа. Психопаты тоже никуда не делись.

Так это просто плохие капиталисты, нужны хорошие.

Цитата (feruell @ 17.12.2018)
те же люди, что допустили

Ага, как же это они такое допустили

Цитата (eST @ 19.12.2018)
С одной стороны, это примерно также, как если бы люди во времена алхимиков собирали деньги на исследования уровня "чтобы ядрёна бомба не рванула". С другой стороны, рванула ведь.

Или как если бы во времена алхимиков собирали деньги на исследования инопланетных угроз . С другой стороны, пока таковых не произошло.
Мне кажется, проблема такой аналогии заключается в том, что сценариев конца света дофигища, а сработать может только один. И если собирать деньги на каждый из возможных концов, то денег на жизнь может не остаться.

Цитата
Или как если бы во времена алхимиков собирали деньги на исследования инопланетных угроз . С другой стороны, пока таковых не произошло.

Потому и не произошло

Цитата (feruell @ 18.12.2018)
Есть и такие попытки.

Где лучше узнать подробности таких попыток?

Ещё раз на всякий случай апну вопрос:

Цитата (Okten2018 @ 7.12.2018)
feruell, напиши пожалуйста новый список литературы. ты уже давно ничего нового почитать не советовал. И еще интересно за какими людьми ты сейчас наблюдашь? Я от тебя узнал о таких людях как Юдковски, Маск, Бостром. Я Бострома перечитал, на Юдковски подписан в твиттереи в фесбуке, Может еще кого-то посоветуешь? Спасибо.

Новый пост в Колодце Феруэлла:

Про мандарины я кстати неудачно выразился, так как не развернул мысль. Дело не в том, что я такой бесчувственный, просто я много раз читал, что такая помощь не эффективна и даже вредна. Но многие не знают, поэтому было видимо воспринято негативно.

Вот например президент благотворительного фонда "Волонтёры в помощь детям-сиротам" Елена Альшанская рассказывает о том, почему не нужно дарить детям из детских домов игрушки и дорогие подарки на Новый год:

Цитата
У нас всего чуть больше 100 000 детей живёт в детских домах. Они живут там, потому что их родителям вовремя не помогли. Потому что у детей тяжёлая инвалидность и у семьи, кровной или приёмной, недостаточно поддержки. Живут с очень сомнительными перспективами после выхода. С низким уровнем образования, самооценки, большим страхом мира, который их, скорее всего, не очень дружелюбно примет. И уже не подарит ни Барби, ни айфон. Они выходят без багажа отношений и знаний в мир, который перестаёт воспринимать их как сироток, заслуживающих новогоднего подарка.

Всегда думаю о том, что если бы в один-единственный Новый год люди потратили средства только на системную и правильную помощь, позволяющую ребёнку выйти из детского дома в родную или приёмную семью или же в самостоятельную жизнь с поддержкой, они изменили бы всё.

Но, увы, всё будет как всегда: сотни сборов на подарки для Мишеньки и Машеньки. Судьба которых с куклой и машинкой в руке, стоящих в своём детском доме после ухода очередных промелькнувших взрослых, уже мало кому будет интересна.

"Не покупайте улыбку одинокого ребёнка в обмен на вещь. Не делайте это с ним. Нельзя помогать так, как удобно тебе, как хочется тебе. Не думая о последствиях для того, кому помогаешь. Не думая о реальных потребностях тех, кому помогаешь. Тогда это не подарок им. Это подарок себе".

SweetBlood,

Scott Alexander, gwern

Цитата (feruell @ 19.12.2018)
Всегда думаю о том, что если бы в один-единственный Новый год люди потратили средства только на системную и правильную помощь, позволяющую ребёнку выйти из детского дома в родную или приёмную семью или же в самостоятельную жизнь с поддержкой, они изменили бы всё.

Звучит как "не дарите ничего детям, отдайте лучше в фонд".

А что, действительно можно деньгами помочь ребенку найти семью? Если не хотите мандарины дарить давайте делать на каждого ребенка счет и копить нал там, чтобы у него база для старта хоть какая-то была. Вроде лучше чем ваша с Ромео идея как по мне.

Или например как он
https://www.sports.ru/tribuna/blogs/golovin/2226776.html (ближе к концу)

Хотя он кстати тоже против мандаринов и за систему.

Deel, на детей в детских домах открыты счета, по крайней мере тех, у кого есть родители, лишенные родительских прав и обязанные выплачивать алименты. Конечно, далеко не все такие родители выплачивают алименты, но все что выплачено копится на таком счете ребенка и после выпуска из детского дома в 18 лет ребенок может этими деньгами пользоваться. Другая проблема в том, что большинство начинают тратить эти деньги направо и налево без разбора, а еще немалое количество таких 18-летних детдомовцев разводят на эти деньги особо предприимчивые дяди и тети.

Цитата (feruell @ 19.12.2018)
Про мандарины я кстати неудачно выразился, так как не развернул мысль. Дело не в том, что я такой бесчувственный, просто я много раз читал, что такая помощь не эффективна и даже вредна. Но многие не знают, поэтому было видимо воспринято негативно.

Вот например президент благотворительного фонда "Волонтёры в помощь детям-сиротам" Елена Альшанская рассказывает о том, почему не нужно дарить детям из детских домов игрушки и дорогие подарки на Новый год:

Так может корень проблемы то в том, что люди проживают не в своём государстве? Что их права - равны 0,(0)? Что на интересы и потребности 90% населения положен огромный трёхбуквенный прибор? Что выбор у гражданина один - сдохнуть от нищеты?
Открою небольшой секрет - в государстве, созданном и поддерживаемым людьми для самих себя, благотворительность вообще не нужна.

Т.к. тут модно-стильно-молодёжно, да и, вообще, является правилом хорошего тона делиться различными книгами, как пример:
Остром Э. "Управление общим. Эволюция институций коллективного действия", искать в переводе Монтян Т.Н., т.к. есть более старый перевод и он выполнен менее качественно (есть также и на украинском языке: "Керування спільним. Еволюція інституцій колективної дії"). Оригинал также никто не отменял: "Governing the Commons: The Evolution of Institutions for Collective Action".

Цитата (feruell @ 19.12.2018)
Новый пост в Колодце Феруэлла:

Про мандарины я кстати неудачно выразился, так как не развернул мысль. Дело не в том, что я такой бесчувственный, просто я много раз читал, что такая помощь не эффективна и даже вредна. Но многие не знают, поэтому было видимо воспринято негативно.

Фер, извини, но бредятину написал. У ребенка несчастное детство в детском доме, кто из него вырастет, как он будет смотреть на окружающий мир. А если он ни разу в жизни не ел мандарины, шоколадки или не игрался в компьютерные игрушки. И вот он подрастает и видит вокруг, что у всех вокруг этого было завалом, а он даже не знает, какого оно.
Ну или взять детские воспоминания, самые яркие. 10 раз серьезно наказывали за шалости, 10 раз получал конкретных пиздюлей, а положительные воспоминания где ? 10 раз сам дал кому-то пиздюлей и получил удовольствие ? Пара мандаринов раз в год может стать воспоминанием на всю жизнь

Ну вы серьёзно? мандарины не едят? они на гос. обеспечении.
Возможно не едят вдоволь, или не могу попросить что съесть завтра. Но питаются они, скорее всего, не хуже чем обычные дети.
http://www.garant.ru/products/ipo/prime/doc/71670374/
Про подготовленность к миру. Тоже довольно спорно. Они наоборот из-за того что раньше сталкиваются с трудностями куда "зубастее" и "прошареннее" тех кто вылазит из-под юбки у мамы в 21 год и получает по голове суровой реальностью.
Про стартовые условия:
Помниться мне что у них на поступления в вузы квоты.
В 18 дают квартиры/комнаты в собственность, да власти на местах зачастую сами обманывают. Но кого сейчас не хотят кинуть на то или иное.

ConstOr, Нет таких людей, которые могут дать четкие ответы на действительно серьезные вопросы

Цитата (FerrumGT @ 20.12.2018)
Про подготовленность к миру. Тоже довольно спорно. Они наоборот из-за того что раньше сталкиваются с трудностями куда "зубастее" и "прошареннее" тех кто вылазит из-под юбки у мамы в 21 год и получает по голове суровой реальностью.

Не знаю, насколько стоит доверять этой статистике, но по крайней мере она соответствует моим наблюдениям (expert.ru):

Цитата
Ежегодно из детских домов России во взрослую жизнь, как в космос, выходят более 20 тысяч человек. Дальнейшая их судьба предельно понятно изложена языком прокурорской статистики: 40% в первые же годы попадают в тюрьму, еще 40% становятся бездомными, 10% кончают жизнь самоубийством. Оставшиеся 10% — это «условно успешные», то есть те, кто не доставляет особых хлопот государству.

Это называется "подготовленность к миру"?

Цитата (ConstOr @ 18.12.2018)
Вообще в проблеме с ИИ не нравится слишком большое количество неопределённостей.
Можно ли создать такой ИИ? Если да, то когда? Как? Будет ли он опасен? Можем ли мы вообще что-то сделать? Как? Ни на один из этих вопросов я пока ни разу не видел чёткого обоснованного ответа (философия не в счёт).

Не думаешь, что это свойственно любым сложным проблемам? Представь себя за двадцать лет до создания первой паровой машины, самолёта, атомной бомбы, антибиотиков, компьютера, интернета. Были тогда "чёткие обоснованные ответы" на аналогичные вопросы, которые ты бы не счёл "философией"?

На мой взгляд, на два вопроса (можно ли создать ИИ и будет ли он опасен) ответ очевидно "да". Ну реально, нет никаких оснований считать, что человеческие способности хоть сколько-нибудь близки к максимально возможным. Что белковые структуры - это оптимальный способ закодировать алгоритм нашего мышления. Возможно, ты считаешь такие рассуждения "философией". Но тогда повторю вопрос из первого абзаца.

На вопросы "как" ответа пока быть и не может - ведь задача в том и состоит, чтобы эти ответы найти. "Давайте не будем думать на проблемой, пока не придумаем как её решать" - вряд ли ты это имеешь в виду.

Вопрос сроков и возможности в принципе что-то сделать - тут согласен, это сложно оценить. Возможно, приоритетность задачи не такая уж и высокая. Ну так речь и не идёт о каких-то огромных суммах.

Как по мне, миллиарды долларов на борьбу с глобальным потеплением - это настолько низкая планка осмысленности расходов, что её трудно не превзойти.