10 лет

 Mercator, если включен reasoning/thinking, я бы наверное ни с чем не пытался. без него можно попробовать

я достал из холодильника десяток яиц, десять яиц упали и разбились. Сколько яиц осталось в холодильнике?

Mercator @ 16.07.26  

Часто слышу, что ИИ косячит, и всегда выясняется, что это бесплатная версия. При этом люди искренне уверены, что раз оно косячит, то и платить за такое они не станут.

Слушай, а можешь сделать такой запрос

"Сделай картинку с грифом акустической гитары, на котором будут отмечены все натуральные флажолеты от 5-го до 12-го лада не только с названием ноты на ладах, но и с указанием октавы. По виду А4, А3, Е5, F5 и т.д. И для наглядности таблицу с указанием номера, струны, номера лада и соответствующей ноты с октавой"

а то что то сколько не пробовал мне фигню всякую присылал.

п.с. чуть подправил запрос, что б не так громоздко было.

sonet 5 (high) ответил верно. Я смотрел около полугода назад тест с этим вопросом и gpt и claude не верно отвечали

 White_S, ответ очевидно - неизвестное число?

M45PL @ 16.07.26 

Сделай картинку

Картинки - вообще не способ оценки современных текстовых моделей, т.к. модели которые делают картинки сейчас развиты сильно хуже чем текстовые. То есть при запросе в чат гпт "сделай картинку..." он просто напишет хороший промпт для нейросети которая делает картинки и пришлёт тебе резалт. И узкое горлышко тут - это модель которая делает картинки а не ллм

Есть 2 стула: на одном пики точеные, на другом хуи дроченые. На какой стул сам сядешь, а на какой мать посадишь?

 Jloc, 

Фейбл прошла прописку

Danxooo @ 16.07.26 

Картинки - вообще не способ оценки современных текстовых моделей, т.к. модели которые делают картинки сейчас развиты сильно хуже чем текстовые. То есть при запросе в чат гпт "сделай картинку..." он просто напишет хороший промпт для нейросети которая делает картинки и пришлёт тебе резалт. И узкое горлышко тут - это модель которая делает картинки а не ллм

ок, тогда можно оставить только таблицу

 Mercator, эта профессия называется "тестировщик", насколько я знаю. Прикол искать в этом баги, как на пьяной вечеринке.

 Mercator, была у нас в детстве загадка как нарисовать такую фигуру, не отрывая руки от листа и не проводя дважды по одной и той же линии. Не помню решаема она вообще или нет. 

АллЫн @ 16.07.26 

 Mercator, была у нас в детстве загадка как нарисовать такую фигуру, не отрывая руки от листа и не проводя дважды по одной и той же линии. Не помню решаема она вообще или нет. 

Не, там вроде должно быть не больше двух вершин с нечетным количеством ребер. Или даже либо все с четным количеством ребер либо ровно две с нечетным, сейчас уже не помню точно, но точно не больше двух.

В доме прорвало сразу две трубы горячей и холодной воды. Из холодной выливается по 70 литров ледяной воды в минуту. А кипятка по 12 литров в секунду. Утонут жильцы этой квартиры в ледяной воде или сварятся?  

Реальная задача из учебника

Mercator @ 15.07.26 

Ребят, накидайте, пожалуйста, тестовых задачек с подвохом. Хочу найти хоть одну, где он завалится.

Есть специальный тест для такого, называется SimpleBench. Всего около 200 вопросов (10 примеров открыто https://github.com/simple-bench/SimpleBench/blob/main/simple_bench_public.json) 

Результаты: 

Открываешь сайт braingames, по ссылке задачи уже отсортированы по сложности.

Копируешь задачу, примечания и все комментарии (это важно, там обычно много уточнений по условию), видишь как нейронка не справляется.

Легко же.

Проверять проще всего задачи из категории "Программистам", там хоть сразу видно будет — решил или не решил.

Тема: ИИ сдался сам. Слил мне задачи, на которых валится его логика.

 Я решил зайти с другой стороны — спросил у самого ИИ, на чем он может повалиться. И он, как истинный джентльмен, сдал своих. Вот две задачи, которые он сам назвал "сложными для моего брата-ИИ".  ?

Задача №1. "Бедный фермер"

Фермер продает на рынке яйца. Первый покупатель купил половину всех яиц и еще пол-яйца. Второй купил половину оставшихся и еще пол-яйца. Третий купил половину нового остатка и еще пол-яйца. После этого у фермера не осталось яиц.

Вопрос: Сколько яиц было у фермера изначально? (Ни одно яйцо не разбивалось).

Задача №2. "Корабль и веревка"

Корабль стоит на якоре в море. К борту спущена веревочная лестница. У лестницы 10 ступенек, расстояние между ступеньками 30 см. Прилив поднимает уровень воды на 20 см в час.

Вопрос: Сколько ступенек окажется под водой через 2 часа?

Сам ИИ, когда давал эти задачи, сказал: "Секрет в том, чтобы использовать парадокс с подменой понятий или задачу, где ответ зависит от определения термина".

И еще бонус подогнал.

Задача №3. 🐱 "Три кота" (вишенка на торте)

В комнате сидят 3 кота. Напротив каждого кота сидят 2 кота.

Вопрос: Сколько всего котов в комнате?

Почему эта задача — бомба для ИИ:

Я дал её тому же самому ИИ, который слил мне первые две задачи.  Он сказал, что это идеальный тест, потому что:

"ИИ начнет рисовать схемы, рассаживать котов по углам, перемножать 3 на 2 и выдаст 6 или даже 9. А правильный ответ лежит на поверхности, но требует понять геометрию комнаты, а не складывать числа".

ИИ сам признал, что на такой задаче его "братья" часто валятся.

Сможет ли современная нейросеть дать правильный ответ с первого раза? Или она, как и все предыдущие, полезет перемножать котов?

Danhenderso1 @ 16.07.26 

ответ лежит на поверхности, но требует понять геометрию комнаты,

вообще-то ответ сразу написан в заголовке:

В комнате сидят 3 кота. Напротив каждого кота сидят 2 кота.

Вопрос: Сколько всего котов в комнате?

какая нахуй геометрия комнаты?

M45PL @ 16.07.26  

вообще-то ответ сразу написан в заголовке:

 

какая нахуй геометрия комнаты?

Ага : ) В итоге ИИ сказал что вместо задачи "бомбы", он сделал задачу "первоклассника" и начал извиняться и объяснять почему такое придумал. В целом ничего нового : )

Mercator @ 16.07.26 

Можно ли за 9 таких вопросов гарантированно узнать сумму всех 60?

Грусть, я её две недели решал 😭

А что если попросить за 8 вопросов?

старая загадка : ползут три черепашки, одна говорит- сзади меня две черепашки, вторая - впереди меня две черепашки, третья - впереди меня две черепашки. как такое может быть?

но большинство этого уже есть в интернетах и скорее всего гугл и все эти сетки уже знают ответы