Data Adventures

В связи с интересными новыми рабочими обязанностями как-то так волшебным образом оказалось, что AI я начал использовать ещё больше. Потихоньку начинает кристализовываться как с этим всем жить. Возникают новые практики, которые таки приводят к результату. Пусть и довольно окольными кругами. Общий принцип примерно такой - если вы просто открыли какой-то современный инструмент и начали вайбкодить, то вы в жопе. Ну не глобально, но скажем так - система никак вас не обучит правильно с ней обращаться, а на выходе вы получите результат, который невозможно будет применить на практике. AI удовлетворит лично вас чтобы вы получили положительное подкрепление от использования данной системы. Возможно вы сможете удивить результатом кого-то ещё, но если это вдруг станет продуктом, то его всё равно придётся переделывать с нуля. У правил есть исключения. Но необходимость сталкивать результат своего вайбкодинга с реальностью как можно раньше исключений не имеет. 

Самое сильное впечатление на меня в плане правильных практик произвела статья коллеги. Я вроде её уже выкладывал, но не грех повториться 

Tadas.pdf (2.1 мегабайт) 

если вы не любите читать большие тексты (а сейчас кажется никто не любит), то можно просто в notebookLM позадавать вопросы по данной whitepaper. Если прям сильно коротко, то вот так надо разрабатывать системы с помощью LLM

https://notebooklm.google.com/notebook/56ee17f4-df60-4387-8b54-79350d5fb68b

надо совершить переход от вайб кодинга к с spec-driven подходу. Т.е. да, надо писать спеки. И тесты. Спеки + тесты (качественные) увеличивают шансы прийти к успеху при разработке чего-либо с помощью LLM. Без этого всего и дисциплины вы занимаетесь дрочевом и шансы против вас.

Я для себя также выработал принцип, который можно условно описать как создание максимального количества ограничений. Собственно хороший spec это и делает. Он описывает что вы хотите получить. Желательно в количественных метриках. Также описывает, что вы точно не хотите и чего хотите избегать. Потихоньку в процессе кодинга с LLM начинаешь чувствовать где система уже галлюцинирует. Покрываешь там спеком, добавляешь на эту точку skill. Про скилы сегодня не буду. Да и вообще нет цели научить программировать на LLM с нуля. Скорее просто фиксирую свой опыт в дневнике чтобы потом ссылки давать на это и не повторяться. 

Как работает система максимальных ограничений могу продемонстрировать например на теории в PLO. Если вы просто спросите любую топовую LLM-ку про что угодно, то скорее всего получите либо ошибочное дерьмо (галлюцинация), либо общие слова. Если вдруг получите что-то третье, то вы скорее всего просто не способны распознать фальш, т.к. нет нужного погружения в изучаемый объект. Но если подложить ground truth в виде какого-то выверенного корпуса текстов, то эффект будет совсем другой. Можете потыкаться например в этот ноутбук https://notebooklm.google.com/notebook/b4e12928-fa3b-4b03-95ca-367d1d8b97cb и поспрашивать его что-то про омаху. Я туда курс PLO6 недавно закинул. Как правило эта система выдаёт бред уже существенно реже и только если ошибка является прямой цитатой тренера, что редкость. Было бы прикольно туда курс Гальфонда закинуть (или лучше отдельно и сравнить), но у меня нет подписки на run-it-once. Если кто-то может поделиться на пару дней, то черканите в личку, результатом труда поделюсь. Вообще интересно как вы сейчас учите теорию. Если не используете подобные AI инструменты, то повод попробовать. Можете например попросить по какой-то конкретной теме, и получите вполне вменяемый опыт. И для этого не требуется никаких сложных навыков для освоения. 

кто ещё будет с вами так возиться?

Сейчас по работе стоит практическая цель создать корректную таксономию по PLO и правила по которым можно оценивать раздачи. Я хочу потихоньку проанализировать все видосы play & explain до которых доберусь. Да, я не люблю AI, но при этом разрабатываю AI с помощью AI. Наверное карма :)

И да, практическое наблюдение ещё такое, что от улучшения моделей моя работа не становится быстрее и лучше. При выходе Fable я сначала перешёл на неё с Opus, но в целом это почти никогда не оправдывается. Т.к. время ответа увеличивается, а качество ответа больше зависит от поданного контекста и спеков. Т.е. ограничений.

 SnowBeaver, посправшивал про 7 карт и игру в сверхглубоких стеках 500бб+ — выглядит неплохо.

SnowBeaver @ 15.07.26 

spec-driven подходу

я пробовал на личных проектах, мне не зашло. Скорость разработки снижается в разы, когнитивная нагрузка при этом увеличивается, а на выходе не сказать чтобы сильно лучше результат получается.

В то же время слышал что многим она сильно нравится, особенно в enterprise разработке, но пока не понял чем.

 SnowBeaver, gpt 5.6 sol ultra попробуй 

агент запускает  субагентов,  работает автономно по 8 часов перед выдачей результата ...

ждем gpt 6 в течении месяца, планируют железо сменить на celebras и скорость будет невероятная ... 

вообщем  рекомендую )

ждать конечно замучаешься)

первые результаты прикольные  появляются : 

 

https://habr.com/ru/articles/1059186/

и легендарный промпт:

https://cdn.openai.com/pdf/04d1d1e4-bc75-476a-97cf-49055cd98d31/cdc_prompt.pdf

https://habr.com/ru/articles/1058194/

 Azi, тут не вариант нравится \ не нравится. Это не выбор выскаря. Тут про подходы, которыми удаётся дойти до работающих проектов и контроллировать это дело. Не я их выбираю, а они меня. 

для тех кому не хватает собственной дисциплины работать со спеками есть разные костыли. Например https://github.com/obra/superpowers - оно само решает когда писать спеки если задача большая.

да, разумеется, если ты пишешь небольшой скрипт для себя и сразу видно эффект, то тебе всё равно были там спеки или нет. Но когда проект уже представляет практическую ценность и там сотни файлов, то уже не остаётся выбора.

 c00l0ne, я gpt 5.5 pro использовал как "альтернативную" точку зрения в своём хобби проекте. Когда казалось, что зашёл в логический тупик, и не знаю как продвинуться. Сжёг какое-то количество денег. Я себе скил добавил в claude code под это дело. Могу любой запрос повторить и в sol если потребуется. Просто мне не особо нужно. Чаще всего я хорошо понимаю что делаю, и использую LLM как рабочие руки, а не мозги. Мне не интересно решать задачи века. Мне нужно решать свои убогенькие :)

SnowBeaver @ 15.07.26 

надо совершить переход от вайб кодинга к с spec-driven подходу. Т.е. да, надо писать спеки. И тесты. Спеки + тесты (качественные) увеличивают шансы прийти к успеху при разработке чего-либо с помощью LLM. Без этого всего и дисциплины вы занимаетесь дрочевом и шансы против вас.

Прикольно совпало🙃. Задолбавшись уточнять постоянно план, запустил сначала спеку сделать. Потом захожу на гипси и тут твое сообщение)). Спасибо за пост👍

 cirozzz, у  spec driven   есть небольшая проблема 

вы ограничиваете  модель )

представьте вы сидите на турбореактивном автомобиле  , который разгоняется за 1  секунду до сотки и за 2  секунды до 400 км в час ...  но в спеках  вы написали  разгоняйся  до 100 за  5  секунд ,  а до 400 км в час не разгоняйся ... 

сами claude рекомендуют самоулучшающиеся циклы использовать (что тоже по моему мнению ну такое )

но это звучит очень хорошо: вы делаете прогон  1 , результат УГ

вы ищите ошибки ну как вы оно  ищет :  

далее оно прописывает с этого этапа правила новые , свои же  ошибки в md 

далее цикл повторяется и зацикливается до результата нужного , повторяя поиск ошибок 

spec driven работает на проектах с  простой математикой  

если вам нужно глубоко ковыряться то лучше ничего не писать 

я рекомендую трех этапный  метод  

три формата файлов  

1. теория  файл  core.math , там находиться чистая  математика  как  работает ваш проект 

если это солвер  то это ядро расчета , если это база данных то основные операции над базой , если это gui то основная теоретическая часть что как двигается куда нажимается и куда  приводит 

ЭТОТ файл изначально ПУСТОЙ, модель сама наполнит его 

2. рекомендую для длиннющих проектов от 15к тыс строк держать параллельно исходным файлам код  в pseudocode  

файл core.pseudo  ,  тут просто обычный псевдокод кода дублирующий исходный 

3. уже  сами  исходники core.rs или core.cpp это уже  сгенерированный код 

Ну и основа работы с LLM: 

"ДОКАЖИ" 

если  оно вам что-то пишет то в 99%  это ее фантазия 

обязательно требуйте  ДОКАЖИ-  тестами , исходным кодом  + проверкой математики  и  псевдокода  

без "ДОКАЖИ"  ничего не  работает)

Но доказательства внимательно проверяйте  ) оно  там тоже пытается обмануть как может )

 c00l0ne, я решаю задачу. Я не поклоняюсь богу AI. Математика обязана быть всегде не сложнее чем я способен понять, иначе она мне не нужна. Все результаты должны быть покрыты метриками, и эти метрики должны улучшаться с итерациями. И если работать так, то у тебя не будет как на твоей картинке. Ты будешь owner работы, а не AI. Так что spec-driven хорошо подходит там где нужен результат, если не нужен, то можно не использовать :)

если ты просишь AI что-то "доказать", то оно тебе напишет аргументацию, которую ты сочтёшь правдоподобной. Я не переоцениваю свои умственные способности и плыву когда читаю стены текста. Через какое-то время начинаю либо уставать и злиться либо вопринимать некритично. Это не работа. Работа это когда попало в метрики, которые я понял и заранее задал.

А хорошую спеку для ии (достаточно хорошую, чтобы на выходе получить нормальный результат) с тестами написать не сопоставимо по трудозатратам с тем, чтобы сделать самому?

Может я не понимаю объем проекта и количество "тупого" кода который надо написать, либо насколько хорошо современные модели поймут твою спеку и сколько раз ее придется править и допиливать.

Smozgly @ 16.07.26  

А хорошую спеку для ии (достаточно хорошую, чтобы на выходе получить нормальный результат) с тестами написать не сопоставимо по трудозатратам с тем, чтобы сделать самому?

Использование AI это делегирование разработки кому-то. Принципиальный момент. Тебе надо быть понятным. Этап описания (создания спека) не скипается вне зависимости от того человек пишет код в итоге или AI. Ты не можешь хорошо делегировать задачу, если ты её не описал. Агент не читает твоих мыслей. До AI происходила ровно та же проблема "галлюцинирования", но от живых программистов. ПМ или тимлид мог плохо описать задачу, программист её решал на своё усмотрение, в итоге результат неудовлетворительный. И задача хорошего управленца была знать скилы своих исполнителей и заниматься промпт-инжинирингом так чтобы добиваться решений бизнес задач (хорошо писать таски). 

Иногда не надо делегировать. Если я знаю, что описание задачи займёт больше времени, чем я сразу в коде её опишу, то я не буду использовать AI. Это называется augmented-coding. Но для этого надо собственно уметь это делать и знать стек. Также есть критические задачи, где цена ошибки крайне высока. 

Но вообще написание спеков это не сложно. Ты их тоже прорабатываешь с помощью AI итерационно. Есть свои работающие практики. Современные модели не могут не понять твою спеку, т.к. спеку ты тоже писал с помощью них :)

 SnowBeaver, 

Ну не глобально, но скажем так - система никак вас не обучит правильно с ней обращаться, а на выходе вы получите результат, который невозможно будет применить на практике.

А что если вайбкодинг для людей, которые просто хотят решать какие-то мелкие задачи?

Лично я делаю вещи, за которые раньше нужно было платить. Например, для своей команды накидал через клод юнит-калькулятор (расчитывает прибыль продаж с 1 единицы). Сделал это за вечер, с нулевыми знаниями. 

Отчеты, план продаж - раньше за полтора дня, сейчас за 15 мин в клоде.

А есть еще чел, который целый сервис навайбкодил и им реально пользуются (за деньги, да), ссылку могу скинуть. 

На форуме даже уже несколько трекеров навайбкодили. 

Уверен, пройдет совсем немного времени и AI научиться делать реально сложные продукты.

Zavarych @ 16.07.26  

 SnowBeaver, 

А что если вайбкодинг для людей, которые просто хотят решать какие-то мелкие задачи?

я тоже не пишу спеки для простых разовых задач, результат которых я могу легко проверить. Ещё круто работает попросить AI написать skill под задачу если она типовая и повторяемая. 

Zavarych @ 16.07.26  

На форуме даже уже несколько трекеров навайбкодили. 

которыми в здравом уме никто не будет пользоваться. Т.к. есть хорошо отлаженные продукты. Всё что ты можешь найти от вайб-кодеров это в лучшем случае прототип (со всем уважением к авторам и их попытке). Ну и не факт, что они не писали спеки.

Уверен, пройдет совсем немного времени и AI научиться делать реально сложные продукты.

Оно и сейчас может сделать нереально сложные. И в этом уже есть свои проблемы. Оно реально "не думает" и ему "похеру". Я несколько раз получал решения от AI, которые если бы выдал реальный программист, то про него сказали бы, что он отработал "на отъебись". Но чтобы понять это пришлось потратить прилично персонального времени. Ну не будет машина переживать за ваш бизнес :)

Вообще, мы можем наблюдать результаты доступного программирования. Уже пару лет как можно писать как несложные так и относительные сложные программы с помощью LLM. Привело ли это к какому-то радикальному развитию? Много вы софта в покере например хорошего знаете вышедшего в последнее время от программистов-одиночек или маленьких команд? Особенно таких, которых раньше не было на рынке.

Я сразу напишу дисклеймер, что я не вайбкодер, ИИ не особо много пользовался (когда пробовал результаты ни разу не понравились) да и вообще хейтер. Слава человекам, убить всех роботов - но возможно я просто отстал от времени.

SnowBeaver @ 16.07.26  

Использование AI это делегирование разработки кому-то. Принципиальный момент. Тебе надо быть понятным. Этап описания (создания спека) не скипается вне зависимости от того человек пишет код в итоге или AI. Ты не можешь хорошо делегировать задачу, если ты её не описал. Агент не читает твоих мыслей. До AI происходила ровно та же проблема "галлюцинирования", но от живых программистов. ПМ или тимлид мог плохо описать задачу, программист её решал на своё усмотрение, в итоге результат неудовлетворительный. И задача хорошего управленца была знать скилы своих исполнителей и заниматься промпт-инжинирингом так чтобы добиваться решений бизнес задач (хорошо писать таски). 

Естесна. И джуну ты дашь задачку одного уровня с одной спецификацией, мидлу другую, другому мидлу может быть третью, а третьему мидлу можно дать задачку от бизнеса и сказать "придумай ченить на свое усмотрение". При этом ИИ для меня (опять же, может просто отстал от времени) - это не просто джун, это тупой джун-фантазер, который убедительно пиздит и ему пахуямбе на результат (джуны-люди обычно стараются). И объяснить хотя бы средне-сложную задачу джуну так чтобы он понял и сделал, а потом еще за ним проверять, пинать чтобы он переделывал и тд - лично для меня это всегда было "бля, я бы уже сам пять раз сделал", а здесь я так понимаю ты какие-то реально сложные проекты реализовываешь. Но джун-человек если ему давать задачки и хорошо учить рано или поздно может вырасти в человека, который  уйдет через год в другую компанию на мидла сможет думать и решать подобные и даже более сложные задачки сам, а ИИ - нет.

SnowBeaver @ 16.07.26 

Но вообще написание спеков это не сложно. Ты их тоже прорабатываешь с помощью AI итерационно. Есть свои работающие практики. Современные модели не могут не понять твою спеку, т.к. спеку ты тоже писал с помощью них :)

А про такое я чет даже не думал  

 Smozgly, смотри, ключевое отличие джуна от LLM такое - 

LLM я могу дать 10 мегабайт спеков с полной таксономией предметной области, и он не ёбнется. А джун впитает контекст и предметку только на практике спустя месяцы. Поэтому задачи которые ставишь LLM можно и нужно описывать избыточно, а для человека стараешься сделать как можно более доступный текст, который многие вещи описывает на умолчаниях. 

В итоге живому джуну ты ставишь задачу вроде "нарисуй котёнка", а LLM даёшь что-то вроде такого

И да, это сложнее. Хочется также как живому джуну. Но тогда придётся деклайнить варианты котят-гидроцефалов, котят без ушей, котят с 5 лапами, котят с хвостом выдры и т.д. И у этого процесса тоже есть своё название "prompt-gambling". 

Всё как в анекдоте про то как сделать кораблик в бутылке

"В бутылку засыпают силикатного клея, всякого говна, спичек и трясут. Получаются разные странные штуки, иногда кораблик".

Smozgly @ 16.07.26 

это тупой джун-фантазер

Ты отстал от прогресса ллм

SnowBeaver @ 16.07.26  

Вообще, мы можем наблюдать результаты доступного программирования. Уже пару лет как можно писать как несложные так и относительные сложные программы с помощью LLM. Привело ли это к какому-то радикальному развитию? Много вы софта в покере например хорошего знаете вышедшего в последнее время от программистов-одиночек или маленьких команд? Особенно таких, которых раньше не было на рынке.

если не  секрет  какие например проекты  можно писать  ? 

вот ты постоянно пишешь про софт  , какие проекты можно написать и конкурировать с  существующими ,  например трекерами солверами ? 

только не  нужно писать  про "решить омаху 6 карт " )

пс  насчет доступности  тоже сомнительно:  

подписка openai за  230евро, простой  проект сжигает  за 2  дня  работы :  

 

 

лимиты  изи сжигаются

c00l0ne @ 16.07.26  

если не  секрет  какие например проекты  можно писать  ? 

Это ключевой вопрос. Проблема AI в том, что оно не думает и не может ничего придумать. Если бы оно было такое гениальное как пишут, доказывало бы теоремы, с которыми топовые математики не справляются, то с какого хера оно не может найти прибыльную нишу в покерном софте? Или "это другое"? 

c00l0ne @ 16.07.26  

вот ты постоянно пишешь про софт  , какие проекты можно написать и конкурировать с  существующими ,  например трекерами солверами ? 

а не надо конкурировать. надо находить свой путь. Как-то раньше создателям odds oracle и флопзилы это удавалось. Нужна здоровая креативность и насмотренность. Ну и какое-то видение развития покера, на которое человек готов поставить своё время. 

Я вот сейчас пилю свою MDA-модель и как-нибудь отчитаюсь о результатах. Я думаю, что следующий виток развития покерного софта будет глобальный уход от GTO. Нормальный ML становится всё более доступным. Вся эта ебанина с игрой "в вакууме" может сойти на нет, как только кто-то первый покажет, что может нормальные диапазоны предложить по майнингу и хороший эксплойт. Это то, что интересно конкретно мне. Интересно реконструировать диапазоны по майнингу, потом упрощать\описывать решения. Особенно для омахи. 

Вообще в покере дофига софта не хватает. Зияющую дыру с уходом pokerjuice например так никто и не закрыл. 

Можно не конкурировать с трекерами, а например создать статистический SDK под pokertracker, который сможет работать с их базой данных, но строить графики и аналитику по запросу, а не дубово в их конструкторе. Например если я хочу посмотерть свой винрейт разбитый на разные типы флопов, то я там это сделать не смогу. Или захочу построить график своего винрейта и bb/100 в зависимости от количества открытых столов (предел моего мультитейблинга). Или захочу найти часы когда на моём рабочем лимите меньше всего регуляров и больше всего рекреационных игроков. Фантазия безгранична здесь, а данные все уже есть в базе данных трекера.

В плане солверов - никто кажется даже не пытается идти в альтернативные модели. Все используют CFR и модификации. В то время как в теории игр так то много чего ещё есть. Можно сделать очень примитивный UI или вообще CLI как piosolver, и люди это купят. Кажется проверка гипотез, ресёрч и MVP сейчас делать гораздо проще и быстрее чем когда-либо. Но что-то не видно творцов готовых удивить мир. 

c00l0ne @ 16.07.26  

лимиты  изи сжигаются

мне базовой подписки pro на claude code за 100 баксов хватает на весь месяц. иногда подрубаю увеличенную за 200 когда надо больше задач решать в параллели. Очень редко сжигаю лимиты. Наверное делаю что-то не так.

c00l0ne @ 16.07.26 

подписка openai за  230евро, простой  проект сжигает  за 2  дня  работы

Ну так это дешевле (и в твоем случае, вполне вероятно, эффективнее) говнокодеров.

SnowBeaver @ 16.07.26  

мне базовой подписки pro на claude code за 100 баксов хватает на весь месяц

я  ради теста гонял , в три дня закрыл проект ocr документов простенький

 

но истратил 65 % недельного лимита 

gpt 5.6 Sol ULTRA не понравился (почему: отвечает медленно, создает субагентов таких же себе подобных медленных на  каждый чих мелкую задачу  и много думающих - все  вместе дружно  жгут мои лимиты), прирост качества не понятный ...

духоту развеять  :

MMA среди роботов запустили :