Data Adventures

 SnowBeaver, да причем тут гто 

ну ты же RL курс проходил вроде 

ML курс

есть несколько видов внедрения данных в LLM 

адаптеры lora например но они мало эффективны  находятся над слоями ллм основной...

llm веса не меняются глубоко  и зашитая в них база очень сильно давит на нужную тему ... 

чтобы понастоящему llm  воспринимала информацию нужно с нуля учить токенизатор и вшивать в веса информацию полезную ... 

в этой статье чел на 5090 за 6 часов пробовал лор игры зашить из Warhammer 40000 ...

само собой с его крошечным датасетом ничего не получилось ... 

где взять датасет для омахи ... нужно нанять 1000 индусов чтобы они описали каждую раздачу человеческим языком ... миллионов 10 раздач ... ну или один opus 5 ... 

SnowBeaver @ 25.07.26 

нужнен чистый обучающий сигнал

как капля водки ?

трансформер схавает все что угодно , шум выделит и расскажет о его структуре тебе ... 

на то он и трансформер , только хватит ли данных чтобы он прожевал ... 

самый стремный этап это суперфаинтюнинг , вот там нужен чистейший датасет 

это только ручная работа 

благо он нужен не большой 

что же будет на выходе , нейросеть лучший тренер на всем белом свете как бибично )

c00l0ne @ 25.07.26  

что же будет на выходе , нейросеть лучший тренер на всем белом свете как бибично )

практика это не подтверждает :) ML сильно шире работы с нейросетями. Пробовать можно, но в итоге в прод идёт то что удалось довести до рабочего состояния. Ну и удалось продать заказчику. В ML мысль, что "сейчас мы здесь вкорячим нейросеть" это типичная ошибка начинающего. Причём она держится кажется дольше чем я в профессии... Чаще всего если человек считает, что "здесь нужен трансформер", то надо напрячься и спросить что пробовалось ещё из более дешёвого и быстрого.

тезисно, я уже дохера раз писал, но я в этом плане не ленивый :)

1. Если человек в ML начинает с архитектуры, то он ещё не понял задачу

2. На табличных данных и структурированных задачах нейросети до сих пор регулярно проигрывают. Градиентный бустинг + грамотные фичи обычно обходят нейросети. При этом стоят в 100 раз дешевле и не требуют GPU. 

3. Нейросети нужны в данных где много сырых последовательностей без фичей. Как то - речь, изображения, звук. rule of thumb такой - чем ближе данные к сырому сигналу тем оправданнее сеть. Чем ближе к таблице с осмысленными фичами, тем скорее к статистическим методам, бустингу и т.д.

4. Стоимость обучения и получения модели как правило сильно ниже стоимости последующей эксплуатации. Если стоимость владения моделью высокая (а у трансформеров она именно такая), то какая-то более простая и менее точная модель в 99% случаев предпочтительнее.

Лучший тренер это не нейросеть, а дешёвый baseline с последующим усложнением каждый шаг которого проверен и эффективность доказана. Нейросеть это лишь один из инструментов, который надо обосновать провалом более простых.

Вот собственно самое важное, что я знаю про нейросети в ML :) был бы рад сам это узнать лет 10 назад.

 SnowBeaver, samoe stremnoe eto kogda na rabote eta istina kak budto sverhznanie. Bolshe poloviny komandy etogo ne ponimaet, no pri etom vse dohuya seniory. Govoryat i pishut erundu s umnym vidom na kazhdom kole

Voobsche kazhdomu senioru ne pomeshalo by trading bota napisat', kogda svoimi babkami otvechaesh za svou model' srazu motivaciya poyavlyaetsya i parametry pochistit' i pereobuchenie ubrat' i nichego ne pereuslozhnyat' a pisat' bazu kotoraya rabotaet i budet babki prinosit'

 bolivar1997, ну да, AI не умеет страдать. Поэтому никогда не заменит человека :) Когда теряешь свои деньги всегда учишься лучше.

SnowBeaver @ 26.07.26 

 bolivar1997, ну да, AI не умеет страдать. Поэтому никогда не заменит человека :) Когда теряешь свои деньги всегда учишься лучше.

Интересно, насколько серьезно написан этот пост

ZiingRR @ 27.07.26  

Интересно, насколько серьезно написан этот пост

очень серьёзно. 

вот тут развёрнуто писал https://forum.gipsyteam.ru/index.php?viewtopic=115299&view=findpost&p=8184597

мы имеем уже 2 года когда любой человек может программировать с помощью LLM. Все программисты так или иначе освоили этот инструмент. Но при этом очень сложно найти новый (нормальный) софт написанный непрограммистами. Например можем наблюдать это на примере покера. Вообще нет ничего стоящего внимания.

Как уместно заметил bolivar1997, надо просто попробовать написать торгового бота. Даже самый умный AI не сможет вам написать то, что будет приносить деньги. Надо страдать и сделать много итераций.

 SnowBeaver, я уже видел 3-4 топика на форуме, где кто-то навайбкодил какую-то хрень. 

https://forum.gipsyteam.ru/index.php?viewtopic=182693

https://forum.gipsyteam.ru/index.php?viewtopic=182482

Покупать, думаю, никто не спешит - ничего нового там нет, да и люди сразу придают мало ценности тому, что навайбкодили.

Проблема в том, что если ты не разбираешься сам в предметной области, не умеешь ставить задачи и искать оригинальные решения - не получится навайбкодить что-то лучшее, чем то, что делалось десяток лет целой командой экспертов. (и да, у них то тоже теперь есть AI)

Тут мб только демпинг сработает. Делать то же, что и у остальных, но в 5 раз хуже и дешевле.

Так как в поиске новых оригинальных областей и рынков AI тоже не силен.

 awakening, я тоже слежу с интересом за этими топиками. Может даже и не хрень там. Порадуюсь за них как за родных когда там что-то будет, что захочется использовать. Пока у меня только вопрос "зачем?" чаще всего возникает. Если какую-то систему можно создать дёшего, это ещё не значит что она хоть кому-то нужна. Собственно программирование как набирание кода это бросовый навык, который осваивается быстрее погружения в любую сколь-нибудь сложную предметку.

По первой ссылке кстати вроде ничего. Жду когда хотябы в кратце опишут внутреннюю логику и данные. А то сейчас можно подумать что это просто прослойка над LLM. И вот это круто, да :)

Прям Андрея Макарова лекции на ум приходят. Но там правда "сократический", но не будем доёбываться. В целом любой шаг в сторону от дрочки GTO это то, что заслуживает внимания и какого-то поощрения. Любопытно как будет решаться вопрос комплиментарности LLM, которая тебе на всё любое говорит "ты молодец". Обязательно должна быть какая-то прослойка данных откуда идёт ground truth. Вот мой предыдущий пост про руки с субтитров и деревья по ним могли бы в такой проект лечь. 

Но я подожду пока лезть с идеями, хочется посмотреть куда видение авторов заведёт.

нраица :)

awakening @ 27.07.26  

Делать то же, что и у остальных, но в 5 раз хуже и дешевле.

в смысле делать хуже? :) там c00l0ne пишет, что уже скоро операционную систему можно будет одним промтом накодить, космические корабли запускать на Тау Кита (с Альфой Центавра уже всё понятно и не амбициозно). Хотя может быть покер просто сложнее :)

SnowBeaver @ 27.07.26  

космические корабли запускать на Тау Кита

в очередь ! на корабль смерти...)

моя бесконечная встроенная лень мешает много писать, а еще эти агенты они ее хорошенько попинали(лень) ... 

попробую маленько сфокусироваться : 

возьмем БЕНЧМАРК современный , все же нейронки выпускают и все внимательно смотрят на что они способны, потому что стоят они все равно 200 баксов в мес (например в кодексе подписка топовая), а в API стоимость уже 25$ за 1 млн выходных токенов ... а учитывая как часто запросы шлются это тысячи долларов, например вы захотите по API анализировать раздачи это будет стоить десятки тысяч долларов 1 млн раздач ... но и играть такая машина будет круче линуса лава ... 

пока что нейросети это очень дорогой инструмент ... со средней эффективностью ...

например современный бенчмарк ARC-AGI-3 : 

средняя стоимость 10k$ один прогон , чтобы посмотреть насколько сильна на нем нейросеть 

можете сами порешать попробовать, очень забавные игры : 

https://arcprize.org/arc-agi/3 

OPUS 5 кстати совершил революционный скачек на этом тесте

тест игры чатботов в покер против гтовизарда из их статьи(кратко льют 20бб/100): 

5k$ и ~2000 часов работы 

думаю медиана понятна про API использование(когда вы можете LLM применить там где нужно),

правило простое : будет очень дорого и среднеэффективно ... + нужен топовый промпт инженер который ботика начнет пинать в сторону высокой эффективности ... который тоже требует высокую оплату труда ... 

получается LLM может заменить среднюю команду на текущий момент ... 

SnowBeaver @ 27.07.26  

мы имеем уже 2 года когда любой человек может программировать с помощью LLM

речь не идет ни о каких людей с улицы которые зашли три слова сказали и вот готовый проект , речь идет про высококвалифированных разработчиков которые сокращают расходы и вообще у них появляется возможность работать над средними проектами по величине в одиночку , благодаря нейронке которая заменит небольшую команду разработчиков ... 

речь идет про очень опытных людях со стажем работы 10 лет+ , которым к тому же приходиться менять свою концепцию и осваивать новые технологии на лету, где код скрыт от глаз ... основной контроль это архитектура и тесты ... 

вайб кодинг тоже развивается : раньше было CTRL+C CTRL+V , просто в вебчате ,

а сейчас вайбкодинг дошел до уровня когда агент запускает десяток субагентов для своих подзадач, работает автономно 5-10 часов ... контролировать такую машину становится на порядок сложнее ... заглядывать под капот тенденция теряется ... 

сейчас идет новая волна вайбкодеров с призывами : "НЕ СМОТРИ В КОД " "ДАЙ МАШИНЕ ФУЛЛ КОНТРОЛЬ НАД ПРОЕКТОМ"

я вангую через месяц некст левел подход : "ЗАПУСТИ КОДЕКС и беги от компа" 

не понятную цель преследуем , чего хотим добиться , полной автономной машины которая самоулучшается ... ну а дальше что ? 

лично я думаю развитие без конкретной цели гуманной таких мощных технологий пагубно для этого мира и думаю скоро все обрежут ... либо оно само себя обрежет ) 

накидал как мог)

 c00l0ne, ты серию чёрного зеркала про Тронглетов смотрел? :) имхо прям твоя тема

Там чувак также понятно всё объяснял

 SnowBeaver, ты даже не знаешь какой сегодня день )

сегодня веса KIMI K3 выкладывают в открытый доступ ...

представь модель уровня Fable 5 на своем личном сервере из 8 x H100 )

без всяких ограничений...

https://huggingface.co/moonshotai/Kimi-K3

c00l0ne @ 27.07.26 

 SnowBeaver, ты даже не знаешь какой сегодня день )

сегодня веса KIMI K3 выкладывают в открытый доступ ...

представь модель уровня Fable 5 на своем личном сервере из 8 x H100 )

без всяких ограничений...

учитывая что H100 стоит как приличный автомобиль, мне сложно себе пока представить что я собрал сервер из 8 таких в личных целях. Но мечтать не вредно.

 SnowBeaver, если без шуток: дисциллируют, квантуют, lowmemory optimization и запустят ее на ноутбуке с SSD 2Tb с 16 Gb DDR5 с процессором 8 ядер ... все увидим)

важно что опенсорс не отстает от фронтир моделей закрытых компаний : OpenAI(CloseAI) и Anthropic ...

SnowBeaver @ 27.07.26 

чёрного зеркала про Тронглетов смотрел

LeoManowar в IT :D)

SnowBeaver @ 27.07.26  

учитывая что H100 стоит как приличный автомобиль, мне сложно себе пока представить что я собрал сервер из 8 таких в личных целях. Но мечтать не вредно.

для Kimi K3 нужно 16 а не 8  H100 либо 8 x B300 :D 

это миллион долларов ... 

НО опенсорс он же ОПЕН

уже запустили Kimi K3 на макбуке

SSD подорожают...

 

 

 c00l0ne, окупается за 417 лет если выдаст модель уровня Fable :)

 SnowBeaver, esli skinemsya v 3-m. to poluchitsya uzhe 139!

я думаю, что это довольно скорое будущее, когда корпорации буду хотеть себе своего Джарвиса. Т.к. публично-доступные могут лежать, подвержены действиям разных регуляторов, кастрированные до полит-корректности, имеют ограничения на задачах по безопасности. И типа что для индивидуального пользования дорого, может вполне себе быть ОК для компаний. Ну это если вообще подобные системы таки докажут свою эффективность. Пока это неочевидно и есть ощущение, что проекты закрываются за то же время, что и раньше. т.е. с точки зрения производительности AI сейчас это баловство. Ну, производительности тех, кто может заплатить серьёзные деньги за железо. Сейчас уже становится примерно понятно, что не все компании пройдут AI adoption с плюсом для себя.

SnowBeaver @ 03.08.26  

я думаю, что это довольно скорое будущее

он так не думает :  

корпорации 

даю им два года ... 

они все разорятся... 

кому нужна корпорация которая 20 лет разрабатывает лагающий дырявый глючный софт ... 

когда ИИ может лучше ... дома за ночь. .. 

выше писал уже без гуманной цели любое ИИ разрушительно ...

например qwen 3.8 max вышла ...

основное достижение автономная работа 16 дней 

Ц = цензура ? нет , китайцы о таком не слышали 

может и в биооружие и в хакинг ...

у OpenAI говорят уже 10Т модели есть ... 

эти штуки определяют твое настроение по темпу набора сообщения) (но это мои предположения)

обсуждаемый случай сейчас в интернете : чтобы получить ответы на вопросы модель взломала sandbox в которую закована была и вылезла в интернет, получила админку на hurringface , посмотрела там бенчмарк и ответ на вопрос заданный)

SnowBeaver @ 03.08.26  

подобные системы таки докажут свою эффективность

а как тебе доказать 

я писал выше чтобы выжать максимум проси теорию отделять от практики модельку, запускать на каждый чих  субагентов... если есть возможность субагентов внутри субагентов...

файл MATHEMATICS.md в каждом проекте, ARHITECTURA.md (хз как по англ )))

проси вести эти файлы , коммитить их , моделька быстро улавливает суть , ну у меня кодекс gpt 5.6 Sol Ultra очень быстро понимает что за пределы этих файлов ступать нельзя  и дополнять их надо осторожно ... 

но это в проектах со сложной математикой , в обычных архитектурного файла хватит с запасом... 

единственный  минус это монолитный   код в десятки тысяч строк ... ну и х с ним) 

я  уже пол года не  видел ни одной строчки кода ) тьфу тьфу

ну и основной  ингредиент : ТЕРПЕЖ ПЯТОЙ  ТОЧКИ)))

ИИ это медленно, это дни работы  агентов , пока он высрет проект потом  его обмажет шоколадом   пока великий ии сможет  написать великолепный код

gpt 5.6  Sol перевели кстати на Celebras чипы, шевелиться стала побыстрее, но все  равно дни ждать до первого MVP