Дневник c00l0ne

Dino84 @ 05.12.24 

 c00l0ne, у меня в самом начале столов 4-5 было открыто, машинально кликал. А потом тянул, когда везде повылетал.

Ну ты прям руина для меня наверное ты сам все видел , все баины выбил, заработать ничего не дал ... 

Минуту бы потянул +3к я бы был

Пробил пару мувов твоих: топ1

Можешь не заниматься в тренажёре)

Был у меня шанс сет собрать со стрит флешом но чё то прокекал я его

 c00l0ne, ну когда пейджампы были - я уже тянул по максимуму(у меня доп.времени оставалось секунд 25), вроде никак ты не пролазил на +3к, но может ошибаюсь. А так трипс королей на фанте у меня решил всё.

Ну что готовы , к новому миру?

OpenAI выпускает o1 pro

Статы:

Ох ### еть

Ушел рыть бункер...

Интересно в какой день Sora в доступ выкладут и сколько это будет стоить

Мы собрали кластер на миллионы долларов, потратили месяцы на тренировку нейросети, релизнули наконец-то , чтобы такое спросить, ну конечно :

Красивое:

 

200$ в мес выкатили прайс:

Кекв

 

Day2 OpenAI 

in 5 minutes

c00l0ne @ 06.12.24 

Day2 OpenAI 

in 5 minutes

 

Вкратце можно научить модель играть в покер например

Позавчера 0

Вчера -2500

Мтт +20к

Устал катать эту шляпу 

Winmymoney на апе не победим ...

В лиге надеюсь меня не обойдет...

Стартера считать собрался наверное:

Эх, а когда то

А ведь он должен был бороться со "злом"

Посмотрел я результаты тестов o1 pro

, джуны могут увольняться сразу, больше они не нужны, сеньоры +- пока не заменимы... 

С появлением автономных агентов можно и их уволить

Пример работы o1 pro за ссаные 200 $ в мес

 

Мтт лидерборд +11500

Сегодня Sora будет релизнута 

Смотреть через минут 15 на openai YouTube 

Смотреть с открытым ртом)

https://sora.com/

Не все сухих новостей, мокните:

Ну тут все равно с обработкой но голос копирует нейросеть

Автор

Вышла suno v4

Поет как боженька

https://suno.com/

Трансформеры как будто доказали свою состоятельность и конкурентоспособность , что ж давайте разберемся что это такое и с чем его кушают  ... 

Разбираться будем естественно с помощью трансформеров) спросим у gpt 4o, а точнее у Claude Sonnet 3.5, ну или у o1-preview(дорого,богато) ...

До этого я что то краем глаза читал, про "механизм внимания" в нейронках и прочие трюки , но честно ничего не понял, но очень интересно 

Пс Фреда с заносом в Калининграде!

Не в ту игру играем товарищи, а вот Федя в холдеме наживает)

дальше про трансформеры : 

Claude Sonnet 3.5 ( далее буду писать CS3.5 (не контер страйк))) 

спросим такой же вопрос у o1-preview (дорого богато , дальше буду писать o1p)

ответ стоит в 10х дороже чем у CS3.5

давайте перефразируем, видим что нейронка слишком примитивно восприняла контекст  и решила следовать ему дословно ... не ухватив основую идею вопроса, что интерес вопрошаемого основной к трансформеру, а не в целом к нейросетям ... 

перефразируем : "Что такое трансформер и как запустить его с минимальными ресурсами для обучения простой задачи ?"

o1pr:

ответ стоит в 2х раза больше чем предыдущий , но тут уже конкретный пример запуска и доступное объяснение 

ответ от CS3.5:

нейронки предлагают запустить BERT какой то , очевидно это простой трансформер уже обученный на чем то и дообучить его на датасете другомм ... 

соннет еще предлагает gpt2 - small в качестве примера ... 

Перефразируем вопрос , потому что опять следует послушно контексту : 

"Что такое трансформер и как создать эту нейросеть с самого нуля  ?"

ответ CS3.5:

это уже серьезный ответ... 

ответ от o1pr:

ценник космический , но ответ видимо того стоит , сек почитаю 

ладно сложна, но o1pr точно победил , все попытался разжевать кожаному мешку , примеры привел всех математических расчетов ,а я  ушел спать, трансформеры не для меня очевидно)

вкратце берется последовательность вот запрос - вопрос , разбивается на токены , кодируется порядок этих токенов , токены эти кодируются , все это преобразуется в матрицы , есть матрицы внимания , есть полносвязные матрицы , все это перемножается пять миллионов раз при обучении, когда впитывается целевой датасет ... формируются эти матрицы внимания , которые связывают контекст между разными участками последовательностей токенов , есть так же слой самовнимания , который выбирает контекст в предложениях ... все это происходит в энкодере, ну а потом через декодер формируется ответ уже ... 

нейронка не забыла потролить : 

можно проверить свои знания : 

пример минимальный от o1pr:

ценник космический , такой ответ стоит 40 рублей ...

Из мыслей по этой всей тематике, мне вот интересно откуда возьмутся данные за пределами датасета, допустим часть людей ошибается что вреден белый хлеб, а другая часть людей считает что белый хлеб полезен, а на самом деле пусть белый хлеб неоказывает никакого эффекта , нейронка должна научиться находить ошибки в датасете чтобы сделать вывод правильный о пользе хлеба, но как она это может сделать когда на базе датасета происходит обучение... Замкнутый круг какой то... Или допустим научный факт ложный, псевдоученый представил сфальсифицированные статьи и они попали в датасет, нейросеть приняла эти статьи за истину, на вход поступает запрос опровергающий данные этих статей истинный, но в силу содержания в датасете ложных статей, нейросеть принимает запрос как ложь и переубедить уже не получится , потому что веса не изменяются уже...  Этакая игра в верю не верю получается, может конечно механизмы внимания это все могут выпилить, но верится с трудом...

запустил пример со второй попытки, с первой попытки была ошибка которую скормил на исправление o1pr : 

вот такие дела, абсолютно не зная что такое трансформер за пол часика уже запустили что то минимальное )

стоимость космическая : 

 

Итого : 300 рублей +-

1 капс стоит : 

рублей 

100 000 капсов стоят 18 рублей

пс теперь надо понять чему в действительности научилась нейросеть )

если она научилась именно алгоритмическому действию копировать последовательность то респект, если же просто отобразила входное пространство на выходное ... ну такое ... в любом случае выглядит мощно ...

Мтт: продолжаю на апчике скакать)

Вчера +5к

Сегодня +17к

Вупвуп

Пд решило поправить мне плоский график за год)

фсе мтт по Ананасу закончились : 

я последний втащил )

теперь мтт по "Ананас ОР"

сколько нас еще ожидает никчемных изменений... сегодня как будто изза этого катки нету