Дневник c00l0ne

про электроэнергию для датацентров nvidia 

 

у Олега в солвере баг есть : 

когда раздачу загружаешь посчитанную , три джокера доступны : 

ошибку правда потом выдает : 

 

burzum :D linuxоид

популярный никнейм получается

вышла suno 5.5

попробовать можно тут 

https://suno.com/

еще кринжа подвезли 

телепередача ДомИИ

будущее телевидения имхо

но как "примат и лентяй" вернусь к новостям более серьезным : 

новость 1

вышел тест ARC-AGI-3 на котором свои виртуальные зубки обломали все топовые нейронки ,

я его покрутил, сам посмотрел, попробовал порешать нейронками...

могу сказать что если его нейронки научатся решать из коробки, то это тот момент хода 37  в го для Седоля 

такие нейронки будут способны играть в покер и разбираться с другими сложными средами игровыми... 

с абсолютного нуля ... 

новость 2

тут нужно понимать для начала как работает траснформер: 

кратко берется сообщение "собака и кошка пьют воду" 

разбивается на токены со -1 ба - 2 ка -3  кош - 4 ка -5 

для каждого такого токена существует таблица смыслов

в которой токены "со" + "ба"+"ка" и "кош" + "ка"  

будут находиться рядом , а например токены "со" "ба" "ка" и "ка"+"ль"+"ку"+"ля"+"тор" будут далеко друг от друга

потому что они в текстах редко упоминаются рядом и вместе ... 

эта таблица смыслов называется матрица эмбеддингов, из нее для каждого токена берется вектор ,

это не школьный вектор привычный например размерности 3:

а это вектор в гигантском пространстве смыслов размерностью несколько тысяч, 

"кош" будет соответствовать вектор близкий к "соб"

но так же токен "кош" может использоваться в слове "кошмар" этот вектор так же будет близок к слову "ужас" 

соответственно если слово "ужас" разбивается на токены "уж" "ас" , то векторы этих токенов будут близки к векторам "кош" по смыслу ... для чего это? трансформер это математика и умеет работать только с числами, а слова это не числа ... поэтому каждое слово разбивается на части и переводяться в числа , а числа эти берутся из матрицы эмбеддингов и являются огромным вектором несколько тысяч размерности , грубо говоря : 

"кош" = (1,0,0,0,0,0,0,0,2,3,...................................................... и так несколько тысяч чисел )

"соб" = (1,0,0,0,0,0,00,0,2,3,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,........)

на этом этапе мы имеем к каждому токену набор векторов, кучу не связанных чисел

размерность на данном этапе :

числотокенов * (на длину векторов матрицы эмбеддингов)

например токенов получилось 12 шт а размер векторов эмбеддингов 8192

то получаем числовую матрицу 

12х8192

далее применяется "магия" трансформера

этап 2 матрицы Q , K , V

на данном этапе берутся ВСЕ полученные вектора , т.е. 12х8192

и умножаются:

1. на матрицу Q (Query)

2. K (Key)

3. V (Value)

Что же это за магические Хогвартса матрицы

"1. Q (Query / Запрос) — «Что я ищу?»

Это вектор, который описывает, в какой информации нуждается этот токен, чтобы лучше понять собственный смысл.

Пример: Токен [замок] формирует запрос (Q): "Я многозначное слово. Мне срочно нужны слова, связанные со зданиями, рыцарями или дверьми и ключами!"

2. K (Key / Ключ) — «Кто я такой для других?»

Это "бейдж" на груди токена, его тэги, которые он показывает остальным.

Пример: Токен [дверь] формирует ключ (K): "Я существительное, обозначаю деревянный или железный объект, вход, проем".

3. V (Value / Значение) — «Что я могу дать?»

Это сама смысловая «начинка» токена. Тот самый контент, который он передаст другому слову, если они совпадут."

получили все эти данные и переходим к этапу 3

это так называемый механизм Self-Attention (самовнимания)

каждый токен заставляют "посмотреть" на все другие 

делается это используя выше полученные числовые данные 

1. Оценка совпадения (Q умножается на K)  

т.е. умножается матрица "Что я ищу?" на матрицу "Кто я для других" 

так токены узнают друг о друге 

"кош" "ка" получают высокий балл как животное 

"со" "ба" "ка" тоже получают высокий балл как животное

и т.д. все токены получают разные баллы о связанности между собой , но это опять вектор гигантского размера 

кошка и собака например получают высокий балл смысла "животное" 0.99 

а таких смыслов несколько тысяч у нейронки и по каждому она оценивает совпадения

мы получаем эти все баллы и переходим дальше 

следующий шаг:

умножаем полученные выше векторы баллов на V (матрицу "Что я могу дать?") 

так нейронка понимает что происходит 

собака и кошка объединяются как "животные" в одну суть 

"пьют" это еще отдельная суть 

"воду" это еще дополнительная 

вот мы получили из кусочков токенов матрицу в которой трансформер видит четкую иерархию что мы подали на вход 

животное 1 - кошка ,животное 2 - собака , действие - пьют,  что именно - воду 

эти векторы огромные и работать с ними очень медленно поэтому берут еще несколько голов внимания и кусочками работают с этими векторами , качество от этого почти не теряется 

т.е. это просто не целый вектор берется а кусочками каждая голова смотрит на свой смысл :

1. голова например смотрит что за объекты - животные 

2. голова чем занимаются - пьют 

3. голова смотрит на детали - воду 

но это не меняет цели данного процесса , связать бессмысленный набор токенов в единую картинку , которая описана со всех возможных сторон 

ок переходим далее получили мы эту картинку , (после эмбеддингов , после умножения Q K V , после механизма самовнимания )

мы имеем "умные" вектора с невероятно сложной информацией о взаимосвязях между токенами , но здесь нет еще ни логики ни фактов , просто картинка

теперь в работу вступают слои MLP , рабочая память , сюда запеклись абсолютно все знания на которых учили нейронку :

берем векторы полученные на прошлых этапах и проводим их через слои MLP 

опять умножая на сотню другую матриц

векторы обогащаются контекстом , смыслом , опытом полученным при обучении

вот прошли 1 слой 

и так проходя через все слои трансформера вбирает в себя на выходе сложнейшую многомерную математическую концепцию входящего запроса(подглядел у иишки)

Финал:

прошли слои но все еще у нас миллионы миллиарды триллионы чисел ... 

теперь у нас есть финальный вектор ... 

который мы сравниваем по словарю ембеддингов ...

находим наиболее подходящие по словарю токен... 

выдаем пользователю ... 

это мы выдали всего лишь в ответе 1 токен : 

"под" 

а далее добавляем этот токен во входящие 

"Собака и кошка пьют воду под"

повторяем все и получаем снова на выходе токен : "солн"

опять добавляем "собака и кошка пьют воду под солн" 

далее получаем ответ от модели : "ем"

и получаем финальный ответ "собака и кошка пьют воду под солнцем"

так вот в процессе этой генерации K V Q матрицы пересчитывать каждый раз одно и то же дорого, поэтому используется KV кеш так называемый , который для огромных промптов занимает много гигабайтов , поэтому инженеры гугла придумали как уменьшить его без потери качества:

google research показали TurboQuant 

а дальше еще дальше : 

пс кто дочитал молодцы)

вот от нейронки : 

пс забыл добавить все эти матрицы эмбеддингов, Q , K , V и MLP слои получаются в течении месяцев обучения трансфомера на Тбайтах данных

что эта новость означает, ожидаем нейронки с 10 млн контекста и по цене 10х дешевле текущих

anthropic новую модель сделала : 

основная проблема понятна: 

текущий код написанный содержит кучу дыр , недавно было тестирование виндовса и там нашли тысячи дыр через которые можно получить доступ к вашему компьютеру : 

будет ли кто-то чинить их ? я думаю нет, только если агентами но это все не так просто , это стоит денег , стоит команды , драйверы надо будет сертифицировать еще раз в windows , это все целый процесс не такой быстрый как кажется ... 

если выпускать мощнейшую модель которая по запросу пользователя сможет атаковать все эти дыры , получать доступ по щелчку мышки к любому компьютеру , воровать данные ...  получается будет кризис кибербезопасности ... 

коллапс ... 

получается замкнутый круг : 

имеется плохой текущий код  ...

его никто не исправляет ...

не возможно выпустить мощную нейросеть которая начнет эксплуатировать эти уязвимости ... 

эта проблема еще долго будет висеть в воздухе , неподготовленность людей к мощный нейронками... 

интересно как выйти из данной ситуации... переходить на linux ? :D

получается кривая windows тормозит развитие ИИ...

ИИ обгоняет кибербезопасность ...

openai тоже дотренировали 

 

в китайском совсем не сложилось в турнире ( 

-10к 

вот такая финалка блин : 

это ужасно что покердом сделал такие структуры(

ждать апстрика уже не хочется... нужен марафончег ...

про роботов : 

выступление на китайский новый год 

первый пошел : 

легенда победил краба

Как лечить рак кости

Это личная страница Sytse Sijbrandij (сооснователя GitLab), посвящённая его борьбе с раком кости — остеосаркомой позвонка T5 (верхний отдел позвоночника).

Ключевые моменты:

Исчерпав стандартные варианты лечения и не имея доступа к клиническим испытаниям, он взял лечение в свои руки: проводил максимально подробную диагностику, сам разрабатывал и применял новые подходы к лечению, действуя параллельно по нескольким направлениям.

Подробная статья о его пути написана Эллиотом Херсбергом на centuryofbio.com.

Есть публичная презентация его пути и запись доклада на форуме OpenAI под названием "From Terminal to Turnaround".

Его данные (включая временную шкалу лечения и 25 ТБ открытых медицинских данных) доступны на osteosarc.com.

Компании, которые он строит для масштабирования этого подхода для других пациентов, собраны на evenone.ventures.

Считает, что медицинская отрасль должна быть более ориентирована на пациента.

Контакт: cancer@sytse.com

 

почитать можно путь самурая здесь https://sytse.com/cancer/

самари от иишки:

кратко , каждый рак уникален по белковому составу, как покерная раздача, требует персонального подхода... сбора мРНК вакцины под конкретного человека...

поиграл чутка в джокеры ) 8 входов даже было ) 

вот вам лайфках как быстро и четко разложить фантазию

1. джокеры ставите сразу на доску

2. анализируете фантазию без джокеров 

3. оставшиеся комбинации можно проанализировать и понять что можно улучшить джокерами до повтора 

очень легко получается так раскидывать фанты

игра в принципе не очень у кого больше повторов на тузах тот и прав...

  За 3 месяца мозг "перегрелся" , это не выгорание , это именно перегрев)

В покер катка как отдых идёт

Вайбкодинг в тяжбу, все таки человеку делать то что он не знает оч трудно...

Вайбкодинг заставляет постоянно новые сферы покорять, а с нуля знаний это тот его гранит, обычно широко но не глубоко изучают люди или узко но глубоко изучают ... 

ИИшка же предполагает что человек может широко и глубоко осваивать, базу выдает такую широкую... Не учитывая реальных возможностей человеческих ...

Понятно что можно вообще не заглядывать в проект и агента гонять любого до посинения лимита токенов... 

Но хочется же разбираться в том что создается...  А так же понять пределы самой ИИшки...

Mythos 10 млн токенов , эх

 

памагите агенты наступают: 

миссия на луну стартует через три часа: 

claude и ее "эмоции"(не забываем чт это всего лишь нейросеть, которая описывает опыт человеческий)

вводная есть давайте разбираться : 

сразу говорю это ТОП КОНТЕНТ , лучшее что видел за последний год 

antropic делает

попозже агентов натравлю, пособирают на эту тему информацию

 Jak, "не будь эмоционален как Claude"))

а ведь некоторые пишут запросы так : 

"эй ты тупой робот, с залипшей базой знаний в 2024 году, а я сверхинтеллект над тобой, напиши мне код грязная машина" 

кекв

а еще клауд сохраняет пользователей которые матеряться : 

из утекших исходных кодов claude code https://habr.com/ru/companies/bar/articles/1017574/

там еще и тамагочи есть : 

 

Кто в Джокерах остался в Жёлтых Горах , определитесь уже, у меня от вашей раздачи 3к зависит ...

Челы на синхронной раздаче уже минут 10 играют в Джокера... Весело

c00l0ne @ 03.04.26  

попозже агент

сколько оттенков эмоций у человека нейронки : 

полный список : 

примеры "отчаяния"

покекать : 

Умиротворенно паникующий...

Ты в центре урагана, сидишь на шезлонге с коктейлем и внутренне кричишь. Пизд: