про KAN :
мое мнение это оч круто
обучаемая не линейная функция , это лучше чем линейные веса + нелинейные функции активации
давайте немного затру вам матчасть :
вкратце KAN это Сети Колмогорова-Арнольда , названы в честь этих математиков .
Так почему же ?
Есть теорема Колмогорова-Арнольда :
они доказали что аппроксимация непрерывной ограниченной функции от множества переменных сводиться к нахождение полиномиального числа одномерных функций :
простым языком
т.е. смотрите у нас есть закономерность это функция от н входных переменных ...
у нас есть на входе дохрена параметров этой функции ... n штук...
так вот по теореме колмогорова-арнольда чтобы найти этого монстра , огромную сложную функцию от n параметров, не обязательно ее структуру знать , можно найти полиноминальное число простеньких функций... по формуле 2n+1 функций ... т.е. функций надо найти в количестве в два раза больше чем параметров плюс одна ...
ну объяснил как мог ...
теорема кто подзабыл это доказанное утверждение, т.е. Колмогоров-Арнольд это доказали их заслуга...
т.е. мы можем начать обучать систему , в которой будем искать эти одномерные функции и построить нейросеть , но со структурой в которой происходит поиск функций , в классическом же исполнении происходит поиск весов ... а функция зафиксирована ...
плюсы очевидны , тут мы будем явное выражение функции видеть , а в классическом представление нейросеть является черным ящиком ... который сложно интерпретировать , понять что там внутри получилось ...
сложности :
как же это все учить и масштабировать до масштаба трансформеров ...
1. проблема , непрерывность ... возможно функции одномерные могут быть не гладкими и даже фрактальными, такие функции обучить не получится
2. проблема , глубина ... в формуле Колмогорова-Арнольда всего 2n+1 одномерных функций, это значит что всего нейронов будет 2n+1 , получается ограниченная сеть , не масштабируется.
ТАК ВОТ
придумали как это все обойти )
т.е. раньше вот это все было известно и давно доказано
но что придумали теперь :
дальше сложно
структура вот такая получаетсся на примере :
про масштабируемость вот собственно и прорыв :
поясню:
это композиция матриц , т.е. ученые заметили что можно по аналогии с нейросетью, использовать матрицы но вместо весов(чисел ) это будут матрицы функций ...
ну и общая теорема уже выглядит так :
с этого момента мы можем добавлять слои в нейросеть удалять слои и делать все то что делаем с нейросетями на базе MLP (многослойного линейного перцептерона ) .
уф
Итог, что происходит?
на входе у нас параметры , нейроны суммируют ребра , а на ребрах функции одномерные обучаемые ... вот такая получилась структура KAN сети ...
ну и слоев сколько хочешь, ребер сколько хочешь ...
сравнение с обычной нейросетью:
последний пункт печальный ) обучение в 10 раз медленнее
нужны оптимизации и железа тесты ...
но остальные просто крутейшие плюсы ...
точность можно дообучением повышать это раз ...
интерпретируемость это два ... это вообще вау вау вау
вот и все)
пс ждем трансформер KAN :D
вот это будет мощно ... мир описанный формулами ... вау
Про варп движки::
составы в мтт :
долбитесь с друг дружкой сами ...
бедолаги не знают где еще топ1 ходы применить ... в мтт лезут даже ...
кажется через год китайский с пд уберут , скриньте ...
вместо борьбы они выберут путь исключения дисциплины ...
Все мучаются, ну а мы клепаем первые места)
))))Полностью с вами согласен, в плане апчика, за 3 недели 7 первых мест и +260к и это только в ананасе) Даже мне стыдно за такое и пояснить это, кроме как чудо, не могу.
Заводить свой блог не могу, так как не горю этим так сильно, как вы, за что моё почтение, что у вас такой глубокий подход к этой игре, а не поверхностный - ибо для меня, это искусство)
Ну и в плане рамок на аватаре) Есть у меня всего одна рамка, правда фиолетого цвета, и стоит она всего у одного человека, и это Хардрок, если я правильно произношу. Ибо его баталии на заре покердома, где он лично с джипси, основателем данного сайта, играл по 1-2к за куш и сливались там лямы в его корман, это был высокий полет мысли)) После этого джипси и ушёл с сайта, со словами, "Тут всё подкручено" и "Так нормальный человек не кладёт ")))
Ушла эпоха олдскульного ананаса и пришла эра агрессии и прогрессии)))
Вот такая поучительная пятиминутка для тех, кто только начинает свою дорогу в этой удивительной игре под названием Ананас 🍍)))
Всем добра и позитива)
P.s.: Вчера в кэше погоняли с хардроком немного, было просто интересно поймать его ход мысли, и вот что удивительно, сейчас он играет, как хороший игрок, но уже того пиетета не было, когда его расклады взрывали мозг и ты думал " да как так-то???" Я посмотрел, немного прибрал и ушёл.
А письма мои тут исключительно для молодых, чтобы видели, что мы люди, а не роботы. Ну и вам в копилку подписчиков, парочку новых вам тоже привнесу для раскрутки блога)
shaxpir22, честно голова разболелась, вот я смотрел много за игрой хайроллеров и кто такой хардрок я не понял, cardrock?
Джипси ушел после того как Карр разорвал поляну ... Да и в целом он говорил что давно не тренируется с солвером и уже не годиться как на пике формы...
Среди хайроллеров много было крутых ребят , канает777 , espzor , prostiutka, antidonk , каждый пытался угадать идеальную игру но в целом все дико агрились , за исключением редких случаев...
shaxpir22 @ 22.05.24для раскрутки блога
🤔
блог наоборот пора скручивать... )
shaxpir22, чтобы ты понимал уровень современной игры :
karr очень много ставил tier2 ходов ... как обычный рег , но прокаченный солвером ...
сейчас же против некоторых ты получишь tier1 в основном ...
тебя я сразу пометил tier 1 ... но это скорее в апчике потому что ты ...
потом подумаю если пересекаться будем ...
ты же меня оч дорого выбил с турнира , два или три входа ... не помнишь наверное ...
зацените стартер :
стартер оцените от melekes555 ...
c00l0ne, я бы конечно как солвер бест положил, но логику его можно пояснить. Он горит и фишек меньше, поэтому решил дно забетонироватт с возможным выходом в середине на флэш. В его ситуации я мог бы также, хотя со стороны игра, кажется, минусовой)
shaxpir22 @ 22.05.24c00l0ne, я бы конечно как солвер бест положил, но логику его можно пояснить. Он горит и фишек меньше, поэтому решил дно забетонироватт с возможным выходом в середине на флэш. В его ситуации я мог бы также, хотя со стороны игра, кажется, минусовой)
ну если на таком уровне рассуждать хз
просто чел вообще не понимает +- вероятности прихода комбинаций ...
после таких ошибок метят фишом обычно ...
любой человек тут сыграет KK8/7/A
там у него еще была раздача короли вниз :
ну это уже просто кринжатина что такие типы на финалку попадают
чтобы вы понимали уровень этого дебилизма :
5 кушей ошибка на раздачу
чел просто залетел на финалку на нереальном апчике имхо , структуры в китай надо глубже делать ...
ну и делить с таким это тоже лудомания ... своего рода ...
ни один рег не поделит ...
c00l0ne, Будьте сострадательны к ближнему своему. Ну и как я уже писал, Жадность порождает бедность)))
Делёжка с такими, как вы говорите залетными, это не лудомания, а проверка. Либо у него безумие и отвага и он ничего и ни кого не боится в этой жизни, либо умен и понимает, кто ему противостоит)😉
И вторая мудрость, "никогда доброту человеческую не принимайте за слабость".
понимаю гружу вас математикой , только мне наверное интересно )
но вот тут приколы есть , как трансформеры строят модель мира :
https://habr.com/ru/articles/815911/
слева оригинал , справа нейросеть обучаемая на данных :
оч крутая работа
и вот это почитал :
про линейность
Большие языковые модели гораздо линейнее, чем мы думали
https://habr.com/ru/companies/airi/articles/816125/
Большой прорыв в понимании работы LLM — Anthropic опубликовала исследование
https://habr.com/ru/news/816333/
оригинал https://transformer-circuits.pub/2024/scaling-monosemanticity/index.html
это самая крутая конечно работа
тут научились активировать так называемые конкретные фичи в модели Claude 3 Sonnet ...
научились выявлять высокоуровневые фичи и их извлекать ...
научились их контролируемо активировать ...
можно пощупать тут
https://transformer-circuits.pub/2024/scaling-monosemanticity/umap.html?targetId=1m_1013764
вот например фичи когда спрашивают про ошибки в коде :
вкратце осталось немного этому "черному ящику") скоро вскроют ...
shaxpir22 @ 23.05.24c00l0ne, Будьте сострадательны к ближнему своему. Ну и как я уже писал, Жадность порождает бедность)))
Делёжка с такими, как вы говорите залетными, это не лудомания, а проверка. Либо у него безумие и отвага и он ничего и ни кого не боится в этой жизни, либо умен и понимает, кто ему противостоит)😉
И вторая мудрость, "никогда доброту человеческую не принимайте за слабость".
ну такое ... играете в покер, оставляете без штанов дураков и вот такое вот крутое исповедание )
называется это двойные стандарты, лицемерие или еще как не на зови ... поэтому лучше у моем дневнике такое не писать ...
если бы Вы были сострадательны к дуракам Вы бы в покер не играли ...
третья мудрсть вам на потеху дня "когда игрок в покер в апчике ,то он умен , щедр и блаженен" )
пс будьте реалистами , воспринимайте мир таким какой он есть ...
а реальность же такова :
shaxpir22 @ 23.05.24ёжка с такими, как вы говорите залетными, это не лудомания, а проверка.
объясняю один раз почему так , вот этот лудоман он залетит куда нибудь и сольет те денежки которые вы поделили с ним , да это 100-200 баксов но на дистанции 1000 турниров это 100 -200 тысяч долларов
поэтому дележка с фишом это просто преступление против нормального покера
мы реги недобрали в турнире рано вылетели
вы такой щедрый и добрый в апрстрике поделили с фишом , а он пошел и залил в казино в покердом ...
итого из экономики китайского покера выведены бабки дополнительные благодаря вашей дележке в казино покердома...
а меньше денег = меньше игры , реги меньше зараабатывают ... такие дела ...
рег с регом конечно надо делить ... фиш с фишом тоже могут поделить ... но если вы рег и фиш , вам надо доигрывать скорее всего ...
про KAN
ничего нового, выше все разбирали ...
Так наоборот же?..
Добрый рег, поделил с фишом. Фиш получил больше чем заслуживал. Поверил в себя и пошел катать кэшик с Пашкой кулоном. Пашка нажил с него те излишки, что ему перепали при дележке)
Вывод: добрый рег Шахпир, поделился с еще одним регом - Пашей) win-win
Пс: Я б фиг стал делить если че)
c00l0ne, всем привет. Была двойка, но хотел посмотреть его нервы)))