RUBICON: Как сжечь мосты в покере, построить ИИ-сервис и шагнуть к AG

 Fedya777, ты хоть цену примерно сначала объяви) а то может это оверпрайс для меня.

в идеале я бы сначала на твоих мощностях качество проверил оплатой за итерации. 

сейчас вот такой конфиг есть: AMD Ryzen 7 7800X3D, RAM 64 ГБ, SSD 1500 ГБ, NVIDIA GeForce RTX 4060 Ti (8 Гб), Windows 11 Pro

но железки можно докупить. Интересна пока стоимость софта)

 bubipik, А, кстати, за телегу я забыл, да. Но знаешь, все равно. Получается, я ничего из своих слов не нарушил. Телеграм, да, может быть и передает на свои сервера инфу. Но а я что, владелец телеграмма? В компании Рубикон все то, что сказано про приватность данных, соблюдается. А сервера телеграмма, это сервера телеграмма. Это к ним уже вопросы.

Ну и потом, а сколько компаний вообще в России, в мире, где угодно, пользуются телеграммом? Хоть его даже блокируют, но все равно никого это не останавливает. Все это обходят нормально VPN, прокси-серверами и прочим. Поэтому я вообще во всем этом никакой проблемы не наблюдаю. Если ты докапываешься до слов чисто с целью как бы ткнуть носом, что вот ты сказал, что здесь так, а на деле оно не так,
я так отвечу. Все, что с моей стороны, все верно. Все, что я сказал, я следую. Все, что не на моей стороне, я не могу контролировать. Поэтому я за это ничего и не говорю. Видишь, я даже и что-то не подумал вообще про телеграмм.

Ну и еще раз скажу, что все компании, у которых чувствительные данные, там может быть какие-то юристы и прочее, если будут пользоваться моим сервисом, я более чем уверен, ну я и сам им об этом напомню, им гораздо лучше будет просто поставить подобную систему на свои личные мощности. И скорее всего они так и сделают. Это будет гораздо удобнее, в долгосрок гораздо выгоднее.
Тем более для этого не нужна покупка дорогостоящих серверов, достаточно просто мощного десктопного железа. Уж для компании это небольшие деньги.

Ну смотри, по счет прайса вот какая ситуация. По сути решение можно подобрать под любой прайс. Ну не прям любой, ну очень гибко. Ну и естественно все это будет сильно отличаться по качеству, по функционалу. По качеству я могу, если прям позадротить, то собрать годную систему, но простенькую по функционалу. Поэтому ответ на два вопроса. Первый, а сколько ты денег вообще готов за это потратить?
Есть какая-то вот строгая сумма, что вот я готов на это выделить не больше, скажем, 200 долларов. Это раз. Второе, какого именно функционала тебе будет достаточно? Сейчас я еще раз перечитаю твое сообщение, то...

 bubipik, Локальность данных тебе прям важна? Просто как я вижу, тебе важно под все вот эти объекты делать описание. Это, как я понял, обязательное условие. Не только распознавание изображения, но и подробное описание. То есть нам точно понадобится LLM модель. У тебя в видеокарте 8 гигабайт памяти. Из локальных решений на такой видеокарте мы сможем запустить модели в диапазоне, такие вменяемо работающие.
Это от 4, ну и до где-то 12-14 миллиардов параметров. И то последние, скорее всего, будут квантованные. Дело в том, что 8 гигабайт для локальных LLM моделей это мало. У меня в видеокарте 24 гигабайта видеопамяти. И этого мало. Максимальные модели, которые я запускал по размеру, именно в видеокарте, это на 35-40 миллиардов параметров.
И то на 40 вот эти кастомные квены я запускал в сильно квантованном виде. Есть такой процесс квантования моделей. Ну ладно, я не буду этим грузить. Если попросишь, расскажу подробнее. Поэтому эти модели, в принципе, более-менее вменяемое описание могут делать, но сильнее галлюцинируют, разумеется, чем какие-то большие облачные модели. Поэтому насчет LLM моделей, скорее всего, тебя не устроит локальная решение.
Тут надо будет подключать API, там, чат GPT, либо кого-то другого. Ну я бы, к слову, порекомендовал бы Клод. Насчет нейросети для распознавания изображений, векторной базы, модели M-бендингов, здесь твоего железа хватит. Это можно сделать локально. К чему я это сказал? Я это сказал к тому, что тонкостей так много, что мне, прежде чем тебе называть какую-то точную сумму,надо знать абсолютно все вводные данные по задаче, прайсу, который ты готов на это выделить, и твоим ожиданиям от этой темы. Ну, я готов это сделать с некоторой скидкой, потому что мне тоже было бы полезно, чтобы я для кого-то из GIPSY Team сделал бы какой-то заказ. Как ни крути это, плюс к репутации, там, глядишь, кто-то другой еще что-то закажет. Поэтому, давай так, пока я делаю свою задачу,
ты попробуй максимально подробно, как сможешь, сформулировать то, что я вот выше озвучил. Можешь писать мне сразу в телегу. Можешь даже не писать, а голосовухи туда надиктовывать. Там выше где-то, ну, я могу продублировать ТГ.

мой тг:@rubikon6677

Fedya777 @ 28.07.26  

Если ты докапываешься до слов чисто с целью как бы ткнуть носом, что вот ты сказал, что здесь так, а на деле оно не так,
я так отвечу. Все, что с моей стороны, все верно. Все, что я сказал, я следую. Все, что не на моей стороне, я не могу контролировать. Поэтому я за это ничего и не говорю. Видишь, я даже и что-то не подумал вообще про телеграмм.

да ни к чему я не докапываюсь. Ты сказал что у твоего решения нет проблем с законом фз, я указал где они есть в твоей реализации тг бота. И все! К чему все эти оправдания? Я не посягаю на твою честность, просто проблему подсветил которую ты вероятно не видел. На этом все - успокойся)

И да, то что ты за телегу не отвечаешь не освободит тебя от ответственности в твоей разработке бота для телеги) Вместо рилсов, с агентами проработал бы юридические вопросы и правовой статус своего бренда)

Fedya777 @ 28.07.26 

ты попробуй максимально подробно, как сможешь, сформулировать то, что я вот выше озвучил.

принял, как соберу тз - приду в тг)

Что-то у меня капитально клинит вот это окно для постинга. Да, здесь, если честно, на джипси не самый удобный вариант выкладывать посты. Ну ладно, разберемся. Чуть позже скину кое-что интересное.

 Fedya777,  я осознал что ты мне сказать хотел. Спасибо! Важный момент это то, что мне нужна LLM, а к ней хорошая видюха если on-premise разворачивать. Полумеры типа локально изображение распознавать, а потом по апи отправлять в тот же chatgpt смысла не имеют - проще уж просто картинку отправить по апи, что я и делаю. Косты я сильно не снижу, если буду вместо картинки текстовое описание изображения отправлять, а вот ошибку распознавания и генерации описания скорее всего увеличу.

Хотел рилс закинуть на ютуб, а сюда ссылку кинуть, но я уже не осилю, уже вырубаюсь. Ну, закину пост и объясню простыми словами, что за сегодня добился.

Вот такой вот постер, а ниже текст моего поста.

Ну что, пришло время выпускать бета версию бота в тг, с встроенным ядром RUBICON!
Открытый бета-тест моего Telegram-бота: быстрая транскрибация аудио и видео и ИИ-помощники!Я запускаю бета-тестирование своего нового Telegram-бота. Но для начала давайте расставим точки над «и».

Движок и бот — это не одно и то же
Основа проекта — это мой кастомный аудио-движок Rubicon Arc. Это очень мощный алгоритм перевода голоса в текст, который по скорости работы уверенно обходит конкурентов. А этот Telegram-бот — лишь удобная, лайтовая демонстрация возможностей моего движка для вашего повседневного бытового использования. Бот построен на базе Rubicon Arc и интегрирован с ним, но не является им целиком.Если вам нужно выполнить серьезную работу и качественно транскрибировать по-настоящему большие объемы аудио — бот для этого будет не так удобен. Для таких задач гораздо эффективнее использовать сам движок напрямую, для этого нужно просто связаться со мной лично.

Что вообще такое «бета-тестирование»?
Если вы далеки от IT-терминологии, объясняю: «бета-версия» означает, что программа уже полностью выполняет свои главные функции, но она еще не доведена до идеала. Я разрабатываю эту систему один, без команды и больших ресурсов, поэтому мне нужна ваша помощь. Я открываю бесплатный доступ к боту, чтобы вы могли им попользоваться, а я — посмотреть, как система справляется с реальной нагрузкой, выловить скрытые ошибки (баги) и собрать вашу честную обратную связь.

Главное преимущество — скорость транскрибации
Движок расшифровывает голос невероятно быстро. Зачастую сама транскрибация происходит быстрее, чем аудиофайл успевает загрузиться в Telegram! Скорость загрузки файлов ограничена самим мессенджером, и эта проблема не на моей стороне (хотя со временем я планирую это исправить).

Два ИИ-ассистента внутри бота:
Бот может выдать вам как сырую, «голую» транскрипцию текста, так и поработать с ней дальше.Ассистент Rubic — ваш личный ИИ-помощник. Он берет готовый текст из аудио и обрабатывает его под ваши нужды: может сделать выжимку, перевести на другой язык, превратить сбивчивый монолог в готовый пост для соцсетей или структурировать документацию.Администратор Rubicon — помощник по экосистеме проекта. Он объяснит всю внутрянку, ответит на любые вопросы и через него можно связаться лично со мной (в том числе для заказов на большие объемы аудио).

Честно о качестве (100% точности не бывает):
Прежде чем делать выводы о работе Rubicon, помните: качество текста напрямую зависит от вашего аудио. Если запись сделана на плохой микрофон, вы закидываете шумные файлы или музыкальные треки — не ждите чуда.
• Базовая точность «голого» движка: около 95%.
• После ИИ-постобработки (можно выбрать в меню): 97–98%.
• При заказе особой услуги «Ручная вычитка»: до 99,9%.

Оплата и бонусы (Rubicoin):
Оплата функций внутри бота идет в моей местной валюте — Rubicoin. Пока она не связана с настоящим блокчейном, но внутри системы уже работает. Каждому участнику бета-теста я сразу выдаю приветственный бонус — 1000 Rubicoin. Если вы активно тестировали бота, израсходовали лимит и вам нужно еще — напишите мне лично (через Администратора), и на свое усмотрение я добавлю вам баланса.

Сроки:
Тест продлится ориентировочно 4–5 дней, может неделю, а может и немного задержится. В общем, я сам решу, когда он закроется.Заходите, тестируйте и делитесь впечатлениями!

Ссылка на бота: @RUBICON_ARC_bot

В общем, мелкие баги еще присутствуют. И на самом деле их не так уж и просто исправить, ибо их надо отследить. Я решил сделать так. Всем, кто заходит в бота, выдается приветственный бонус местной валютой. Люди этим пользуются пока бесплатно, абсолютно. Поэтому за какие-либо баги, хотя их, кстати, так-то немного, основную работу бот выполняет. Мне не стыдно.
Люди всё это дело используют.. У меня пишутся логи. И там я вижу все ошибки. Если люди окажутся отзывчивые, то они будут давать обратную связь по желаемому функционалу. Ну, например, у меня в голове есть мысль добавить сюда разделитель аудио на вокал и инструментал. Это маленькая нейросеть Demikus. Она это умеет. Быть может, еще каких-то годных идей, каких-то фич добавить.А потом я закрываю бета-тест временно, исправляю накопившиеся баги и уже кидаю либо вторую волну бета-тестирования, либо уже полноценный продакшн.

За это время я оценю, первое, как моя система справится с этой нагрузкой. Ну, по логике вещей должна очень быстро справляться, но я не знаю. Я не знаю, как она будет транскрибировать, если, скажем, сотня человек будет пользоваться. Но в любом случае, эту сотню людей еще сюда надо пригласить. Есть некоторые моменты, по которым тоже я пока не решил.

Например, я сейчас использую прокси, он не очень быстрый. И выходит так, что я в Telegram закидываю аудио или видео. Аудио туда загружается довольно долго, относительно секунд 10. Потом бот выгружает это аудио с Telegram себе в файловую систему у меня на компьютере. То есть идет двойная загрузка. А потом транскрибирует.
Он длинные файлы быстрее, чем их загружает. Короткими голосовухами все вообще моментально.

Не сказать, что это критично, но все равно хотелось бы моментальную загрузку и больших файлов. Ведь мы же позиционируем скорость. Думаю, это исправляется хорошим скоростным прокси. На днях куплю, поставлю.

Другая проблема. Телеграм мне не дал API для того, чтобы увеличить объем загружаемых материалов свыше 20 мегабайт.

Тоже для бытового использования, для коротких аудиозаписей и 20 мегабайт за глаза. Но для больших объемов этого не хватит. Но тут, я думаю, можно просто поиграть с позиционированием, если не получится исправить проблему. Можно бота позиционировать больше как рекламную версию, а основную такую серьезную работу оказывать напрямую. Ну, в смысле, решать ее напрямую.Либо закончить, но правда это точно туда дальше, свое веб-приложение. У меня есть, скажем так, чертеж сайта, но это не просто сайт. Это полноценное веб-приложение, но пока еще только чертеж. Когда этот чертеж будет закончен, там будут объединены многие эти сервисы и будущие, которые выходят. Там уже точно не будет абсолютно никаких ограничений ни в чем.Можно в самом Телеграме написать миниапку. Я это поверхностно знаю, но как я понял, миниап в Телеграме это, грубо говоря, веб-сайт внутри Телеграма. Его можно написать лично.Потом есть некоторые проблемки с оплатой. Да, валюту я назначаю, начисляю, то есть сам. Мой бот, который внутри Telegram-бота, связан с моим Telegram-аккаунтом. Если кто-то регистрируется в системе, мне приходит уведомление. Кто-то что-то пишет мне, бот тоже пересылает мне уведомление, кратко сжатое.
Я кидаю ему номер карты, он перечисляет мне деньги, я перечисляю ему эквивалентную сумму в Рубикоин.
Но это работает, если людей 3, 5, 10 человек, сотня может быть, если равномерно они будут обращаться. А когда людей станет тысячи, тогда обязательно это должно быть автоматом.Также я добавил примитивные пока зачатки реферальной системы. Ну, она как бы работает, но я все равно должен буду сам держать в голове то, сколько людей пригласил и так далее. Чтобы все записывалось, надо еще прокачивать. Это еще время. Ну и надо придумать некоторую политику возвратов. Все же, LLM-модели, нейросети для непосредственно транскрибации иногда все равно могут допускать серьезные косяки.
Ну, условно, человек мне закинул 100 рублей, я ему закинул 100 рубикоинов. А он через 3 дня пишет, да не хочу я, давай мне обратно мои 100 рублей. А я их уже потратил. Естественно, так не работает.
Если ему некачественный результат вернулся, а я могу это сразу отследить, я имею доступ ко всем транскрибациям, то, разумеется, я верну человеку теми же рубикоинами на аккаунт сумму.

Но это тоже будет работать, если у меня немного людей, немного клиентов. Когда их станет тысячи, то это уже будет делать невозможно вручную. Ну а с другой стороны, когда их будет тысячи, у меня уже будет больше ресурсов, большее количество правок я уже внесу к этому моменту, и скорее всего многие из проблем текущих уже будут неактуальны.

@RUBICON_ARC_bot

Так что вот ссылка на бота. Заходите, тестируйте. Можно давать обратную связь. Даже это желательно. Ну а я доделаю уже завтра с утра шортс. Я уже его половину сделал, но я уже отключаюсь. Надеюсь, этот шортс завирусится. Ну а дальше мне надо и этот шортс, и подобные посты начать раскидывать везде, где это возможно. Упоминать этого бота везде, где возможно.
Даже не сам по себе продукт для заработка. Это скорее больше такой, больше для рекламы. Я думаю, какие-то постоянные, стабильные, большие объемы для транскрибации я получу от каких-то людей напрямую. А там уже как получать объемы аудио. Ну явно не через телеграм. Как я буду за это оплату принимать. Разные политики конфиденциальности. Может быть какие-то юридические. Забыл, как это называется.
ДНА. Что-то такое. Ну говоря по-простому, подписываешь бумажку, то обязуешься не передавать третьим лицам данные. Типа если ты нарушил, то по идее тебя можно привлечь. Подписываем такую бумажку где-нибудь в офисе у того человека. И я уже от него напрямую беру объемы. Либо вообще ставлю ему в закрытый контур эту систему. Вот там походу денег будет больше.
Визитка, нежели рабочий инструмент. Хотя кто его знает. Посмотрим, что покажет бета-тест. Думаю, 4-6 дней я буду его проводить.

 bubipik, Окей, понял. Ну, думай. Если что, я на связи всегда.

Ну вроде по всем канонам: боль-решение, дебильная музычка (чтоб вьедалось в память), демонстрация скорости и короткая длинна! Посмотрим завирусится ли!

А я всегда думал, что чем подробнее и эпичнее видосы, тем они интереснее, но видимо, подобная хуйня будет выгоднее с точки зрения конверсии и генерации лидов. Хотя, хз!