Статистика
Всего постов
169
63,900 просмотров
Новых постов
+0
0 в день
Лучшие посты автора
Лучшие посты читателей
Самые активные читатели
| qetou | 7 |
| Algoritmik | 6 |
| Nester | 6 |
| Sharpness | 5 |
| rehabilitator | 4 |
-
-
Zedmor, хотел спросить такой вопрос, несколько может холиварный, но просто интересны твои мысли, т.к. ты уже варишься в этом направлении определенное время. Вот сейчас такой большой хайп вокруг big data и сопутствующих технологий. Как ты считаешь, в ближайшей перспективе, скажем 2-3 года, но с прицелом на среднесрочку 5-6 лет, что будет, скажем так не более востребованным, а хотя бы актуальным (с предположением, что вся эта суета вокруг этой темы немного стихнет) - data scientist или java enterprise (web)? И как бы ты сравнил эти два направления скажем с mobile development (в той же временной перспективе)?
Если strkk читает эту тему, то было бы интересно узнать и его мнение, чтобы в двух блогах не спрашивать одно и то же.
P.S. Сейчас стою перед выбором, куда двигаться после изучения java core. Для себя вижу следующие пути: data scientist (очень нравится, с algebra, calculus, statistics все хорошо, но боюсь, что тут будет мало программирования), hadoop developer (тут боюсь слишком узкая специализация, да и конкурировать тут с переквалифицировавшимися DBA будет сложно), java enterprise или mobile (сначала анроид, потом добавить мак). -
Algoritmik, с моей точки зрения (Россия, СПб, 2017 год) мобильная разработка это куда более перспективное направление.
Энтерпрайз никуда не уйдет, однако вряд ли от него стоит ждать бурного роста. Сам по себе он в принципе более "отсталый" и использует, зачастую, лишь проверенные временем технологии. И такое понятие как "легаси код" применяется, в основном, к энтерпрайзным вещам.
По поводу data scientist ничего сказать не могу. -
Цитата (Algoritmik @ 29.4.2017)
Zedmor, хотел спросить такой вопрос, несколько может холиварный, но просто интересны твои мысли, т.к. ты уже варишься в этом направлении определенное время. Вот сейчас такой большой хайп вокруг big data и сопутствующих технологий. Как ты считаешь, в ближайшей перспективе, скажем 2-3 года, но с прицелом на среднесрочку 5-6 лет, что будет, скажем так не более востребованным, а хотя бы актуальным (с предположением, что вся эта суета вокруг этой темы немного стихнет) - data scientist или java enterprise (web)? И как бы ты сравнил эти два направления скажем с mobile development (в той же временной перспективе)?
Вот личное мое мнение что суета вряд ли стихнет - самое востребованное это специалист именно по big data но не в смысле ученый-аналитик, а человек, который способен сам или в комманде эффективно с большими объемами работать. С точки зрения методов обработки получается что для большинства применений эффективность какой-нить примитивной logistic regression или randomforest достаточна и придумывать чего-то не надо особо, а вот задача непростая это очень быстро это делать. По сути всякие map-reduce задачи, базы данных как реляционные так и нет, хадуп-спарк вот это вот все. Но и кроме этого умение все это развернуть, протестировать и тп..
Я вообще смотрю с такой точки зрения - что интересно и что нравится то и делай. Важнее, мне кажется, попасть в интересное место, чем сами технологии. Мне нравится линукс, конфиги, контейнеры и вот все такое - кому-то нравятся другие вещи.Цитата
P.S. Сейчас стою перед выбором, куда двигаться после изучения java core. Для себя вижу следующие пути: data scientist (очень нравится, с algebra, calculus, statistics все хорошо, но боюсь, что тут будет мало программирования), hadoop developer (тут боюсь слишком узкая специализация, да и конкурировать тут с переквалифицировавшимися DBA будет сложно), java enterprise или mobile (сначала анроид, потом добавить мак).
Хорошего ява девплопера оторвут с руками, но ты прав - лучше меньше науки и больше работы руками. Инженеры нужны больше, чем ученые. -
Цитата (Zedmor @ 29.4.2017)
Вот личное мое мнение что суета вряд ли стихнет - самое востребованное это специалист именно по big data но не в смысле ученый-аналитик, а человек, который способен сам или в комманде эффективно с большими объемами работать.
Вот тут как бы и вопрос для меня. Может это из-за недостаточных знаний в этой сфере, сразу заранее извиняюсь. Сколько бы ни пытался найти материалов и ответов на вопрос, чем же отличаются Data scientist от Big Data developer, никак не могу прийти к чему-то very clear. Что значить работать с большими объемами? Уметь их анализировать? Это у нас data scientist делает?
Или ты говоришь о настройке инфрастуктуры и разработке серверных приложений для хранения, обработки, бэкапа и пр. и пр. с big data? В этой сфере, не будет ли огромной конкуренции в последующем с настоящими data base developers/administrators, которые, я так подозреваю, начнут осваиваить big data технологии, чтобы остаться конкурентными на рынке труда?
И еще вопрос, где ты видишь применение, точнее кто будет применять такие технологи, как machine learning and AI в своей работе - data scientist или big data developer? Если вторые, то как это они будут делать? Сорри, если звучит несколько наивно. -
Цитата (Algoritmik @ 29.4.2017)
Вот тут как бы и вопрос для меня. Может это из-за недостаточных знаний в этой сфере, сразу заранее извиняюсь. Сколько бы ни пытался найти материалов и ответов на вопрос, чем же отличаются Data scientist от Big Data developer, никак не могу прийти к чему-то very clear. Что значить работать с большими объемами? Уметь их анализировать? Это у нас data scientist делает?
Или ты говоришь о настройке инфрастуктуры и разработке серверных приложений для хранения, обработки, бэкапа и пр. и пр. с big data? В этой сфере, не будет ли огромной конкуренции в последующем с настоящими data base developers/administrators, которые, я так подозреваю, начнут осваиваить big data технологии, чтобы остаться конкурентными на рынке труда?
Вот отличный тред по этой теме:
https://www.reddit.com/r/cscareerquestions/comments/5l68vx/path_to_becoming_a_data_engineer/
Мне кажется лично, что работы настолько много, что грамотные инфраструктурные инженеры гораздо нужнее. Ну даже посмотри с такой стороны возьмем нетфликс или там какой-нить каяк, как думаешь сколько там на одного scientist-a приходится инженеров? Ну я не знаю подумай сам, конечно, что тебе больше нравится.Цитата
И еще вопрос, где ты видишь применение, точнее кто будет применять такие технологи, как machine learning and AI в своей работе - data scientist или big data developer? Если вторые, то как это они будут делать? Сорри, если звучит несколько наивно.
Я не думаю что есть разница. По сути это одна команда ведь будет - то есть если есть проект, который делает что-то связанное с machine learning там будет человек, который будет разрабатывать методы и несколько кто будет внедрять. Я не знаю так сказать на что ты реально готов в плане времени и сил, но понятно что инженером быть легче чем ученым. Я бы не спрашивал советов, а делал что нравится. Работы завались, это вот точно. По сути у нас сейчас любая компания это AI компания теперь или на пути на разорение и неважно чем они занимаются - едой торгуют или лужайки стригут. А соответственно в любой компании даже небольшого размера есть огромное количество данных, которые бы бизнес хотел бы анализировать, начиная от выкладки товаров на полках, заканчивая наймом, HR и всем чем можно. Понимаешь ход моих мыслей? Не так важна тактика, как стратегия. Я вот учусь на инженера (мне еще много надо выучить) а там посмотрим что получится. -
Спасибо за линк, отличное обсуждение, хоть, мне кажется, автор вопроса там ушел в тех же сомнениях, с какими и прешел. Особенно понравилоась фраза - "You aren't exactly creating, more like using pre-made stuff". В принципе, это и есть ответ, который я искал!
Zedmor, я начал твой блог тут читать с самого начала, и мне казалось, что ты как раз собирался двигаться в сторону data science, нежели заниматься датабазами. Почему решил отойти от первоначального плана? -
Цитата (Algoritmik @ 29.4.2017)
Спасибо за линк, отличное обсуждение, хоть, мне кажется, автор вопроса там ушел в тех же сомнениях, с какими и прешел. Особенно понравилоась фраза - "You aren't exactly creating, more like using pre-made stuff". В принципе, это и есть ответ, который я искал!
Zedmor, я начал твой блог тут читать с самого начала, и мне казалось, что ты как раз собирался двигаться в сторону data science, нежели заниматься датабазами. Почему решил отойти от первоначального плана?
Ответ очень простой - я недосаточно умен. Я знаком с некоторыми учеными-математиками, а ML будучи ученым это довольно продвинутая математика, и могу сказать что мне это тяжело и противно. А вот т.н. tinkering - такое хакерство - разобраться в фреймворке, что-то сделать на нем, выучить какую-то технологию, внедрить - это мне очень нравится. Я по складу ума инженер, а не ученый, мне тяжело дается создавать знания, но я очень быстро могу разобраться в новом и меня не бесит освоить какую-то новую технологию. Поэтому я себя вижу инженером.
Ну и кроме склада ума надо все же трезво рассматривать себя как джуниора пока что, а поэтому это работа выбирает меня а не я ее. И моя основная цель на сейчас это изменить.
Вот мой примерный план:
1. В зависимости от того как пойдет эта компания дорасти до того, чтобы получить возможность устоиться на работу инфраструктурынм инженером или просто софт. инженером в область связанную с data - у нас есть комкаст тут из крупных игроков, там очень много machine learning делается. То есть задача выбирать самому где работать, а не где меня возьмут. То есть если этот стартап не прогорит (а тут шансы 20/80 примерно что получится), то есть мы андердоги, но это нормально, то тут значит будет развитие.
2. С этого уровня подняться до менеджерского, в малой группе. Я вижу себя через 2-3 года как человек отвечающий за инфраструктуру в группе из 2-3 человек. С другой стороны с современными тенденциями (DevOps движение, infrastructure as code) грань между разработчиками и Ops размывается что хорошо. В общем да - начать через 2-3 года работать как менеджер in code.
3. 5-7 лет уже претендовать на менеджерские позиции в серьезных компаниях или организовывать что-то свое. Я сейчас много общаюсь со "стартаперами" - наш город начал предпринимать серьезные усилия, чтобы перетянуть стартапы из НьюЙорка, т.к. там дорого, в общем я не хочу просто тупо сжигать деньги инвесторов на какую-то херню, я хочу делать что-то полезное с шансами на выживание. Ну или участвовать в таковом.
Вообще погрузившить глубже я уже не вижу ничего особенного в machine learning и AI - ну алгоритмы, ну чего такого? Что мы алгоритмов не видели? Магия чутка исчезла.
В качестве прикола хочу сказать что ощущения от 8 терминалов и 4х окон intellij с необходиостью помнить в голове примерные конфигурации 7и репозиторий, конфиги серверов и пр. примерно такие же как от онлайн покера. Я думаю, многие кто не уходит из покера в soft dev делают большую ошибку, т.к. разницы по ощущениям почти нет. -
Btw если кто смотрит silicon valley - оно оч. похоже на правду как не смешно звучит. В птн подслушал звонок с наших руководителей с нашими инвесторами, очень похоже было ;)
-
Сразу вспоминился покерный сленг ;)
zedmor [3:14 PM]
Ok. with all that - what's going on with paystream-jobs? it's not getting built? or packaged correctly? could anybody explain me like I'm five?
aso [3:17 PM]
look at the hello-samza project on github not ours but it's public. samza jobs need to be packaged into a tar file that includes the built jar along with some external properties files and I believe all runtime deps the original maven pom used the assembly plugin to do this but the hello-samza project should have an example build.gradle to do the same thing...the key diff for us is that we have multiple jobs and need to include multiple properties files
zedmor [3:20 PM]
ty - great explanation! -
-
Так, пора чутка всплыть и рассказать что происходит ;)
Сначала о хорошем - меня не уволили ;)
Теперь о плохом - подняли зарплату и теперь я не джуниор, а обычный инженер с зарплатой средней по отрасли. В итоге все стало гораздо тяжелее. Предполагается, что я сам должен решать задачи без того, чтобы дергать за рукав старших, и даже мне дали пол-интерна (точнее интерна взяли в наш тим и мне тоже можно егопосылать за кофепросить погонять тесты и записать результаты в табличку, дописать модуль и всякое такое прочее. Из-за того, что эффективность у меня меньше приходится добирать временем ;( В итоге приходится гриндить софт дев нонстоп.
Вообще надо кое-чего рассказать про мир "big data", когда люди говорят об этом почему-то представляется что-то типа:
Ну а на самом деле... Ну похоже в общем:
Но на самом деле вся эта дата сайнс это как работать на колбасной фабрике - чтобы вышла колбаса кто-то должен уныло настраивать SQL сервер, придумывать всякие каскадные таблицы, методы репликации и писать samza модули, чтобы на выходе получилось что-нибудь совсем простое (типа простейшей логической регрессии, например), но это простое должно ооочень быстро применять к огромному потоку проходящих данных, а эти самые данные должны очень быстро перемещаться по цепочкам разных систем типа хадуп серверов, SQL серверов и проч., чтобы в итоге кто-нибудь где-нибуть мог открыть красивый график. По сути за любой системой типа google trends или zillow или любой другой data-ориентированой штуки стоит очень много всякой такой мелкой работы, которую никто не оценит и никогда не увидит. А все эти алгоритмы и прочие красивые и сложные математические вещи... Ну в общем наверное где-нибудь в гугле это и нужно.
Напишу кратко, чем я занимался за эти 3 месяца и чему научился (пишу больше, чтобы в резюме это засунуть)
- Настроил систему постоянной интерграции, сделал так, чтобы все артифакты и релизы собирались в одном месте, с правильными версиями, проходили автоматические тесты.
- Написал и продолжаю писать систему автоматических тестов для проверки работоспособности всей цепочки обработки данных, с учетом анализа производительности и оценки слабых мест.
- Работаю над оптимизацией SQL серверов - индексы, частичные репликации. В общем что делать, чтобы в SQL быстро вставлялось и быстро вынималось ;)
- Только начал писать samza-контейнеры - это такой фреймворк на яве для потоковой обработки данных.
- Очень много питона в виде разработки и поддержки API на django, который доставляет данные для фронтэнд модуля.
Ну ладно, надеюсь не утомил ;)
Вцелом могу сказать, что уйти из покера лучшее, что было в моей жизни, после того, как придти в покер ;)
А еще у нас сегодня был салют по случаю дня независимости и концерт прямо нашего филадельфийского аркестра. Очень красиво было. Салют такой, что я вообще не помню такого - минут 10 пуляли, бабахало будь здоров.
Всем удачи!
-
Супер! В OpenDataScience коммьюнити не состоишь? -
Прикольный блог, удачи автору!
Я из программирования ушел полностью в покер, за год понял что перспектив там мало, и вернулся обратно.
Кстати, пожил полгодика в Фили, классный город, мне понравился больше чем НЙ. Но профессиональной движухи там мало, на митапах собирались одни старперы.Цитата (Zedmor @ 1.7.2017)
Вообще надо кое-чего рассказать про мир "big data", когда люди говорят об этом почему-то представляется что-то типа:
это больше похоже на data science, чем на big data -
А какие средние по отрасли зарплаты для джуниоров, инжеренов и тд? От чего зависят? На сколько влияет хорошо пройденное собеседование? Как вообще эта тема оговаривается на интервью - HR спрашивает "сколько хочешь получать?" или наоборот предлагают контракт с дефинированной суммой?
Просто в Европе в айти сфере зарплата сильно зависит от умения себя хорошо продать во время интерью и наглости при ответе на вопрос о том, сколько хочешь получать. Зачастую у одного калибра спецов в одной и той же компании зарплата может отличаться в 2 раза. -
Цитата (najs @ 1.7.2017)
А какие средние по отрасли зарплаты для джуниоров, инжеренов и тд? От чего зависят? На сколько влияет хорошо пройденное собеседование? Как вообще эта тема оговаривается на интервью - HR спрашивает "сколько хочешь получать?" или наоборот предлагают контракт с дефинированной суммой?
Просто в Европе в айти сфере зарплата сильно зависит от умения себя хорошо продать во время интерью и наглости при ответе на вопрос о том, сколько хочешь получать. Зачастую у одного калибра спецов в одной и той же компании зарплата может отличаться в 2 раза.
Присоединяюсь к вопросу. Ещё бы хотелось узнать о загруженности в целом и какие перспективы в плане продвижения по службе.
Ну и вообще, как тебе жизнь в США в целом? Завёл ли уже друзей? -
-
Zedmor, Аким, все отлично, один вопрос - клаве почему 25 лет?))
-
Цитата (Boogie_Man @ 1.7.2017)
Супер! В OpenDataScience коммьюнити не состоишь?
А это где? на митапы ходил разные, может и на эти ходил.Цитата (don_eric @ 1.7.2017)
Кстати, пожил полгодика в Фили, классный город, мне понравился больше чем НЙ. Но профессиональной движухи там мало, на митапах собирались одни старперы.
Ну тут у меня у жены работы еще на 2-3 года, а там посмотрим. Наша компания, если сможем продукт сделать, это для меня самое оно. Расти куда дофига есть возможности.Цитата (najs @ 1.7.2017)
А какие средние по отрасли зарплаты для джуниоров, инжеренов и тд? От чего зависят? На сколько влияет хорошо пройденное собеседование? Как вообще эта тема оговаривается на интервью - HR спрашивает "сколько хочешь получать?" или наоборот предлагают контракт с дефинированной суммой?
Просто в Европе в айти сфере зарплата сильно зависит от умения себя хорошо продать во время интерью и наглости при ответе на вопрос о том, сколько хочешь получать. Зачастую у одного калибра спецов в одной и той же компании зарплата может отличаться в 2 раза.
Вцелом по стране примерно так, очень унифицированно - джуниоры 50-60, начинающие-средние 80-100, нормальные толковые 100-120, синьйоры 130+ (зависит от места, у нас соотв -10% примерно в силиконовой долине +20%
Про интервью есть куча книжек - https://inspirit.net.in/books/placements/Cracking%20the%20Coding%20Interview.pdf топовая.
А вообще самая лучшая инвестиция, которую я сделал нанял career coach-а и чела, который мне писал резюме и все письма.
Умение себя продавать это, конечно, тоже суперважно. Найди коача, они стоят копейки.Цитата (Ai'r'r170 @ 1.7.2017)
Присоединяюсь к вопросу. Ещё бы хотелось узнать о загруженности в целом и какие перспективы в плане продвижения по службе.
Ну и вообще, как тебе жизнь в США в целом? Завёл ли уже друзей?
Загруженность вцелом я себе ставлю примерно 160 часов в мес. Но эти 160 часов честные 160.
Вот моя загруженность за июнь:
А вот май:
Вцелом мой день такой - в 7 утра на велике, в 8.20 начинаю работать, ну там летучка в 11 утра, спринт планнинг в понедельник, спринт анализ в пятницу, а так в общем сидишь и кодишь.
Перспективы зависят от меня. У нас 2 команды сейчас 4 человека, и еще другая 4 человека + 2 Опса, которые сервера настраивают и пр.
Как сделаем продукт и пойдут деньги (от новых инвесторов, если у нас будет прибыль) то будут еще людей нанимать, я соотв. буду мож кем-то руководить, но все это нескоро еще. Мне надо сейчас выйти на норм. уровень работоспособности.
В США я уже 10 лет живу ;) А друзей в последнее время только стал заводить - покер был оч. асоциальной деятельностью. Хожу на наше местной чтогдекогда, мафии всякие, русских тут дофига, так что не скучно.Цитата (uMnoc @ 1.7.2017)
Zedmor, Аким, все отлично, один вопрос - клаве почему 25 лет?))
Ну ты чо ваще, Keyboard Model M лучшая клавиатура на свете. 100 баксов нынче стоит уже ;))
http://clickykeyboards.com/
https://www.pckeyboard.com/
-
1 человек читает эту тему (1 гость):
Зачем регистрироваться на GipsyTeam?
- Вы сможете оставлять комментарии, оценивать посты, участвовать в дискуссиях и повышать свой уровень игры.
- Если вы предпочитаете четырехцветную колоду и хотите отключить анимацию аватаров, эти возможности будут в настройках профиля.
- Вам станут доступны закладки, бекинг и другие удобные инструменты сайта.
- На каждой странице будет видно, где появились новые посты и комментарии.
- Если вы зарегистрированы в покер-румах через GipsyTeam, вы получите статистику рейка, бонусные очки для покупок в магазине, эксклюзивные акции и расширенную поддержку.
CircleCI / salt для деплоя, в данный момент как раз конфигурирую всякие роли и пермишны, чтобы деплоилось только с пул-реквестов, через путь с dev конфигурации серверов потом уже в продакшн (чтобы код всегда проходил обкатку на другой системе). Вообще архитектура у нас довольно непростая на ec2 собрана - коробка с webui, MariaDB для консолидации транзакций, друид и хадуп, кафка сервер, граф база данных. Много в общем всего веселого.
Вообще работа DevOps-а которую я по факту выполняю довольно интересная, хотя и нервная.
Читаю интересную книжку сейчас про это, кстати, https://www.amazon.com/Phoenix-Project-DevOps-Helping-Business/dp/0988262592
совсетую всем.