Data scientist (дата сайентист) — что это за профессия и где пройти обучение

Мир стремительно развивается и за последние несколько лет образовались более 80% данных. Кроме того происходит их ежегодное удвоение.

Эти данные необходимо приводить в единую систему, проставлять метки, делать анализ и применять для решения различных задач. Многие предприятия различных сфер деятельности работают со специализированными базами данных.

Например, обработка медицинских карт пациентов, запросы на кредитование, ведение данных застрахованных лиц. Для этого нанимают специалистов по работе с большими массивами данных.

Data scientist – специалист, который эффективно собирает и обрабатывает данные для решения различных задач. Какие навыки должны быть у такого профессионала и как их получить?

Кто такой Data scientist и чем он занимается

Эта профессия сравнительно новая, всего десять лет назад ее официально зарегистрировали в реестре. И за это время ее актуальность возрастает, специалисты достаточно востребованы.

Ежегодно количество информации и разноплановых данных увеличивается. Полученные массивы не удается обработать стандартными приемами статистики. Кроме этого данные собираются в различном формате, не однородны. И это очень затрудняет дальнейшую работу с ними, в том числе анализ.

Именно этим занимается Data scientist – эксперт по работе с большими массивами данных. У него есть все необходимые навыки для решения технических задач. Кроме этого, есть изрядная доля любопытства, без которого не получится верно поставить эти задачи.

Кстати, данные могут быть представлены в различном виде: тексты, таблицы, аудио и видео. Проанализировать их и сделать вывод может Data scientist.

Все сведения специалисты получают при помощи инструментов. Например, в промышленности источниками получения данных могут быть различные измерительные приборы. Они передают результаты по изменению температуры, давления, прочности и других параметров.

В интернете все гораздо интересней. Персональные данные могут быть обработаны только с разрешения владельца. Остальные фиксируются при взаимодействии посетителей сайтов: поисковый запрос, количество кликов на ту или иную кнопку, иконку, элемент, время на сайте или на определенной странице и так далее.

Именно от направления деятельности будут зависеть результаты работы Data scientist. После получения всего объема данных, он проводит анализ и устанавливает закономерности. Благодаря им делает прогнозы, и получает решение для бизнес-задач.

Основные задачи специалиста:

• Оценка работоспособности предприятия и эффективности его деятельности.
• Автоматизация нудных задач.
• Поиск стратегии для улучшения процессов и необходимые инструменты для этого.
• Анализ работы предприятия и поиск зоны роста.
• Анализ и поиск пути для дальнейшего развития.
• Повышение дохода и экономия расходов предприятия.

По сути, работа Data scientist над проектом завершается созданием программы, которая на основании полученных данных выведет самый вероятный результат.

Основные обязанности

Четких требований к специалистам нет, часть работы занимает аналитика и сбор данных. Но не нужно их путать с аналитиками, это совершенно разные профессии.

Очень мало профессионалов, которые отлично понимают все перечисленные дисциплины: математику, логику, машинное обучение, статистику экономику и программирование.

Основные должностные обязанности Data scientist заключаются в следующем:

1. Выяснить, что нужно заказчику и подобрать самый эффективный вариант решения проблемы.
2. Собрать, обработать, изучить весь массив данных.
3. Владеть языками программирования для составления различных моделей.
4. Проанализировать целевую аудиторию и ее поведение.
5. Решать различные задачи для повышения уровня доходов.
6. Программировать и тренировать различные модели машинного обучения.
7. Исключать возможные риски и предлагать варианты минимизации негативных последствий.
8. Внедрять полученную модель для подтверждения гипотез.
9. Подготавливать презентации и отчеты по различным этапам работы.

Если аналитик оперирует только однотипными данными, то Data scientist принимает во внимание все детали, предлагает гипотезы и создает рабочую модель.

Что нужно знать и уметь

У профессионала должны быть определенные навыки. Не требует академического уровня знаний от специалиста по математике, статистике, экономике и информатике. Но оперировать базовыми знаниями он должен идеально.

Ключевые компетенции Data scientist:

• Знать и использовать алгоритмы Machine Learning и Deep Learning.
• Уметь писать код на распространенных языках программирования – SAS, R, Python, C++.
• Работать с базами данных MySQL и PostgreSQL.
• Использовать для работы с массивами Hadoop, MapReduce, Apache Hive, Apache Kafka, Apache Spark.
• Уверенно владеть английским языком для работы с зарубежными клиентами.

Ключевые термины, которые важно понимать на самом старте в профессии:

• Большие данные (Big Data) – работа с большим объемом неоднородных по структуре данных.
• Машинное обучение (Machine Learning) – создание инструмента для извлечения нужных знаний из большого массива данных. Модели ML могут обучаться самостоятельно или поэтапно по приготовленным учителем данным.
• Искусственный интеллект (Ar­ti­fi­cial In­tel­li­gence) – область, посвященная созданию интеллектуальных систем, работающих и действующих как люди.
• Глубокое обучение (Deep Learning) – создание многослойных нейронных сетей в тех областях, в которых не справляется традиционное машинное обучение и нужен более продвинутый анализ.

Специалист даже на старте обязан уметь выполнять следующие задачи:

• Использовать технологии и инструменты при предоставлении отчетов в графическом формате.
• Извлекать нужную информацию из разноплановых источников.
• Подготавливать Big Data к переводу в удобный для работы формат.
• При обработке данных видеть закономерности и логические связи.
• Разрабатывать эффективные решения для поставленных задач.
• Понимать, что необходимо для успешного внедрения разработанной программы.

Освоить специальность Data scientist гораздо проще людям с аналитическим складом ума. Гуманитариям понадобится гораздо больше усилий для того, чтобы добиться значимых результатов в профессии.

Изначально человек должен быть внимательным к деталям, усидчивым, настойчивым в достижении цели. Он должен быть коммуникабельным и трудолюбивым. Именно эти качества помогают при работе над проектом и решением задач.

Вакансии и зарплата, перспективы профессии

Эта профессия достаточно молодая, но уже востребована на рынке. Количество данных растет в геометрической прогрессии и требует нестандартного подхода к обработке. Традиционное машинное обучение не срабатывает, нужен совершенно другой подход.

Специалистов разного уровня недостаточно, спрос на их услуги очень высок. Но важно понимать, что выйти на достойную оплату труда за несколько месяцев для Data scientist невозможно. Но для старта в профессии достаточно иметь отличную математическую базу, навыки программирование и знать алгоритмы.

В зависимости от уровня знаний и опыта работы зарплата специалиста будет следующая:

Самые свежие вакансии с кратким описанием требований к кандидату

Итак, начинающий специалист может рассчитывать на зарплату от 60 000 рублей. Востребованность и высокую оплату подтверждают следующие вырезки только с одного сайта с вакансиями:

Направления развития в профессии

Data scientist всегда работает в команде, состоящей из аналитиков и инженеров данных. Каждый специалист занимается только одним направлением:

• Data engineer – инженер данных, отвечает за создание и поддержку инфраструктуры, обеспечивая сбор, хранение и управление потоками данных в реальном времени.
• Chief data officer – директор по данным, управляет жизненным циклом данных так, чтобы каждый специалист получал нужную информацию в подходящем виде и приемлемом качестве. Контролирует работу других специалистов.
• Data mining – аналитик данных, который обрабатывает исходные данные и предоставляет их в компактном виде.
• Text mining – аналитик текстов, который обрабатывает и разделяет тексты на категории, извлекая информацию и обрабатывая изменения.

Сферы применения Data scientist

В настоящее время формирование и обработка баз данных есть в любой сфере деятельности. В реальной жизни специалист может найти применение своих знаний в следующих отраслях:

Как стать Data scientist: лучшее обучение

Следует помнить, что востребованным специалистом не получится стать при самостоятельном изучении всех дисциплин. В любом случае необходимо пройти профессиональные курсы.

Отличный курс для новичков с любым уровнем начальных знаний – «Data scientist» от Skillfaktory. Именно здесь обучение построено таким образом, что на каждом этапе погружения в профессию новичок работает с реальными задачами от партнеров. Каждый полученный кейс входит в портфолио выпускника.

Обучение длится 24 месяца, то есть два семестра по 6 месяцев. За это время новичок достигает уровень Junior с портфолио из 8-и кейсов различных тематик.

Следующие 2 семестра – специализация по выбору. За 12 месяцев студент наполняет свое портфолио еще пятью успешными кейсами. В результате обучения и работы над реальными задачами достигает уровня Middle.

После завершения обучения каждый выпускник обладает знаниями и навыками достигнутого уровня. Может претендовать на соответствующую оплату своего труда.

Особенность обучения на этом курсе в том, что каждый студент в ходе решения задачи может обратиться к куратору. Это помогает оперативно получить ответ на вопрос и поддержку.

За время обучения каждый студент получает 2 года стажа по специальности и профессиональное портфолио уровня Middle. Это значительно экономит время и дает быстрый старт в карьере.

Что почитать по профессии

Есть огромный перечень специальной литературы, которые пригодится в работе и учебе. Профессионал должен всегда держать руку на пульсе и быть в курсе новостей.

• «Теоретический минимум по Big Data. Все что нужно знать о больших данных» Анналин Ын, Кеннет Су. Книга написана легко и интересно для всех любопытствующих и начинающих. Даны пояснения, чем занимается эта дисциплина, основные понятия и приемы работы.
• «Все лгут. Поисковики, Big Data и интернет знают о вас все» Сет Стивенс-Давидовиц. Книга о том, как при помощи больших данных можно узнать все о современном обществе. Изложены основные 5-10 фактов о работе по сбору информации.
• «Аналитика и Data Science. Для не-аналитиков и даже 100% гуманитариев» Никита Сергеев. Интересная книга об аналитике данных, которая поможет разобраться в сложных терминах. Подходит для новичков и помогает систематизировать знания в этой области.
• «Работа с данными в любой сфере» Кирилл Еременко. Практическое руководство и увлекательное путешествие в мир данных. Автор рассказывает об основных методах, алгоритмах и приемах.
• «Технологии анализа данных: Data Mining, Visual Mining, Text Mining, OLAP» В.В. Степаненко, А.А. Барсегян, И.И. Холод, М.С. Куприянов. Книга предназначена для студентов. В ней кратко излагаются основные направления в области разработки систем.

Самые популярные вопросы

Если никогда не занимался аналитикой, получится ли освоить Data scientist?

Если у новичка развито аналитическое мышление, то при правильном подходе к обучению можно достигнуть хорошего уровня. Достаточно своевременно выполнять задания, общаться с куратором и самостоятельно расширять кругозор.

Можно ли совмещать обучение с основной работой?

Каждый студент проходит обучение в своем темпе. Все уроки доступны после окончания поддержки куратора еще некоторое время. Всегда можно вернуться к теме и повторить пройденный материал.

Как можно найти работу по специальности после получения диплома?

Уже во время обучения каждый студент выполняет реальные задачи и наполняет портфолио. После окончания обучения будет доступен раздел с рекомендациями по поиску проектов.

Как искать вакансии?

На самом деле в вакансии пишут, что требуются IT-аналитики, специалисты по анализу. Только при собеседовании будет понятно, какой именно специалист требуется работодателю.

Коротко о главном

Достаточно новая профессия Data scientist прочно входит в список востребованных. Специалист легко оперирует большой базой различных данных и находит решение сложных бизнес-задач.

Как стать востребованным специалистом высокого уровня и что для этого нужно? Достаточно обладать аналитическим складом ума и пройти обучение.