BigData Infrastructure Engineer
Задачи:
● Развертывание и сопровождение тестовых и производственных сред экосистемы Hadoop (для R&D проектов);
● Настройка, оптимизация параметров кластера, траблшутинг проблем пользователей, мониторинга;
● Проведение инсталляций, апгрейдов, наката патчей и настройки дистрибутивов: Cloudera, Hortonworks и др.
● Подготовка инструкций для администраторов промышленных систем;
● Участвовать в построение архитектуры Data Lake.
Требования:
● Не менее двух лет релевантного (администратор *nix) опыта работы;
● Опыт написания скриптов автоматизации (perl, bash, powershell, python, Java);
● Опыт администрирования Hadoop, open source решений, java приложений (трабшутинг, установка обновлений, развертывание, доступы, настройка мониторинга, диагностика узких мест, в т.ч. и производительность);
Желательно:
● Опыт администрирования MPP СУБД (в т.ч. backup/restore);
● Опыт работы со средами виртуализации (Hyper-V);
● Опыт поиска узких мест в производительности приложений со стороны оборудования (диски, cpu, сеть);
● Знание SQL.
Главный инженер(аналитик)
Обязанности
● Разработка методики тестирования, тестовой модели, стратегии (функциональное тестирование)
● Анализ бизнес-процессов\требований
● Контроль качества тестовой модели, актуализация.
● Подготовка тестовой документации (отчеты об исследованиях, сбор и анализ метрик, иная документация)
Data Warehouse Enginee
Задачи:
● Тестирование open source решений для реализации задач DWH;
● Реализация PoC проектов по DWH;
● Участвовать в построение архитектуры Data Lake.
Требования:
● Не менее 2х лет релевантного опыта работы;
● Опыт работы с большими объемами данных;
|
|
● Опыт оптимизации выполнения запросов;
● Опыт проектирования схемы данных БД;
● Понимание процесса и целей нормализации/денормализации данных;
● Уверенное знание SQL;
● Понимение моделей хранения данных: Data vault, Anchor Modeling, "Звезда/Снежинка", Kimball, Inmon;
● Понимание Плюсов/минусов/целей применений этих моделей данных;
● Опыт построения архитектуры БД. Многослойная модель данных.
Желательно:
● Знание (одного из): Java, Python в контексте обработки данных;
● Опыт промышленной разработки с любой MPP СУБД (Teradata, Vertica, Netezza);
● Большим преимуществом будет опыт работы с Open Source MPP DB;
● Greenplum, PostgreSQL, ClickHouse.
Ведущий специалист (Data Science)
Задачи:
● Выявление причинно-следственных связей и их количественная оценка в сложных многосвязных системах
Требования:
● Знание основных принципов функционирования ж/д транспорта (общий курс железных дорог), свободное владение терминологией
● фундаментальные знания математики (линейная алгебра, теория вероятностей, численные методы), прикладной статистики, Computer Science и машинного обучения;
● Навыки в основных методах статистического анализа данных (регрессионный, корелляционный, авторегрессионный анализ, кластерный анализ, метод главных компонент)
● Линейный и нелинейный анализ зависимостей
● Опыт в построении нейросетей для анализа сложных причинно-следственных связей.
● Умение «добывать», очищать, моделировать и визуализировать данные;
● Опыт написания скриптов автоматизации (perl, bash, powershell, Java);
● Знание Python и R.
Желательно:
|
|
● умение работать в команде,
● делать презентации,
● эффективно писать и говорить
● знать SQL
Программисты
Требования:
● Знание языков C++, Python, Iava, Go на высоком уровне
Инженер по тестированию
Обязанности
● Разработка тестов
● Запуск тестов
● Анализ тестовой документации
● Анализ проектной документации
● Умение выделять требования и покрывать тестами
● Уверенное владения методиками тест-дизайна
DevOps / QA
Опыт работы на аналогичной позиции 2-3 года.
Задачи:
● Автоматизация технологических процессов разработки, тестирования и развертывания ПО.
● Мониторинг и контроль процессов
● Написание автоматизированных тестов
Требования:
● Иметь опыт написания тестовых сценариев и автоматизированных тестов
● Знать и уметь использовать Ansible, Chef, Docker, Docker Compose, Vagrant, Jenkins, Gitlab, Kubernetes и др. инструменты
● Знать и иметь опыт с как минимум одним из ЯП: Python, Ruby, JavaScript, Golang, Java и др.
● Опыт автоматизации развертывания и тестирования различных проектов, настройки CI/CD
Опыт развертывания и настройки различных программных систем мониторинга.
BigData Integration Engineer
Задачи:
● Тестирование Open Source решений для загрузки структурированных и неструктурированных данных в Data Lake, из реляционных источников - SQL to Hadoop;
● Тестирование Open Source интеграционных решений для потоковой обработки данных;
● Реализация PoC проектов по интеграции Data Lake.
Требования:
● Не менее 2х лет релевантного опыта работы;
● Опыт промышленной разработки одного из языков: Java, Python, Scala;
● Опыт работы с REST/SOAP;
● Опыт построения ассинхронной интеграции;
● Уверенное знание Bash/Linux.
Желательно:
● Опыт работы с Open Source решениями;
● Знание основных паттернов разработки;
● Опыт работы со Spark, Kafka, Storm, Hadoop;