BigData Integration Engineer




BigData Infrastructure Engineer

Задачи:

● Развертывание и сопровождение тестовых и производственных сред экосистемы Hadoop (для R&D проектов);

● Настройка, оптимизация параметров кластера, траблшутинг проблем пользователей, мониторинга;

● Проведение инсталляций, апгрейдов, наката патчей и настройки дистрибутивов: Cloudera, Hortonworks и др.

● Подготовка инструкций для администраторов промышленных систем;

● Участвовать в построение архитектуры Data Lake.

Требования:

● Не менее двух лет релевантного (администратор *nix) опыта работы;

● Опыт написания скриптов автоматизации (perl, bash, powershell, python, Java);

● Опыт администрирования Hadoop, open source решений, java приложений (трабшутинг, установка обновлений, развертывание, доступы, настройка мониторинга, диагностика узких мест, в т.ч. и производительность);

Желательно:

● Опыт администрирования MPP СУБД (в т.ч. backup/restore);

● Опыт работы со средами виртуализации (Hyper-V);

● Опыт поиска узких мест в производительности приложений со стороны оборудования (диски, cpu, сеть);

● Знание SQL.

Главный инженер(аналитик)

Обязанности

● Разработка методики тестирования, тестовой модели, стратегии (функциональное тестирование)

● Анализ бизнес-процессов\требований

● Контроль качества тестовой модели, актуализация.

● Подготовка тестовой документации (отчеты об исследованиях, сбор и анализ метрик, иная документация)

Data Warehouse Enginee

Задачи:

● Тестирование open source решений для реализации задач DWH;

● Реализация PoC проектов по DWH;

● Участвовать в построение архитектуры Data Lake.

Требования:

● Не менее 2х лет релевантного опыта работы;

● Опыт работы с большими объемами данных;

● Опыт оптимизации выполнения запросов;

● Опыт проектирования схемы данных БД;

● Понимание процесса и целей нормализации/денормализации данных;

● Уверенное знание SQL;

● Понимение моделей хранения данных: Data vault, Anchor Modeling, "Звезда/Снежинка", Kimball, Inmon;

● Понимание Плюсов/минусов/целей применений этих моделей данных;

● Опыт построения архитектуры БД. Многослойная модель данных.

Желательно:

● Знание (одного из): Java, Python в контексте обработки данных;

● Опыт промышленной разработки с любой MPP СУБД (Teradata, Vertica, Netezza);

● Большим преимуществом будет опыт работы с Open Source MPP DB;

● Greenplum, PostgreSQL, ClickHouse.

Ведущий специалист (Data Science)

Задачи:

● Выявление причинно-следственных связей и их количественная оценка в сложных многосвязных системах

Требования:

● Знание основных принципов функционирования ж/д транспорта (общий курс железных дорог), свободное владение терминологией

● фундаментальные знания математики (линейная алгебра, теория вероятностей, численные методы), прикладной статистики, Computer Science и машинного обучения;

● Навыки в основных методах статистического анализа данных (регрессионный, корелляционный, авторегрессионный анализ, кластерный анализ, метод главных компонент)

● Линейный и нелинейный анализ зависимостей

● Опыт в построении нейросетей для анализа сложных причинно-следственных связей.

● Умение «добывать», очищать, моделировать и визуализировать данные;

● Опыт написания скриптов автоматизации (perl, bash, powershell, Java);

● Знание Python и R.

Желательно:

● умение работать в команде,

● делать презентации,

● эффективно писать и говорить

● знать SQL

 

Программисты

Требования:

● Знание языков C++, Python, Iava, Go на высоком уровне

Инженер по тестированию

Обязанности

● Разработка тестов

● Запуск тестов

● Анализ тестовой документации

● Анализ проектной документации

● Умение выделять требования и покрывать тестами

● Уверенное владения методиками тест-дизайна

DevOps / QA

Опыт работы на аналогичной позиции 2-3 года.

Задачи:

● Автоматизация технологических процессов разработки, тестирования и развертывания ПО.

● Мониторинг и контроль процессов

● Написание автоматизированных тестов

Требования:

● Иметь опыт написания тестовых сценариев и автоматизированных тестов

● Знать и уметь использовать Ansible, Chef, Docker, Docker Compose, Vagrant, Jenkins, Gitlab, Kubernetes и др. инструменты

● Знать и иметь опыт с как минимум одним из ЯП: Python, Ruby, JavaScript, Golang, Java и др.

● Опыт автоматизации развертывания и тестирования различных проектов, настройки CI/CD

Опыт развертывания и настройки различных программных систем мониторинга.

BigData Integration Engineer

Задачи:

● Тестирование Open Source решений для загрузки структурированных и неструктурированных данных в Data Lake, из реляционных источников - SQL to Hadoop;

● Тестирование Open Source интеграционных решений для потоковой обработки данных;

● Реализация PoC проектов по интеграции Data Lake.

Требования:

● Не менее 2х лет релевантного опыта работы;

● Опыт промышленной разработки одного из языков: Java, Python, Scala;

● Опыт работы с REST/SOAP;

● Опыт построения ассинхронной интеграции;

● Уверенное знание Bash/Linux.

Желательно:

● Опыт работы с Open Source решениями;

● Знание основных паттернов разработки;

● Опыт работы со Spark, Kafka, Storm, Hadoop;



Поделиться:




Поиск по сайту

©2015-2024 poisk-ru.ru
Все права принадлежать их авторам. Данный сайт не претендует на авторства, а предоставляет бесплатное использование.
Дата создания страницы: 2019-04-04 Нарушение авторских прав и Нарушение персональных данных


Поиск по сайту: