Data Engineer, Middle + (3 – 6 лет)

150 000 ₽

Доход в месяц

Проектная

Занятость

Гибрид

Формат

Телеком-оператор из ТОП-5 в РФ

Работодатель

Требуемые навыки

Задачи

Аналитическая часть - Cогласование и уточнение требований к доработкам продукта. - Cогласование и уточнение требований к системе копирования. - Cогласование и уточнение требований к системе трансформации данных. Разработка - Разработка архитектуры системы копирования данных. - Разработка архитектуры системы трансформации данных. - Настройка тестовой центральной ETL среды и тестовой MPP Greenplum. - Модуль управления (добавления) заданиями. - Разработка переноса таблиц staging в конечные таблицы хранилища. - Процесс создания view и плоских таблиц на основе мета данных для интеграции другими системами. - Реализация ETL-процесса c копированием таблиц SAS. - Оптимизация производительности. - Проведение нагрузочного тестирования. - Адаптация разработанного функционала для переноса на продуктивный стенд. - Продуктивизация сборки витрин и создание интеграций с источниками по разработанным концепциям архитектуры. Документация - Разработка приемо-сдаточной документации. - Согласование результатов на тестовом стенде. - Участие в приемо-сдаточных испытаниях.

Требования

Oracle/Hadoop/Teradata, SQL/Python/Spark/Hive, Airflow, Grafana/ SAS - Опыт разработки ETL-процессов с использование инструментов SAS от трех лет - Опыт разработки ETL-процессов для Greenplum. - Опыт участия в проектах по созданию и развитию DWH. - Умение работать с Bash-скриптами. - Опыт промышленной разработки на Python. - Опыт участия в проектах по созданию и развитию Data Vault.

Понравился формат вакансии? Разместите свою также и получите доступ к откликам от 4 000 ИТ-специалистов

ID вакансии: 2129

Данные