Middle Data Engineer (аутстафф)
Описание
SJ GLOBAL (аутстафф) — это более 10 лет успешной работы в сфере разработки мобильных приложений и сложных бэкенд-систем для бизнеса. Мы помогаем компаниям оптимизировать работу с клиентами, сотрудниками и финансовыми потоками. Мы создали более 100 приложений для различных отраслей, включая общепит, логистику, производство и стартапы. Победители Федерального конкурса «Опора для IT», организаторы хакатонов. Присоединяйтесь к нам, чтобы расти и развиваться вместе с командой профессионалов! Чем предстоит заниматьсяРазрабатывать и поддерживать ETL/ELT-процессы и data pipelines.Разрабатывать DAG'и и автоматизировать процессы обработки данных в Apache Airflow.Разрабатывать и оптимизировать SQL-запросы.Создавать и поддерживать витрины данных.Работать со слоями DWH и преобразованием данных.Обрабатывать большие объёмы данных с использованием Apache Spark.Разрабатывать интеграции с различными источниками данных.Контролировать качество и целостность данных, участвовать в поиске и анализе расхождений.Оптимизировать производительность запросов и процессов обработки данных.Поддерживать существующие data pipelines и участвовать в устранении возникающих проблем.Вести техническую документацию и описывать реализованные решения.Взаимодействовать с аналитиками и другими участниками команды.Что ожидаемОт 3 лет коммерческого опыта в Data Engineering / разработке DWH.Коммерческий опыт разработки на Python.Уверенное знание SQL: сложные запросы, CTE, оконные функции, работа с индексами, оптимизация запросов.Практический опыт работы с PostgreSQL или Greenplum.Опыт работы с Apache Airflow в production.Опыт разработки на Apache Spark.Опыт разработки и поддержки ETL/ELT-процессов.Опыт работы с большими объёмами данных.Понимание принципов построения DWH / Data Lake / Lakehouse.Опыт разработки и поддержки витрин данных.Уверенная работа с Git.Уверенная работа в Linux/Unix.Понимание принципов контроля качества и целостности данных.Будет плюсомdbtTrinoHadoop / HDFS / HiveS3 / MinIOClickHouseKafka / NiFiSCD2 и историчность данныхИерархические справочники и таблицы соответствия данныхОпыт интеграции с SAP / 1СОпыт построения витрин признаков для MLPower BI / DataLensGrafana / ZabbixВажноНам нужен специалист с подтвержденным коммерческим опытом , который самостоятельно разрабатывал и поддерживал ETL-процессы и data pipelinesБудет преимуществом опыт работы с управленческой отчётностью, историчностью данных, справочниками и задачами, связанными с обеспечением качества данных.УсловияУдалённая работа.Полная занятость.Оформление: самозанятость/ИПВыплаты один раз в месяц - фиксированный оклад