Senior Data/Lineage Engineer
Описание
Привет! Команда Evrone занимается продуктовой разработкой стартапов и помогает в цифровой трансформации бизнеса в России, США и Европе. Думаю, что вы о нас слышали от Григория Петрова (Evrone Devrel). Ищем Data/Lineage инженера уровня Senior. Заработная плата зависит от уровня и определяется после прохождения технического собеседования. Проект в домене MedTech, формирование устойчивого контура идентичности, схем данных, происхождения и хранения артефактов в платформе in-silico drug discovery. Стадия проекта: рабочий прототип, целевая архитектура не зафиксирована окончательно. Среда: преимущественно on-prem и air-gap, возможны shared trust zone, dedicated cell и burst-очередь во внешний cloud. Бизнес-задача роли: не допустить потери истории кандидатов и результатов вычислительных экспериментов при развитии платформы и замене отдельных инфраструктурных компонентов. Downstream-стадии должны получать входные данные по устойчивому идентификатору предшественника и ссылке на объектное хранилище, а не по локальному пути на GPU-ноде. Задачи: Разобрать текущие источники данных, lineage-теги, выходные схемы и сценарии, где успешный статус задачи не гарантирует наличие скачиваемого файла; Зафиксировать правила идентичности сущностей. На текущем этапе — дисциплина тегов при enqueue; целевой контур — compound registry с соответствием `InChIKey ↔ internal id`; Версионировать `output_schema` и extractors для Vina, OpenFE, ADMET, Lilly, triage, nomination и MADD; Обеспечить читаемость старых артефактов после появления новых версий схем; Настроить происхождение между стадиями в формате OpenLineage `START / COMPLETE / FAIL` или эквиваленте; Реализовать audit exporter без создания второго журнала статусов рядом с оркестратором; Ввести QC артефактов. Объект в MinIO/S3 должен скачиваться и парситься; `completed` без файла должен завершаться явной ошибкой; Перевести downstream-получение входов на идентификаторы и `s3://`, исключив зависимость от локальных путей; Согласовать контракты схем через JSON Schema и YAML handoff, а также glossary научных метрик совместно с backend и R&D; Закрепить инварианты автоматизированными тестами и передать документацию внутренней команде Что для нас важно: Уверенный Python; SQL и PostgreSQL, включая миграции и понимание Row-Level Security; Опыт построения пайплайнов, где объектное хранилище является source of truth; Практический опыт data contracts, schema evolution и lineage; Работа с файловыми и бинарными артефактами, а не только с таблицами DWH; Опыт проектирования устойчивой идентичности сущностей независимо от оркестратора; Умение фиксировать инварианты тестами и передавать решение внутренней команде Будет ОГРОМНЫМ плюсом: Понимание семантики OpenLineage, Marquez или DataHub без привязки решения к конкретному бренду; Опыт MLOps или научных пайплайнов с артефактами: ClearML, MLflow, Flyte, Nextflow или Airflow; RDKit, SDF и Parquet, JSON Schema; Опыт on-prem или air-gap окружений Результат первых 60–90 дней: Карта разрывов lineage на пути `enqueue → nomination`; Работающие инварианты «нет обязательных тегов — нет enqueue» и «нет файла — нет успешного завершения»; Версии extractors согласованы с `tools.manifest`; Принято решение по audit-событиям без появления второго source of truth; Зафиксирован контракт данных, не зависящий от API ClearML; Критичные инварианты покрыты тестами, документация передана внутренней команде Вне скоупа: Интерпретация SAR и критерии nomination; SDTM/ADaM, SEND, ELN/LIMS, RWE и GLP system of record; GPU-очереди и выбор замены ClearML как workload manager; BFF и UI, кроме стыков по схемам, скачиванию и идентичности; Построение нового data lake или DWH Почему Evrone: Мы занимаемся технически сложными, высоконагруженными, наукоёмкими проектами, проектами с большой бизнес логикой или большой серверной инфраструктурой. Нам доверяют: аналитику, проектирование интерфейсов и дизайн, разработку, инфраструктуру и эксплуатацию. Мы становимся технической командой проекта целиком или консультируем и расширяем возможности существующих команд наших клиентов. Кроме того, Evrone помогает развиваться сообществу разработчиков. Мы делаем самую большую в России конференцию по Ruby — RubyRussia, проводим технические митапы, делаем свой новостной дайджест, а также спонсируем и помогаем в проведении конференций по Go, Python, React/Vue и функциональным языкам. Наши инженеры выступают на ведущих конференциях России и Европы и вносят вклад в Open Source проекты, мы берем интервью у лидеров комьюнити и пишем статьи на самые горячие темы индустрии. В этом году мы ставили стенд и выступали на конференциях Highload и TeamLeadConf. Вся команда работает удаленно с 2008 года. Мы знаем как организовать распределенную разработку комфортно и эффективно. Есть офисы для работы и встреч в Москве и Воронеже, а также офисы продаж в Сан-Франциско и Берлине. Что предлагаем: Удаленную фултайм работу и мягкий график. Достаточно синхронизировать тайм-зоны и иметь пересечения рабочего времени с командой; Качественный онбординг и hr-менеджмент (1:1, Grow Review). По желанию меняем проекты, не даем стагнировать. При формировании команды проекта учитываем профессиональные или личные интересы разработчиков; Работу в разновозрастном, разнополом и потрясающе дружном и профессиональном коллективе; Хорошо организованный воркфлоу, отсутствие бюрократии. Работа на доверии. Наши разработчики работают только над одним проектом. Без постоянных переключений между ними. Одна из ценностей Evrone – работа с удовольствием. Для этого мы придумали Evrone Benefits. Каждому из нас выделяется годовой бюджет, автоматически пополняемый каждый новый год вашей работы в Evrone. Его можно потратить на полезные категории трат, направленные на: ДМС и здоровье; Спорт и абонемент для фитнеса или инвентарь для спорта; Курсы иностранного языка; Техника для работы и улучшение рабочего места; Обучение: курсы, тренинги, мастер-классы, семинары, книги и конференции. Бонусы и премии: Повышение зарплаты по мере роста компетенций (по результатам ассесмента); Премии за привлечение новых сотрудников и новых клиентов; Дополнительная премия за выступления на конференциях и митапах; У вас есть возможность принять участие в проведении технических интервью специалистов, которые могут стать вашими коллегами. Проведение интервью оплачивается. Обучение и рост компетенций: Проводим митапы. Вы можете быть как и слушателем, так и спикером; У нас есть культура менторства. В повседневных задачах и планировании карьеры будет помогать наставник; Развивать профессиональный уровень можно с помощью системы ассессмента Evrone Challenge; Есть внутренняя библиотека с электронными книгами и записанными курсами; Работаем и дружим с западными заказчиками, есть возможность практиковать свой английский. Возможность стать докладчиком или автором: Если вы хотите выступить на оффлайн конференции, мы поможем вам подготовить контент для доклада и сделаем крутые слайды. DevRel Evrone (Григорий Петров) поможет подготовиться к выступлению на конференции, окажем поддержку на самой конференции и подготовим материалы с вашим докладом. Если вы хотите выступить на онлайн конференции, помимо помощи по подготовке доклада и подбору конференции, мы организуем вам студийную съемку или трансляцию вашего доклада; У нас есть блоги на всех популярных платформах России и мира. Наши редакторы и профессиональные авторы еженедельно выпускают новые материалы; Если вы написали статью, мы нарисуем для нее иллюстрации и поможем вам ее оформить и опубликовать. Если у вас есть только идея - редакторы помогут сформулировать мысли, оформить пост самостоятельно и правильно опубликовать для максимального охвата. Возможность прокачаться в Open Source: Если у вас есть популярные open source проекты – мы поможем с их продвижением и окажем поддержку в развитии; Если вы контрибьютите в популярные проекты с открытым исходным кодом, мы оплатим часы, которые вы на это потратили. Если вы ничего этого не делаете, но очень хочется начать – в Evrone есть менторы, которые помогут вам сделать первые шаги: подберут задачки для старта, помогут решить их и правильно оформить pr. Отдых и развиртуализация: Мы проводим ежегодный фестиваль Evrone Fest, на котором собирается вся наша команда, а также тематические встречи в различных городах. Поэтому, где бы вы ни находились, мы будем рады увидеться лично.