Python-разработчик — парсинг и сбор данных (Middle/Middle+)

Описание

Локация: Москва, Можайское шоссе; работа на месте работодателя, офисЗарплата: 180 000–230 000 ₽ на руки в месяцКомпанияHeadHunter ищет разработчика для создания и поддержки системы сбора данных из открытых источников.Что делатьРазрабатывать сборщики на Python, получать данные через API и HTTP-запросы, извлекать информацию из HTML и использовать браузерную автоматизацию.Собирать сведения о профилях, публикациях и активности, загружать фотографии и другие материалы.Проверять и нормализовать данные, обрабатывать пропуски и предотвращать дублирование записей.Реализовывать запись и обновление данных в PostgreSQL, связывать записи с файлами в объектном хранилище.Настраивать регулярные запуски, обработку ошибок и повторные попытки, сохранять источники и время получения данных.Поддерживать сборщики при изменении источников, писать тесты и добавлять логи для диагностики.ТребованияПрактический опыт разработки на Python и создания сборщиков или интеграций с внешними API.Понимание HTTP, JSON, HTML, пагинации, таймаутов и ограничений частоты запросов.Опыт работы с requests, HTTPX или aiohttp, а также BeautifulSoup, lxml или Scrapy.Уверенный базовый SQL, желательно знание PostgreSQL; понимание проверки результатов сбора и предотвращения повторных записей.Опыт работы с Git, отладки и написания тестов, например на pytest.Знание Playwright или Selenium, асинхронного Python и asyncio.Хорошо, если естьSQLAlchemy и Alembic.Docker, Linux и опыт запуска задач по расписанию.Celery, RQ или другие инструменты фоновой обработки.S3-совместимые хранилища.Опыт длительного сопровождения нескольких источников.Культура и преимуществаПолная занятость в офисе.Работа с более чем 15 источниками и объёмом от 1 млн профилей.Решения обсуждаются и проходят ревью.