Технический специалист по парсингу и сбору данных
Описание
Мы — торговая компания, работающая на российском рынке строительных и промышленных материалов. Развиваем направление сбора и обработки информации о компаниях, работающих в сегментах металлопроката, сэндвич-панелей, ЖБИ и других строительных материалов. Основные задачи 1. Разобраться в технической стороне парсинга* Понимать принципы автоматизированного сбора данных с сайтов.* Знать, какие существуют технологии и инструменты сбора информации.* Разбираться в возможностях и ограничениях различных решений.* Понимать, какие задачи можно автоматизировать, а какие требуют дополнительных ресурсов.2. Оценивать технические решения и подрядчиков* Анализировать предлагаемые технологии и способы реализации проектов.* Оценивать реалистичность технических обещаний подрядчиков.* Понимать, какие ресурсы необходимы для запуска и поддержки систем.* Помогать выбирать подходящие решения для конкретных товарных направлений.3. Контролировать качество получаемых данных* Разрабатывать критерии оценки качества баз.* Анализировать полноту и актуальность информации.* Выявлять дубли, ошибки и другие проблемы в данных.* Оценивать соответствие результата поставленной задаче.4. Развивать направление* Изучать возможности применения технологий к новым товарным категориям.* Оценивать перспективы автоматизации сбора информации.* Предлагать способы повышения эффективности процессов.* Помогать формировать технические требования для будущих проектов.5. Взаимодействовать с руководством* Объяснять технические вопросы понятным языком.* Аргументированно оценивать предложения поставщиков технологий.* Предоставлять независимое мнение о возможностях, стоимости и ограничениях решений. Кого мы ищем Нам интересен кандидат, который работал хотя бы в одном из следующих направлений: * Big Data и автоматизированный сбор данных.* Разработка и поддержка парсеров.* Техническая реализация сервисов сбора информации.* Обработка и очистка больших массивов данных.* Разработка инструментов автоматизации сбора данных.* Техническая поддержка подобных сервисов.* Работа в компаниях, предоставляющих услуги парсинга и сбора данных. Важно: нам интересен не только разработчик, который умеет писать код, но и специалист, который понимает, как устроен процесс целиком: от получения исходных данных до передачи готового результата заказчику. Требования * Практический опыт в сфере парсинга, обработки данных или смежных технологий.* Понимание принципов автоматизированного сбора информации.* Способность оценивать технические решения и выявлять их ограничения.* Аналитическое мышление.* Умение объяснять сложные технические вопросы простым языком.* Ответственный подход к работе с данными. Что предлагаем * Возможность влиять на развитие нового направления бизнеса.* Прямое взаимодействие с руководством компании.* Возможность реализовать собственные технические идеи.* Гибкий формат сотрудничества, который обсуждается индивидуально.* Возможность начать с пилотного проекта и при успешных результатах расширить зону ответственности.