Инженер данных (Data Engineer)

Описание

О проекте:

Aspirity студия веб- и мобильной разработки из Сибири, специализирующаяся на создании программных решений для международных стартапов и крупных компаний. Среди наших клиентов технологические компании Кремниевой долины, такие как Shoreline и Pinecone, а также лидеры рынков России, Европы и Азии, включая РУСАЛ, NGenix (в составе группы Ростелеком ) и Schibsted.

Мы развиваем направление outstaff-сотрудничества и формируем команды, которые работают в продуктах клиентов, оставаясь при этом частью инженерной культуры Aspirity.

Параллельно мы запускаем крупный внутренний проект в области AI систему автоматизации проектирования складских комплексов. Цель проекта внедрение интеллектуальных ассистентов и цифровых пайплайнов в инженерные и производственные процессы.

Обязанности:

• Сбор, обработка, очистка и трансформация различных типов данных (текст, таблицы, инженерные чертежи AutoCAD, Excel и др.)
• Разработка и поддержка надежных ETL/ELT пайплайнов для подготовки обучающих наборов данных для ML/AI моделей
• Автоматизация процессов загрузки данных из различных источников: корпоративные системы, базы данных, облачные хранилища, API
• Оценка качества, анализ, валидация и обогащение данных, проведение аудита на полноту и корректность
• Работа в связке с разметчиками, ML/AI инженерами бизнес-командой для целей эффективной передачи и использования данных
• Ведение документации по структуре и потокам данных, поддержка переиспользуемости и прозрачности всех решений
• Интеграция данных для корпоративных ассистентов (привязка к собственному ПО, коннекторы с AutoCAD, Bitrix24, Excel и др.)

Требования:

• Опыт работы инженером данных (data engineer) от 2 лет
• Отличные знания Python (желательно опыт с pandas, PySpark, SQLAlchemy и др.)
• Опыт построения ETL/ELT пайплайнов, знание архитектуры и инструментов данных, опыт работы с большими объемами данных
• Практические навыки работы с API, интеграции данных из различных корпоративных систем (ERP, CRM, внутренние базы)
• Опыт работы с табличными и неструктурированными данными (текстовые документы, таблицы, чертежи)
• Владение SQL, опыт работы с реляционными и нереляционными СУБД
• Навыки автоматизации рабочих процессов, использование Docker
• Опыт взаимодействия с ML/AI специалистами и командами разметки
• Готовность работать в домене промышленной автоматизации и инженерного проектирования (не финтех / не e-commerce), с задачами производства и логистической инфраструктуры

Будет плюсом:

• Опыт интегра коннекторов для AutoCAD, 1С, Bitrix24, Excel и других инженерных/бизнесовых инструментов
• Знание принципов работы с облачными платформами (Yandex Cloud, AWS, GCP)
• Опыт поддержки пайплайнов для задач машинного обучения, подготовки данных для LLM

Условия:

• Участие в масштабном технологическом проекте на старте
• Современный стек решений, возможность влиять на технологии и процессы
• Команда профессионалов (ML/AI инженеры, разметчики, DevOps, продакт-менеджер)
• Официальное оформление, конкурентная зарплата (обсуждается индивидуально)
• Перспективы профессионального роста