Сейчас мы ищем опытного Senior Data Engineer, который поможет нам проектировать, развивать и оптимизировать современную корпоративную платформу данных.Ваши задачи:
Проектирование, разработка и оптимизация масштабируемых конвейеров обработки данных (пакетных и потоковых);
Разработка и поддержка витрин данных, обеспечение их согласованности и надежности в разных доменах;
Внедрение систем контроля качества данных, мониторинга и наблюдаемости;
Интеграция новых внутренних и внешних источников данных в хранилище и потоковую экосистему;
Обеспечение безопасности, управления и соответствия данных нормативным требованиям;
Оптимизация производительности для масштабных наборов данных и высоконагруженных систем;
Участие в разработке архитектуры и дорожной карты развития корпоративной платформы данных.
Глубокие практические знания ClickHouse (проектирование схем, партиционирование, оптимизация, управление кластерами);
Опыт работы с Apache Kafka и Kafka Connect (реализация потоковых решений, пользовательские коннекторы, схемы Avro/Protobuf, Schema Registry);
Продвинутые навыки Python (продакшн-код, тестирование, упаковка, оптимизация);
Уверенная работа с Apache Airflow (проектирование DAG, масштабирование, мониторинг);
Отличное владение SQL (создание сложных запросов, оптимизация);
Глубокие знания моделирования данных (реляционные, многомерные, денормализованные, NoSQL);
Опыт интеграции с RESTful API и внешними источниками данных;
Подтверждённый опыт управления крупными и высоконагруженными наборами данных в продакшене.
Опыт работы с Kubernetes и Docker (развертывание, масштабирование, мониторинг);
Знание Infrastructure-as-Code инструментов (Terraform, Helm и др.);
Опыт оптимизации ETL/ELT-процессов (пакетных и потоковых);
Знакомство с системами наблюдаемости (Prometheus, Grafana, ELK/EFK, OpenTelemetry);
Опыт внедрения CI/CD для конвейеров данных (GitOps, автоматическая валидация, тестирование);
Понимание безопасности и соответствия требованиям (GDPR, RBAC, шифрование, законодательство РФ о персональных данных).
Достойную заработную плату и прозрачную систему мотивации;
Комфортный офис класса А в самом центре Санкт-Петербурга с современным оборудованием и уютной атмосферой;
Возможности для профессионального и карьерного роста: регулярное обучение, повышение квалификации, участие в конференциях и внутренних проектах;
Расширенный социальный пакет: ДМС после испытательного срока, компенсация спорта и SPA, обучение английскому языку, подарки к праздникам и Дню рождения;
Корпоративные мероприятия и выезды, которые делают нашу команду ещё сплочённее;
Неформальную, дружелюбную атмосферу и минимум бюрократии.
Если ты читаешь это и думаешь: “Да это про меня!” — не откладывайте резюме. Мы уже ждем твое сообщение!
К нам вы можете прийти без опыта: мы всё расскажем и всему научим. У нас стабильная оплата. Гибкий график. Бесплатные обеды.
Готовить вкуснейшие вопперы и другие позиции из меню ресторана. Быстро и аккуратно собирать заказы. Вести расчёт по кассе.
Прозрачная система оплаты, оформление договора с самозанятыми, отсутствие штрафов, возможность выбирать удобные смены