Spark ML // Демо-занятие курса «Spark Developer»

Почему эта темы важна:
- Spark ML – это мощный инструмент для масштабируемого машинного обучения, позволяющий обучать модели на больших данных без перехода на специализированные ML-системы.
- Интеграция с Spark SQL и DataFrame API упрощает ETL-подготовку данных и фичуризацию, что критично для реальных ML-проектов.
- Промышленные ML-пайплайны требуют отказоустойчивости и распределённых вычислений – Spark ML даёт это из коробки.
📍 Программа вебинара
- Обзор Spark ML
- Чем отличается от scikit-learn и других ML-фреймворков?
- Основные компоненты: трансформеры, estimators, пайплайны.
- Разработка модели в Spark ML
- Подготовка данных, обучение и валидация модели (на примере классификации/регрессии).
- Как работать с разреженными данными и категориальными фичами.
- Промышленное использование
👥 Кому будет полезен вебинар?
- Data Scientists – кто хочет масштабировать свои модели без переписывания кода под распределённые системы.
- ML-инженерам – для внедрения end-to-end пайплайнов в продакшен-среде.
- Инженерам данных – которые участвуют в подготовке данных для ML и развёртывании моделей.
✅ В результате вебинара вы:
- Поймёте плюсы и ограничения Spark ML vs традиционные ML-библиотеки.
- Научитесь строить и тестировать ML-модели на реальных датасетах в Spark.
- Узнаете, как развернуть модель в промышленной среде и интегрировать её в данные процессы.
Преподаватель: Валентин Шилин - старший программист/аналитик данных в Deutsche Telekom IT GmbH https://vkvideo.ru/video-145052891_456248589