Курс подходит
- Новичкам, которые хотят научиться писать и понимать код
- Специалистам, которым нужна системная практика
- Самоучкам, желающим собрать проект для портфолио
Программирование
Онлайн-курс «Apache Beam: пакетные и потоковые конвейеры»
Описывать переносимые конвейеры обработки данных для batch и streaming режимов. Обучение построено вокруг практики и завершается самостоятельной итоговой работой.
Итоговый результат: конвейер данных с окнами, состоянием, тестами и запуском на runner.
12 модулейот основ до проекта
33–45 часовв удобном темпе
Автопроверкаобратная связь сразу
Сертификатс проверкой подлинности
О программе
Кому подойдёт курс и чему вы научитесь
Практические навыки
- Разбирать «Модель Beam» на практическом примере
- Проектировать «PCollection» на практическом примере
- Применять «Transforms» на практическом примере
- Проверять «ParDo» на практическом примере
- Сравнивать решения для «GroupByKey» на практическом примере
- Объяснять результат по теме «Окна» на практическом примере
Программа обученияМодуль 1 · Основа Модуль 2 · Основа Модуль 3 · Основа Модуль 4 · Сборка Модуль 5 · Сборка Модуль 6 · Сборка Модуль 7 · Сборка Модуль 8 · Сборка Модуль 9 · Проверка и усиление Модуль 10 · Проверка и усиление Модуль 11 · Проверка и усиление Модуль 12 · Защита
Что вы изучите и создадите
Каждый модуль объясняет отдельную тему простыми словами и закрепляет её практикой.
Модель Beam
«Модель Beam» простыми словами — это умение выделить сущности, границы и связи, затем проверить схему на основном и аварийном сценариях. Мы берём входные данные, применяем к ним понятные правила и получаем результат, который можно проверить.
PCollection
«PCollection» простыми словами — это умение определить контракт, реализовать минимальное решение и доказать корректность на новых входных данных. Мы берём входные данные, применяем к ним понятные правила и получаем результат, который можно проверить.
Transforms
«Transforms» простыми словами — это умение определить контракт, реализовать минимальное решение и доказать корректность на новых входных данных. Мы берём входные данные, применяем к ним понятные правила и получаем результат, который можно проверить.
ParDo
«ParDo» простыми словами — это умение определить контракт, реализовать минимальное решение и доказать корректность на новых входных данных. Мы берём входные данные, применяем к ним понятные правила и получаем результат, который можно проверить.
GroupByKey
«GroupByKey» простыми словами — это умение определить контракт, реализовать минимальное решение и доказать корректность на новых входных данных. Мы берём входные данные, применяем к ним понятные правила и получаем результат, который можно проверить.
Окна
«Окна» простыми словами — это умение определить контракт, реализовать минимальное решение и доказать корректность на новых входных данных. Мы берём входные данные, применяем к ним понятные правила и получаем результат, который можно проверить.
Триггеры
«Триггеры» простыми словами — это умение определить контракт, реализовать минимальное решение и доказать корректность на новых входных данных. Мы берём входные данные, применяем к ним понятные правила и получаем результат, который можно проверить.
Late data
«Late data» простыми словами — это умение определить контракт, реализовать минимальное решение и доказать корректность на новых входных данных. Мы берём входные данные, применяем к ним понятные правила и получаем результат, который можно проверить.
State и timers
«State и timers» простыми словами — это умение определить контракт, реализовать минимальное решение и доказать корректность на новых входных данных. Мы берём входные данные, применяем к ним понятные правила и получаем результат, который можно проверить.
Тестирование
«Тестирование» простыми словами — это умение задать наблюдаемое поведение, подготовить репрезентативные случаи и сравнить ожидаемый результат с фактическим.
Runner и мониторинг
«Runner и мониторинг» простыми словами — это умение определить контракт, реализовать минимальное решение и доказать корректность на новых входных данных. Мы берём входные данные, применяем к ним понятные правила и получаем результат, который можно проверить.
Итоговый конвейер
«Итоговый конвейер» простыми словами — это умение определить контракт, реализовать минимальное решение и доказать корректность на новых входных данных. Мы берём входные данные, применяем к ним понятные правила и получаем результат, который можно проверить.
Результат
конвейер данных с окнами, состоянием, тестами и запуском на runner
По ходу курса ученик выполняет практические задания, проверяет себя и постепенно готовит итоговую работу.
Что нужно знать до начала
Уметь пользоваться компьютером, устанавливать программы и работать с файлами. Для курсов «с нуля» опыт разработки не требуется.
Инструменты курса
Apache Beam, Python, Dataflow или Flink, Docker
Формат
Теория простыми словами, разобранный пример, практика, автопроверка и итоговый проект
Можно начать сразу
Начать обучение →Перейдите от программы к практике
Доступ ко всем модулям, автопроверке и сертификату — 21 900 ₽.
Ответы на вопросы
Подойдёт ли курс новичку?
Да. Материал идёт от простых действий к самостоятельной работе, а новые термины объясняются по ходу курса.
Как проверяются задания?
Система проверяет текст ответа по критериям урока и короткий тест. Код, сайт или другой результат ученик прикладывает как доказательство: система оценивает объяснение, но не запускает проект автоматически.
Когда я получу сертификат?
Именной сертификат освоения основной части программы автоматически выпускается после зачёта 80% модулей. В нём указано, сколько модулей пройдено; обучение можно продолжить до 100%.
Полезные материалы