Курс подходит
- Специалистам, внедряющим ИИ в ежедневную работу
- Предпринимателям и руководителям
- Разработчикам AI-сценариев и ассистентов
Искусственный интеллект
Онлайн-курс «Оценка качества LLM-систем»
Строить воспроизводимую систему проверки AI-продукта. Обучение построено вокруг практики и завершается самостоятельной итоговой работой.
Итоговый результат: набор evals, отчёт и регрессионный pipeline.
12 модулейот основ до проекта
33–45 часовв удобном темпе
Автопроверкаобратная связь сразу
Сертификатс проверкой подлинности
О программе
Кому подойдёт курс и чему вы научитесь
Практические навыки
- Разбирать «Цель оценки» на практическом примере
- Проектировать «Таксономия ошибок» на практическом примере
- Применять «Тестовый набор» на практическом примере
- Проверять «Эталонные ответы» на практическом примере
- Сравнивать решения для «Детерминированные проверки» на практическом примере
- Объяснять результат по теме «LLM-as-judge» на практическом примере
Программа обученияМодуль 1 · Основа Модуль 2 · Основа Модуль 3 · Основа Модуль 4 · Сборка Модуль 5 · Сборка Модуль 6 · Сборка Модуль 7 · Сборка Модуль 8 · Сборка Модуль 9 · Проверка и усиление Модуль 10 · Проверка и усиление Модуль 11 · Проверка и усиление Модуль 12 · Защита
Что вы изучите и создадите
Каждый модуль объясняет отдельную тему простыми словами и закрепляет её практикой.
Цель оценки
«Цель оценки» простыми словами — это умение описать допустимый контекст и формат результата, проверить сложные запросы и явно определить безопасный отказ.
Таксономия ошибок
«Таксономия ошибок» простыми словами — это умение описать допустимый контекст и формат результата, проверить сложные запросы и явно определить безопасный отказ.
Тестовый набор
«Тестовый набор» простыми словами — это умение задать наблюдаемое поведение, подготовить репрезентативные случаи и сравнить ожидаемый результат с фактическим.
Эталонные ответы
«Эталонные ответы» простыми словами — это умение описать допустимый контекст и формат результата, проверить сложные запросы и явно определить безопасный отказ.
Детерминированные проверки
«Детерминированные проверки» простыми словами — это умение задать наблюдаемое поведение, подготовить репрезентативные случаи и сравнить ожидаемый результат с фактическим.
LLM-as-judge
«LLM-as-judge» простыми словами — это умение описать допустимый контекст и формат результата, проверить сложные запросы и явно определить безопасный отказ.
Проверка фактов
«Проверка фактов» простыми словами — это умение задать наблюдаемое поведение, подготовить репрезентативные случаи и сравнить ожидаемый результат с фактическим.
RAG-метрики
«RAG-метрики» простыми словами — это умение описать допустимый контекст и формат результата, проверить сложные запросы и явно определить безопасный отказ.
Агентные траектории
«Агентные траектории» простыми словами — это умение описать допустимый контекст и формат результата, проверить сложные запросы и явно определить безопасный отказ.
Статистика
«Статистика» простыми словами — это умение описать допустимый контекст и формат результата, проверить сложные запросы и явно определить безопасный отказ.
CI-регрессия
«CI-регрессия» простыми словами — это умение описать допустимый контекст и формат результата, проверить сложные запросы и явно определить безопасный отказ.
Итоговая система evals
«Итоговая система evals» простыми словами — это умение описать допустимый контекст и формат результата, проверить сложные запросы и явно определить безопасный отказ.
Результат
набор evals, отчёт и регрессионный pipeline
По ходу курса ученик выполняет практические задания, проверяет себя и постепенно готовит итоговую работу.
Что нужно знать до начала
Уверенно пользоваться компьютером и проверять информацию по источникам. Для курсов с API пригодятся основы программирования.
Инструменты курса
Python, datasets, LLM API, CI
Формат
Теория простыми словами, разобранный пример, практика, автопроверка и итоговый проект
Можно начать сразу
Начать обучение →Перейдите от программы к практике
Доступ ко всем модулям, автопроверке и сертификату — 21 900 ₽.
Ответы на вопросы
Подойдёт ли курс новичку?
Да. Материал идёт от простых действий к самостоятельной работе, а новые термины объясняются по ходу курса.
Как проверяются задания?
Система проверяет текст ответа по критериям урока и короткий тест. Код, сайт или другой результат ученик прикладывает как доказательство: система оценивает объяснение, но не запускает проект автоматически.
Когда я получу сертификат?
Именной сертификат освоения основной части программы автоматически выпускается после зачёта 80% модулей. В нём указано, сколько модулей пройдено; обучение можно продолжить до 100%.