Вопросы на собеседовании по машинному обучению
Метрики и их выбор под задачу, переобучение, кросс-валидация, работа с пропусками и дисбалансом, ансамбли — ядро любого ML-интервью.
148 вопросов с реальных собеседований, 13 этапов в порядке разбора — от входных понятий к специфике.
Основы ML — 9 вопросов
- Какие алгоритмы классификации вы знаете?
- Какие основные типы задач машинного обучения существуют?
- Что такое гиперпараметр модели?
- Что такое обучение без учителя и какие задачи оно решает?
- Какие есть схемы сведения многоклассовой классификации к бинарной?
- Когда модель стоит дообучать под задачу, а когда достаточно готовой?
- Что делать, если в данных есть дисбаланс классов?
- Что такое дисбаланс классов и почему это проблема?
- Что такое компромисс между смещением и разбросом (bias-variance tradeoff)?
Признаки и предобработка — 12 вопросов
- Какие бывают типы признаков?
- Что такое стандартизация и нормализация признаков?
- Зачем нужна стандартизация признаков?
- Как обрабатывать пропуски в данных?
- Какие методы снижения размерности вы знаете?
- Какие подходы к отбору признаков вы знаете?
- Каким моделям обязательно нужна нормализация признаков?
- Какими методами ищут выбросы в данных?
- Какими способами кодируют категориальные признаки и чем эти способы отличаются?
- Что делать, если признаков очень много?
- Что такое permutation importance и как он считается?
- Что такое Weight of Evidence (WOE) и зачем биннинговать признак вместо подачи его в модель напрямую?
Метрики качества — 20 вопросов
- Три модели дают ROC-AUC 0.51, 0.65 и 0.88. Какая предсказывает лучше и почему?
- Чем precision отличается от recall и когда что важнее?
- Что такое accuracy?
- Что такое F1-мера?
- Что такое MAE, MSE, RMSE, R²?
- Что такое MAPE?
- Что такое precision?
- Что такое recall?
- Что такое ROC-AUC?
- Как интерпретировать значения ROC-AUC и PR-AUC?
- Как строится ROC-кривая?
- Какие метрики бинарной классификации вы знаете? Как они выражаются через матрицу ошибок?
- Чем метрика качества отличается от функции потерь? Когда смотреть на accuracy, а когда на loss?
- Чем MAE отличается от MAPE и какая метрика понятнее бизнесу?
- Что означает ROC-AUC, равный 0.5?
- Что такое асимметричные метрики?
- Что такое микроусреднение и макроусреднение?
- Что такое PR-AUC и когда его смотрят вместо ROC-AUC?
- Как изменится ROC-AUC, если продублировать объекты класса 1 четыре раза, а класса 0 — семь раз?
- Что произойдёт с ROC-кривой и ROC-AUC, если ко всем предсказаниям прибавить константу или умножить их на положительное число?
Валидация и отбор моделей — 6 вопросов
- Чем тестовая выборка отличается от валидационной?
- Что такое кросс-валидация?
- Как выбрать между логистической регрессией, случайным лесом и бустингом для задачи?
- Какие бывают виды кросс-валидации?
- Какие способы проверки качества модели есть в scikit-learn?
- Что такое Pipeline в scikit-learn и какую проблему он решает?
Линейные модели — 15 вопросов
- Что такое линейные модели и как они устроены?
- В чём основная идея метода опорных векторов (SVM)?
- Как заподозрить переобучение у линейной модели?
- Как интерпретировать коэффициенты линейной модели?
- Как обучаются линейные модели?
- Какие линейные модели существуют кроме линейной и логистической регрессии?
- Какие основные ограничения у линейной регрессии?
- Какие у линейных моделей плюсы и минусы?
- Когда линейная регрессия окажется лучше градиентного бустинга?
- Напишите формулу логистической регрессии. Что такое логит и как модель разделяет классы?
- Чем логистическая регрессия отличается от линейной регрессии?
- Что такое мультиколлинеарность и как с ней бороться?
- Что такое log-loss и откуда он берётся?
- Как проверить статистическую значимость коэффициентов логистической регрессии?
- Почему в линейной регрессии функция потерь квадратичная, а не в четвёртой или иной степени?
Оптимизация и градиентный спуск — 4 вопроса
- Как выглядит один шаг градиентного спуска при обновлении весов?
- Как добиться воспроизводимости результата при обучении градиентным спуском?
- Как работает градиентный спуск?
- Когда выбрать стохастический градиентный спуск вместо полного?
Регуляризация и переобучение — 6 вопросов
- Что такое регуляризация и какие её виды вы знаете?
- Почему переобучение — это плохо?
- Чем L1-регуляризация отличается от L2?
- Что такое переобучение и как с ним бороться?
- Какая геометрическая интерпретация у L1- и L2-регуляризации?
- Почему L1-регуляризация зануляет веса, а L2 — нет?
Метрические модели — 9 вопросов
- Что такое метрические модели?
- Для каких задач применяют метрические модели?
- Как масштабирование признаков влияет на k-NN?
- Как работает k-NN?
- Какая у k-NN вычислительная сложность обучения и предсказания?
- Какие метрики расстояния применяют в k-NN?
- Какие у метрических моделей и k-NN плюсы и минусы?
- Чем k-NN отличается от k-means?
- Как ускорить k-NN на большом датасете?
Деревья решений — 16 вопросов
- Что хранится в листьях дерева решений?
- Как глубина дерева влияет на его качество и склонность к переобучению?
- Как дерево решений формирует предсказание для нового объекта?
- Как оценить важность признаков по дереву решений?
- Как регуляризовать дерево решений?
- Как строится дерево решений?
- Какая вычислительная сложность у обучения и предсказания дерева решений?
- Какие критерии разбиения используются в деревьях решений?
- Какие у дерева решений плюсы и минусы?
- Какой критерий минимизируется при выборе разбиения в регрессионном дереве?
- Когда останавливается построение дерева решений?
- Может ли дерево предсказать отрицательное значение, если обучалось только на положительных таргетах?
- Может ли дерево решений выдавать вероятности классов?
- Почему деревья не чувствительны к масштабированию признаков?
- Чем дерево классификации отличается от дерева регрессии?
- Что такое энтропия в дереве решений? Дерево её минимизирует или максимизирует?
Ансамблевые методы — 31 вопрос
- Чем случайный лес отличается от одного дерева решений?
- Что такое бустинг?
- Что такое бэггинг?
- Что такое случайный лес и как он строится?
- В случайном лесе подмножество признаков выбирается один раз на дерево или на каждом разбиении?
- Где деревья глубже — в бустинге или в бэггинге? Почему?
- Как глубина деревьев влияет на случайный лес?
- Как работает градиентный бустинг?
- Как формируется итоговое предсказание градиентного бустинга?
- Какие у градиентного бустинга преимущества и недостатки?
- Какие у случайного леса плюсы и минусы?
- Чем градиентный бустинг отличается от случайного леса?
- Что происходит с качеством случайного леса при добавлении новых деревьев?
- Что такое стекинг?
- Что уменьшает бэггинг, а что — бустинг: смещение или разброс?
- За что отвечает L2-регуляризация в бустинге на деревьях?
- Как изменится MAE, если удалить первое дерево из бустинга? А если последнее?
- Как правильно разбивать данные при обучении стекинга?
- Как разложение на смещение и разброс объясняет работу случайного леса?
- Как распараллелить инференс бэггинга и бустинга?
- Как распараллелить обучение бэггинга и бустинга?
- Можно ли переобучить бустинг? А бэггинг?
- По какому критерию бустинг выбирает разбиение в узле дерева для задачи регрессии?
- Почему в ансамблях не используют линейные модели как базовые алгоритмы?
- Почему в случайном лесе на каждом разбиении берут случайное подмножество признаков?
- Почему градиентный бустинг называется градиентным?
- Случайный лес обучен на строго положительных значениях, но выдаёт отрицательные предсказания. В чём может быть причина?
- Уменьшает ли стекинг смещение модели?
- Чем отличаются LightGBM, XGBoost и CatBoost?
- Что будет, если первое дерево в бэггинге или бустинге сделать очень глубоким?
- Что произойдёт с качеством, если убрать одно случайное дерево из леса? А из бустинга?
Кластеризация — 14 вопросов
- Для каких задач применяют кластеризацию?
- Что такое дендрограмма?
- Что такое кластеризация?
- Как выбрать оптимальное количество кластеров?
- Как работает алгоритм DBSCAN?
- Как работает алгоритм k-means?
- Как работает иерархическая агломеративная кластеризация?
- Как считают расстояние между кластерами?
- Как ускорить алгоритм k-means?
- Какие алгоритмы кластеризации вы знаете и чем они отличаются?
- Какие проблемы создаёт неудачная инициализация центроидов в k-means?
- Какими метриками оценивают качество кластеризации?
- Когда останавливают иерархическую кластеризацию?
- Чем мягкая кластеризация отличается от жёсткой?
Временные ряды — 5 вопросов
- Как делать кросс-валидацию на временных рядах?
- Как строят модель для прогнозирования временного ряда?
- Какие подходы и библиотеки применяют для прогнозирования временных рядов?
- Что такое стационарность временного ряда и почему она важна?
- Как с помощью разложения Фурье выделяют сезонность во временном ряде?