Вопросы на собеседовании по Deep Learning
Обратное распространение, инициализация и нормализация, оптимизаторы, регуляризация и то, почему сеть не учится.
33 вопроса с реальных собеседований, 6 этапов в порядке разбора — от входных понятий к специфике.
Основы нейронных сетей — 5 вопросов
- Как ещё называют полносвязные нейронные сети?
- Что такое перцептрон?
- Как устроены RNN, CNN и трансформер? Какие ещё архитектуры вы знаете?
- Какие типы слоёв используются в нейронных сетях?
- Почему сеть чаще улучшают добавлением слоёв, а не расширением существующих?
Функции активации и потерь — 8 вопросов
- Что такое кросс-энтропия?
- Что такое функция активации?
- Зачем в нейронных сетях нужны функции активации?
- Какие функции активации вы знаете и чем они отличаются?
- Какие функции потерь применяют в задачах классификации?
- Какие функции потерь применяют в задачах регрессии?
- Напишите формулу кросс-энтропии. Как минимизируется эта ошибка?
- Почему в задачах классификации не используют MSE?
Обучение нейронных сетей — 8 вопросов
- В каких случаях layer norm предпочтительнее batch norm?
- Как выбрать размер батча?
- Как работает обратное распространение ошибки (backpropagation)?
- Как размер батча влияет на обучение нейронной сети?
- Как dropout помогает бороться с переобучением?
- Какие методы регуляризации применяют в нейронных сетях?
- Какие оптимизаторы применяют при обучении нейронных сетей и чем они отличаются?
- На каком проходе работает батч-нормализация — прямом или обратном? Зачем она нужна?
Свёрточные сети (CNN) — 9 вопросов
- Что такое ядро свёртки?
- Что такое pooling и какие его виды бывают?
- В чём главное нововведение архитектуры ResNet и зачем оно нужно?
- Как обучается свёрточная нейронная сеть?
- Как свёртка обрабатывает цветное изображение?
- Как устроена архитектура AlexNet и для какой задачи она изначально обучалась?
- Что такое receptive field свёрточной сети?
- Зачем в свёрточных сетях нужен пулинг? Почему нельзя обойтись свёрткой со страйдом?
- Какие проблемы возникают при обучении глубоких свёрточных сетей и как их решают?