Вопросы на собеседовании по Deep Learning
Обратное распространение, инициализация и нормализация, оптимизаторы, регуляризация и то, почему сеть не учится.
33 вопроса с реальных собеседований.
- В каких случаях layer norm предпочтительнее batch norm?
- Как dropout помогает бороться с переобучением?
- Как выбрать размер батча?
- Как работает обратное распространение ошибки (backpropagation)?
- Как размер батча влияет на обучение нейронной сети?
- Какие методы регуляризации применяют в нейронных сетях?
- Какие оптимизаторы применяют при обучении нейронных сетей и чем они отличаются?
- На каком проходе работает батч-нормализация — прямом или обратном? Зачем она нужна?
- Как ещё называют полносвязные нейронные сети?
- Как устроены RNN, CNN и трансформер? Какие ещё архитектуры вы знаете?
- Какие типы слоёв используются в нейронных сетях?
- Почему сеть чаще улучшают добавлением слоёв, а не расширением существующих?
- Что такое перцептрон?
- Почему в RNN возникает взрыв и затухание градиентов?
- В чём главное нововведение архитектуры ResNet и зачем оно нужно?
- Зачем в свёрточных сетях нужен пулинг? Почему нельзя обойтись свёрткой со страйдом?
- Как обучается свёрточная нейронная сеть?
- Как свёртка обрабатывает цветное изображение?
- Как устроена архитектура AlexNet и для какой задачи она изначально обучалась?
- Какие проблемы возникают при обучении глубоких свёрточных сетей и как их решают?
- Что такое pooling и какие его виды бывают?
- Что такое receptive field свёрточной сети?
- Что такое ядро свёртки?
- Зачем в нейронных сетях нужны функции активации?
- Какие функции активации вы знаете и чем они отличаются?
- Какие функции потерь применяют в задачах классификации?
- Какие функции потерь применяют в задачах регрессии?
- Напишите формулу кросс-энтропии. Как минимизируется эта ошибка?
- Почему в задачах классификации не используют MSE?
- Что такое кросс-энтропия?
- Что такое функция активации?
- Что такое triplet loss и как с его помощью обучают эмбеддинги?
- Что такое автоэнкодер?