Инженерия данных
Инженерия данных отвечает на два вопроса — где данные лежат и как они туда попадают. Аналитик не строит конвейеры сам, но обязан понимать их устройство, иначе он не объяснит, почему метрика запаздывает на сутки или почему одного источника нет в витрине.
Тему легко провалить на терминологии. Схема-при-записи против схемы-при-чтении, ETL против ELT, log-based против polling CDC — здесь пары легко перепутать местами, и именно на этом ловят. Ниже — карта, разводящая эти пары.
Карта темы
- Архитектуры хранения данных — склад, озеро и lakehouse, схема-при-записи против схемы-при-чтении и слои medallion.
- ETL против ELT — где происходит преобразование, чем ELT выигрывает у ETL и как CDC инкрементально захватывает изменения.
Частые ошибки и ловушки
| Ошибка | Последствие |
|---|---|
| Путать schema-on-write (склад) и schema-on-read (озеро) | Неверное описание всей архитектуры хранения |
| Считать lakehouse просто меньшим складом | Упущена суть — ACID и табличная семантика над озером |
| Называть ELT устаревшим подходом | Наоборот, ELT современный и опирается на дешёвый MPP-движок склада |
| Разворачивать порядок слоёв raw → cleansed → marts | Сырой слой всегда первый, витрины последние |
| Путать push- и pull-модель CDC | Log-based — это push с низким лагом, а не опрос |
| Приравнивать CDC к полной перезагрузке таблицы | Теряется весь смысл — захват только изменившихся строк |
Значение для собеседований
Инженерию данных спрашивают, чтобы проверить, понимает ли аналитик слой под своими дашбордами. Сильный кандидат разводит пары терминов и объясняет их через компромисс, а не заучённое определение — например, «ELT грузит сырое и преобразует в складе, потому что вычисления склада подешевели».
Что обычно проверяют:
- Разницу склада, озера и lakehouse и что такое schema-on-write/read.
- Зачем нужны слои данных и в каком порядке они идут.
- ETL против ELT — где происходит преобразование и когда что подходит.
- Что такое CDC и почему log-based push нагружает источник меньше опроса.
Типичный неверный ответ: «ETL и ELT — одно и то же, буквы просто переставлены». На деле порядок слов — это порядок этапов: в ELT загрузка идёт до преобразования, и преобразование выполняет сам склад.