[skillfactory] Курс по Data Engineering (2023)

[wlux.net]

Научитесь строить пайплайны данных в реальном времени.
В современных компаниях накапливается большой объем данных, из которых можно извлекать важную аналитику, строить гипотезы или модели прогнозирования. Data Engineer - это специалист, который собирает данные из разных источников, очищает их и передает в удобном виде аналитикам для принятия бизнес-решений.
Аналитикам данных нужно знать, как работает хранилище данных, в каком виде там хранятся данные, как они обрабатываются и как их можно получить для анализа.
Курс ориентирован на практику и основные инструменты, подходит для тех, кто имеет базовые знания языка Python. За два месяца вы освоите все важные этапы Data Engineering.
Программа курса

• 1 Введение, практический linux

Кто такой Data Engineer и зачем ему Linux?

• 2 Современные хранилища данных

Разнообразие баз данных и их особенности

• 3 Экосистема Hadoop

Что такое Hadoop, что он умеет и как им пользоваться

• 4 Источники данных и работа с ними

Файлы как источники данных, JDBC - структурированные данные, SQL для выгрузки данных

• 5 Apache Spark и обработка данных

Зачем нужен Apache Spark и как с ним работать

• 6 Hadoop как хранилище данных

Особенности и нюансы hdfs

• 7 Apache Airflow для оркестрации конвейеров

Настройка data pipelines

• 8 Обзор облачных хранилищ

Особенности и нюансы работы с облачными хранилищами: Google, Amazon, Azure

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

 

[MeChu]

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

You must be logged in to see the message.

 

[larasoroka]

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

You must be logged in to see the message.

 

[higgson]

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

You must be logged in to see the message.

 

[PoNChick666]

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

You must be logged in to see the message.

 

[bransyn]

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

You must be logged in to see the message.

 

[chakaaka]

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

You must be logged in to see the message.