Практикум по обработке больших данных

Учебное пособие

Агамиров В.Л., Агамиров Л.В., Вестяк В.А., Дыбалева А.П., Тутова Н.В.

320 стр.

Учебное издание

Формат 60х90/16 (145x215 мм)

Исполнение: в мягкой обложке

ISBN 978-5-9912-1234-2

ББК 16.23

УДК 004.6(076)

Гриф
Рекомендовано Методическим советом Ордена Трудового Красного Знамени федерального государственного бюджетного образовательного учреждения высшего образования «Московский технический университет связи и информатики» (МТУСИ) для студентов высших учебных заведений в качестве учебного пособия

Аннотация

Системное изложены современные подходы к хранению, обработке и визуализации данных с использованием промышленных и аналитических систем управления базами данных, контейнерных технологий и средств бизнес-аналитики. Рассматриваются этапы развёртывания СУБД в контейнерной среде, выполнение базовых операций с данными, интеграция внешних источников, применение механизмов индексации и ключей, а также основы масштабирования и построения распределённых кластеров.

Отдельное внимание уделено инструментам визуализации и аналитической обработки(Redash, ApacheSuperset, YandexDataLens), которые обеспечивают построение интерактивных панелей и представление информации в удобной форме для анализа и поддержки управленческих решений. Завершающий раздел посвящён применению ApacheSpark как платформы распределённой обработки больших данных, демонстрирующей современные подходы к высокопроизводительному анализу.

Для студентов и магистрантов ИТ-направлений подготовки, слушателей программ повышения квалификации, а также практикующих специалистов, заинтересованных в освоении методов работы с большими данными и инструментами бизнес-аналитики.

Оглавление

Введение

1. Обработка и анализ данных с помощью ClickHouse
1.1. О базе данных Яндекс ClickHouse
1.2. Импорт CSV-файлов
1.3. Импорт Excel-файлов
1.4. Работа с первичными ключами и индексами в базе данных ClickHouse
1.5. Создание первичного ключа
1.6. Создание индекса
1.7. Оптимизация соединений таблиц самих с собой в ClickHouse
1.8. Оптимальные форматы обмена данными в распределенных системах на примере базы данных ClickHouse
1.9. Первый способ создания словаря с помощью файла конфигурации ClickHouse
1.10. Второй способ создания словаря с помощью SQL-запроса
1.11. Установка ClickHouse-кластера через Docker в Windows
1.12. Создание распределенной базы данных
1.13. Создание локального трехузлового кластера ClickHouse с использованием Docker
1.14. Распределенная таблица. Импорт parquet-файла в распределенную таблицу

2. Средства визуализации данных Redash и Superset
2.1. Создание дашбордов в Redash
2.2. Создание и редактирование дашбордов
2.3. Добавление нового пользователя в Redash
2.4. Apache Superset
2.5. Установка сервера Apache Superset
2.6. Superset + ClickHouse в Windows через WSL2
2.7. Дашборд Yandex DataLens с источником данных из Google-таблицы

3. Создание, настройка и запуск Spark-проекта
3.1. Spark на виртуальной машине
3.2. Настройка окружения Spark с нуля
3.3. Создание нового проекта
3.4. Запуск Scala проекта в IntelliJ IDEA
3.5. Первое Spark приложение
3.6. Инструкция по установке Spark Cluster
3.7. Установка кластера Spark через Docker-compose
3.8. Обновление или расширение ВМ Spark Cluster
3.9. Работа с Spark Cluster на виртуальной машине VirtualBox
3.10. Пример запуска параллельных заданий
3.11. Увеличение ресурсов на Worker
3.12. Распараллеливание процессов в Spark
3.13. Распределение данных (RDD) в Spark
3.14. Практическая работа: cериализация данных и общие переменные в Spark

4. Оркестрация ETL-пайплайнов с помощью Apache Airflow
4.1. Установка Apache Airflow с использованием WSL
4.2. Настройка потоков данных. Apache Airflow
4.3. Разработка потоков данных
4.4. Подключение Airflow к ClickHouse

5. ETL-пайплайны на Apache Hive
5.1. Кластер Hive c Docker
5.2. Создание и заполнение таблиц Hive
5.3. Создание внутренней таблицы
5.4. Создание внешней таблицы

6. Apache Kafka — потоковый межсистемный обмен данными
6.1. Установка, настройка и запуск Apache Kafka и Zookeeper в Windows
6.2. Развертывание Docker-образа Kafka через Windows WSL2
6.3. Установка Docker Desktop
6.4. Запуск Kafka в Docker
6.5. Запуск стека Kafka
6.6. Тестирование Kafka. Создание топика
6.7. Развёртывание Kafka с использованием Node.js
6.8. Связь Click House + Apache Kafka с помощью VirtualBox

7. Apache Flink — потоковая обработка
7.1. Подготовка окружения для запуска Apache Flink на виртуальной машине
7.2. Создание приложения для потоковой обработки данных при помощи Apache Flink

8. OrientDB — итеративная обработка больших графов
8.1. OrientDB: Пример использования графовой базы данных
8.2. Графовые базы данных

Приложение А. Работа с Docker, Python и Node.js в Docker-контейнерах
А.1. Руководство по установке Docker для операционной системы
А.2. Как включитьф ункцию виртуализации в BIOS (Hyper-V)
А.3. Как включитьHy per-V в Windows 11
А.4. Настройка окружения Python в Docker и запуск Python в контейнере Docker
А.5. Инструкция по разворачиванию в Docker контейнера Hardhat + Node.js с Yarn

Приложение Б. Установка WSL2, Node.js в WSL2 и плагина WSL2 в VS Code
Б.1. Установка WSL2
Б.2. Установка Node.js в WSL2 через NVM
Б.3. Установка VSCode и расширений для работы с WSL2
Приложение В. Работа с базой данных Greenplum в Docker

Литературa

Рекомендуем

Книга

Практикум по обработке больших данных