Курс Essential Architecture #Data

Я уже рассказывал про вводный курс по архитектуре, а также публиковал расшифровку лекции про код. В этой статье будет расшифровка лекции про подходы к организации работы с данными.

Рис. “Титульный слайд лекции”
Рис. “План беседы”
Рис. “12 factor app и фактор про stateless приложение”
Рис. “А где хранить данные”
Рис. “Файловые системы”
  • приложения становились многопользовательскими, поэтому было сложно реализовывать параллельную работу с данными внутри файлов
Рис. “Реляционные базы данных”
  • кортеж — строка
  • атрибут — колонка
Рис. “Реляционные базы данных — introduction”
Рис. “Реляционные базы данных — нормализация”
Рис. “Реляционные базы данных — SQL”
Рис. “Реляционные базы данных — индексы”
Рис. “Реляционные базы данных — транзакции”
Рис. “Реляционные базы данных — ACID — atomicity”
Рис. “Реляционные базы данных — ACID — consistency”
Рис. “Реляционные базы данных — ACID — isolation”
Рис. “Реляционные базы данных — ACID —durability”
Рис. “Реляционные базы данных — replication”
Рис. “Реляционные базы данных —sharding”
Рис. “OLAP”
Рис. “BigData”
Рис. “Объектное хранилище”
Рис. “NoSQL”
  • семейство столбцов (column-family)
  • документо-ориентированная (document-oriented)
  • графовая (graph)
Рис. “NoSQL — key-value”
Рис. “NoSQL — document-oriented”
Рис. “NoSQL — CAP теорема и BASE”
Рис. “NoSQL—BASE”
Рис. “NoSQL — BASE — применение с учетом гарантий”
Рис. “Как обмениваться данными”
Рис. “Варианты интеграции — file transfer”
Рис. “Варианты интеграции — shared database”
Рис. “Варианты интеграции — все виды”
Рис. “А что по аналитике использования продукта”
Рис. “Отчетность и аналитика (Data Lake)”
Рис. “Отчетность и аналитика (Data Mesh) — принципы”
  1. Принцип подхода к данным как продукту (data products) позволяет потребителям данных просто найти, понять и использовать данные высокого качества, которые распределены по многим доменам предметной области.
  2. Self-service платформа для данных позволяет доменным командам создавать и потреблять данные (data products) автономно с использованием платформенных абстракций, скрывая сложность создания, наполнения и поддержки безопасности этих интероперабельных data products.
  3. Federated computational governance позволяет пользователям данные получить эффект от агрегации и корреляции независимых data products. Data Mesh выступает как экосистема, которая следует общим стандартам интероперабельности (interoperability), которые встроены в self service платформу.
Рис. “Как проектировать доменную модель”
Рис. “Domain Driven Design”
  • Как обмениваться данными (варианты интеграции)
  • Как организовывать работу с аналитическими данными
    (Data Lake vs Data Mesh)
  • Как проектировать доменную модель

Источники

Director of digital ecosystem development department at Tinkoff. Bachelor at applied math, Master at system analysis, Postgraduate studies at economics.

Director of digital ecosystem development department at Tinkoff. Bachelor at applied math, Master at system analysis, Postgraduate studies at economics.