Курс Essential Architecture #Data

Рис. “Титульный слайд лекции”
Рис. “План беседы”
Рис. “12 factor app и фактор про stateless приложение”
Рис. “А где хранить данные”
Рис. “Файловые системы”
  • формат хранения варьировался от задачи к задаче и требовалось писать отдельно логику того, как сложить данные и как их считать с устройства хранения — в итоге, часто смешивалась бизнес-логика приложения и логика работы с data layer
  • приложения становились многопользовательскими, поэтому было сложно реализовывать параллельную работу с данными внутри файлов
Рис. “Реляционные базы данных”
  • отношение — таблица
  • кортеж — строка
  • атрибут — колонка
Рис. “Реляционные базы данных — introduction”
Рис. “Реляционные базы данных — нормализация”
Рис. “Реляционные базы данных — SQL”
Рис. “Реляционные базы данных — индексы”
Рис. “Реляционные базы данных — транзакции”
Рис. “Реляционные базы данных — ACID — atomicity”
Рис. “Реляционные базы данных — ACID — consistency”
Рис. “Реляционные базы данных — ACID — isolation”
Рис. “Реляционные базы данных — ACID —durability”
Рис. “Реляционные базы данных — replication”
Рис. “Реляционные базы данных —sharding”
Рис. “OLAP”
Рис. “BigData”
Рис. “Объектное хранилище”
Рис. “NoSQL”
  • ключ-значение (key-value)
  • семейство столбцов (column-family)
  • документо-ориентированная (document-oriented)
  • графовая (graph)
Рис. “NoSQL — key-value”
Рис. “NoSQL — document-oriented”
Рис. “NoSQL — CAP теорема и BASE”
Рис. “NoSQL—BASE”
Рис. “NoSQL — BASE — применение с учетом гарантий”
Рис. “Как обмениваться данными”
Рис. “Варианты интеграции — file transfer”
Рис. “Варианты интеграции — shared database”
Рис. “Варианты интеграции — все виды”
Рис. “А что по аналитике использования продукта”
Рис. “Отчетность и аналитика (Data Lake)”
Рис. “Отчетность и аналитика (Data Mesh) — принципы”
  1. Доменно-ориентированная децентрализация владения и архитектуры помогает экосистеме создания и потребления данных масштабироваться при увеличении числа источников данных, сценариев использования и увеличении многообразия способов доступа к данным — ноды сети становятся более автономными.
  2. Принцип подхода к данным как продукту (data products) позволяет потребителям данных просто найти, понять и использовать данные высокого качества, которые распределены по многим доменам предметной области.
  3. Self-service платформа для данных позволяет доменным командам создавать и потреблять данные (data products) автономно с использованием платформенных абстракций, скрывая сложность создания, наполнения и поддержки безопасности этих интероперабельных data products.
  4. Federated computational governance позволяет пользователям данные получить эффект от агрегации и корреляции независимых data products. Data Mesh выступает как экосистема, которая следует общим стандартам интероперабельности (interoperability), которые встроены в self service платформу.
Рис. “Как проектировать доменную модель”
Рис. “Domain Driven Design”
  • Где хранить состояние приложения
    - Файловые системы
    - Реляционные базы данных
    - Объектное хранилище
    - OLAP
    - BigData
    - NoSQL
  • Как обмениваться данными (варианты интеграции)
  • Как организовывать работу с аналитическими данными
    (Data Lake vs Data Mesh)
  • Как проектировать доменную модель

Источники

--

--

--

Director of digital ecosystem development department at Tinkoff. Bachelor at applied math, Master at system analysis, Postgraduate studies at economics.

Love podcasts or audiobooks? Learn on the go with our new app.

Get the Medium app

A button that says 'Download on the App Store', and if clicked it will lead you to the iOS App store
A button that says 'Get it on, Google Play', and if clicked it will lead you to the Google Play store
Alexander Polomodov

Alexander Polomodov

Director of digital ecosystem development department at Tinkoff. Bachelor at applied math, Master at system analysis, Postgraduate studies at economics.

More from Medium

Using Git and GitLab for Software Development Team Collaboration

Three Deployment Patterns

Caching Strategies

API Test Automation in ORFIUM