Meetup №9 (офлайн + онлайн): Exactly once в YDB и Балансировка нагрузки в YT Flow.

Девятый митап российского сообщества разработчиков СУБД и распределенных систем. В этот раз на стыке классических СУБД и Stream Processing. Обсудили различные проблемы и решения Exactly Once семантики операций в YDB и как устроена балансировка нагрузки в системе потоковой обработки данных YT Flow.

YouTube

VK

Мероприятие прошло онлайн и офлайн, в программе — два доклада от разработчиков Яндекса про Exactly once в YDB и балансировку нагрузки в YT Flow.

Трансляция мероприятия была организована нашими друзьями из компании Яндекс.

Программа

  • 19:00 – 20:00 Exactly once в YDB. Алексей Николаевский, Руководитель YDB Topics, Яндекс
  • 20:00 – 20:10 Перерыв
  • 20:10 – 21:10 Балансировка нагрузки в системе потоковой обработки данных YT Flow. Александр Ляпунов, разработчик YT Flow, Яндекс

Доклады

Exactly once в YDB

Алексей Николаевский, руководитель YDB Topics, Яндекс

Exactly once — это сложно. Просто звучащее требование реализовать дорого. Когда у вас одна БД и транзакция над несколькими таблицами, exactly once получается из коробки. Но в реальном мире есть необходимость при обработке перекладывать данные из потокового брокера сообщений (например, из Apache Kafka) в БД, из БД в брокер сообщений, из одной БД в другую БД. Есть необходимость строить CDC (Change Data Capture) по таблице.

В докладе рассмотрим, как YDB позволяет решать эти задачи с гарантиями и как это устроено под капотом.

Балансировка нагрузки в системе потоковой обработки данных YT Flow.

Александр Ляпунов, разработчик YT Flow, Яндекс

Системы потоковой обработки данных, как и любые распределенные системы, сталкиваются с проблемой балансировки нагрузки (ресурсов) в кластере. YT Flow, будучи платформой для создания таких систем, должна решать проблему балансировки для произвольных сценариев. В этом докладе я расскажу про системы потоковой обработки данных в целом, особенности балансировки нагрузки в них в частности, про сходства и различия в этом контексте с распределенными базами данных. Затем я расскажу, как проблемы балансировки решаются в YT Flow и каких результатов мы достигли.

Back to Home