ОБРАБОТКА ЗАПРОСОВ В СИСТЕМЕ С ЛЯМБДА-АРХИТЕКТУРОЙ НА УРОВНЕ УСКОРЕНИЯ
Выполнен анализ процессов потоковой обработки данных на уровне ускорения, включающий звено сбора данных, звено очереди сообщений, звено анализа, хранилище данных в памяти и звено доступа к данным. Рассмотрен алгоритм Count-Min Sketch для подсчета частоты и суммы значений какого-либо элемента в потоке. Показано, что использование эскиза (sketch) приводит к большой ошибке восстановления накопленных значений при достаточно большом числе элементов в потоке. Предложена реализация звена анализа на уровне ускорения в системе с лямбда-архитектурой с плавающим окном. Звено включает матрицу векторов (одномерных числовых массивов) вместо эскизов. Это позволяет читать накопленные значения из векторов матрицы напрямую.
Ключевые слова: лямбда-архитектура, потоковая обработка, уровень ускорения, эскиз, вектор
