ПІДВИЩЕННЯ ЕФЕКТИВНОСТІ РЕПЛІКАЦІЇ ДАНИХ У РЕЖИМІ РЕАЛЬНОГО ЧАСУ ЧЕРЕЗ ОПТИМІЗАЦІЮ МЕТОДІВ CHANGE DATA CAPTURE
DOI:
https://doi.org/10.32689/maup.it.2025.2.27Ключові слова:
асинхронна обробка, потокові архітектури, узгодженість транзакцій, буферизація змін, аналітика в оперативній пам’ятіАнотація
Актуальність дослідження зумовлено необхідністю підвищення ефективності реплікації даних у режимі реального часу в умовах стрімкого зростання обсягів інформації, розширення розподілених інфраструктур і динамічного навантаження на системи обробки. Традиційні механізми передачі змін дедалі частіше виявляються недостатньо гнучкими або ресурсно затратними, особливо у високонавантажених середовищах, що актуалізує завдання переосмислення методів Change Data Capture (CDC).Метою статті є наукове обґрунтування та розробка підходів до підвищення ефективності реплікації даних у режимі реального часу шляхом оптимізації методів Change Data Capture з урахуванням специфіки сучасних розподілених обчислювальних середовищ.Методологія дослідження базується на системному аналізі CDC-процедур у хмарних та гібридних інфраструктурах, моделюванні архітектурних схем реплікації, застосуванні методів порівняльного оцінювання, типологізації функціональних характеристик, а також критеріального підходу до визначення ефективності процедур у різних сценаріях оновлення даних. Результати дослідження відображаються у визначенні ключових функціональних ознак CDC-реалізацій, класифікації архітектурних моделей реплікації, обґрунтуванні релевантних критеріїв оцінки (затримка, узгодженість, масштабованість, пропускна здатність, гнучкість підключення), а також у виявленні основних технологічних обмежень у високонавантажених середовищах. Встановлено, що подієво-орієнтовані архітектури з асинхронною обробкою змін демонструють кращу продуктивність за умов правильної буферизації і контролю черг подій. У висновках обґрунтовано доцільність гібридного підходу до CDC у складних архітектурах, підтверджено залежність ефективності від поєднання архітектурної моделі та режиму обробки, а також окреслено типові технічні обмеження, що виникають у процесі впровадження CDC у традиційні СКБД і потокові сервіси.Перспективами подальших досліджень визначено розробку інтелектуальних CDC-стратегій, адаптивного керування потоками змін і розширення міжплатформної сумісності компонентів у мультихмарних середовищах.
Посилання
Юринець Р. Б., Пірко І. Б. Інноваційні методики інтегрування даних для оптимізації процесу наповнення сховища даних. Науковий вісник НЛТУ України. 2024. Вип. 34, № 6. С. 101–105. DOI: https://doi.org/10.36930/40340614.
Beyond Teradata Migration: Implement a Modern Data Warehouse in Azure Synapse Analytics. Microsoft Azure: website. 2023. URL: https://learn.microsoft.com/en-us/azure/synapse-analytics/migration-guides/teradata/7-beyond-data-warehouse-migration (date of access: 13.06.2025).
Capture Configuration Challenges. 2023 IEEE IAS Petroleum and Chemical Industry Technical Conference (PCIC), New Orleans, USA. IEEE, 2023. P. 195–203. DOI: 10.1109/PCIC43643.2023.10414316.
Chandra H. Experimental results on change data capture methods implementation in different data structures to support real-time data warehouse. International Journal of Business Information Systems. 2020. Vol. 34, No. 3. P. 373. DOI: https://doi.org/10.1504/ijbis.2020.108651 (date of access: 13.06.2025).
Debezium Documentation. Debezium: website. 2024. URL: https://debezium.io/documentation (дата звернення: 06.06.2025).
Dhakal P., Munikar M., Dahal B. One-Shot Template Matching for Automatic Document Data Capture. 2019 Artificial Intelligence for Transforming Business and Society (AITB), Kathmandu, Nepal. IEEE, 2019. P. 1–6. DOI: 10.1109/ AITB48515.2019.8947440.
Event-Driven Architecture. Confluent Developer: website. 2024. URL: https://developer.confluent.io/courses/microservices/event-driven-architecture/ (date of access: 13.06.2025).
Hao L., Jiang T., Lin Y., Lu Y. Methods for Solving the Change Data Capture Problem. In: Xiong N., Li M., Li K., Xiao Z., Liao L., Wang L. (eds). Advances in Natural Computation, Fuzzy Systems and Knowledge Discovery. ICNC-FSKD 2022. Lecture Notes on Data Engineering and Communications Technologies. Cham: Springer, 2023. Vol. 153. P. 1025–1034. DOI: https:// doi.org/10.1007/978-3-031-20738-9_87.
Harris P. A., Taylor R., Minor B. L., Elliott V., Fernandez M., O'Neal L., McLeod L., Delacqua G., Delacqua F., Kirby J., Duda S. N. The REDCap Consortium: Building an International Community of Software Platform Partners. Journal of Biomedical Informatics. 2019. Vol. 95. Article 103208. DOI: https://doi.org/10.1016/j.jbi.2019.103208.
Horbenko Y. Confidential Computing in Front-End: Enhancing Data Security with Secure Enclaves and Homomorphic Encryption. International Journal of Advanced Multidisciplinary Research and Studies. 2025. Vol. 5, No. 3. P. 308–321. URL: https://www.multiresearchjournal.com/admin/uploads/archives/archive-1747130538.pdf (date of access: 13.06.2025).
Horbenko Y. Secure Front-End Automation Framework: A Novel Approach to Client-Side Data Encryption and Zero Trust API Interaction. Asian Journal of Research in Computer Science. 2025. Vol. 18, No. 6. P. 177–193. DOI: https://doi.org/10.9734/ajrcos/2025/v18i6690.
Imani F. M., Widyasari Y. D. L., Arifin S. P. Optimizing Extract, Transform, and Load Process Using Change Data Capture. 6th International Seminar on Research of Information Technology and Intelligent Systems (ISRITI), Batam, Indonesia. IEEE, 2023. P. 266–269. DOI: 10.1109/ISRITI60336.2023.10468009.
Import Data into a Secured BigQuery Data Warehouse. Google: website. 2023. URL: https://cloud.google.com/architecture/blueprints/confidential-data-warehouse-blueprint (date of access: 13.06.2025).
Seenivasan D., Vaithianathan M. Real-Time Adaptation: Change Data Capture in Modern Computer Architecture. ESP International Journal of Advancements in Computational Technology. 2023. Vol. 1, No. 2. P. 49–61. URL: https://www.researchgate.net/publication/381225264 (date of access: 13.06.2025).
Snowpipe Streaming – Snowflake Documentation. Snowflake: website. 2024. URL: https://docs.snowflake.com/en/user-guide/data-load-snowpipe-streaming-overview
Track Data Changes (CDC) in SQL Server. Microsoft: website. 2024. URL: https://learn.microsoft.com/en-us/sql/relational-databases/track-changes/track-data-changes-sql-server (дата звернення: 06.06.2025).
Vagadia B. Data Capture and Distribution. In: Digital Disruption. Future of Business and Finance. Cham: Springer, 2020. P. 45–66. DOI: https://doi.org/10.1007/978-3-030-54494-2_4.
Yan W. Q. Introduction to Intelligent Surveillance: Surveillance Data Capture, Transmission, and Analytics. Cham: Springer, 2019. 425 p. URL: https://books.google.com.ua/books?id=pheJDwAAQBAJ (date of access: 13.06.2025).
Zakiah A., Yusuf R., Prihatmanto A. S. The Benefits of Change Data Capture in Enhancing Data Availability in the Digital Transformation Era. Widyatama International Conference on Engineering 2024 (WICOENG 2024). Atlantis Press, 2024. P. 302–308. DOI: https://doi.org/10.2991/978-94-6463-618-5_32.
Zheng T., Chen G., Wang X., Chen C., Wang X., Luo S. Real-time intelligent big data processing: technology, platform, and applications. Science China Information Sciences. 2019. Vol. 62. Article 82101. DOI: https://doi.org/10.1007/s11432-018-9834-8.
##submission.downloads##
Опубліковано
Як цитувати
Номер
Розділ
Ліцензія
Авторське право (c) 2025 Христина ТЕРЛЕЦЬКА
Ця робота ліцензується відповідно до Creative Commons Attribution 4.0 International License.
