МЕТОД АВТОМАТИЗОВАНОЇ МІГРАЦІЇ ДАНИХ МІЖ ВАРІАНТАМИ СХОВИЩ У СИСТЕМАХ З БАГАТОВАРІАНТНОЮ ПЕРСИСТЕНТНІСТЮ
DOI:
https://doi.org/10.32689/maup.it.2025.4.21Ключові слова:
інваріанти, десеріалізація, трансформація, відображення, фактАнотація
Мета дослідження полягає у розробці концепції та архітектури системи автоматизованої міграції даних, здатної забезпечувати узгодженість, цілісність і еквівалентність інформації під час переходу між різнорідними моделями зберігання в умовах багатоваріантної персистентності. Робота присвячена створенню методу автоматизованої міграції даних у середовищах, де одна й та сама одиниця інформації може існувати у кількох еквівалентних формах. Методологія. Використаний метод базується на формальній моделі факту, що зберігає інваріанти структури, типів і семантики при переході між різними моделями зберігання. Визначено принципи коректних відображень між сховищами та умови, за яких перетворення даних залишаються безвтратними та відтворюваними. Запропоновано систему інваріантів, яка фіксує межі допустимих трансформацій і забезпечує логічну цілісність фактів незалежно від конкретної технології зберігання. Ключовим елементом методу є предметно орієнтована мова опису трансформацій, яка задає правила переходу між моделями даних у формалізованому вигляді. Її конструкції дозволяють виконувати операції проєкції, вкладення, розгортання, з’єднання та індукції зв’язків між структурами; мова має чітку типізацію та забезпечує перевірку коректності на етапах компіляції й виконання. На основі розробленої мови створено прототип системи, який виконує автоматизовану трансформацію даних між реляційними, документними, графовими та key-value сховищами без втручання користувача. Архітектура рішення включає модулі перевірки інваріантів, компіляції трансформацій і виконання міграцій із контролем транзакційності, відкатом і журналом фіксації операцій, а також сервіси оцінки вартості та перевірки коректності. Наукова новизна. Уперше сформовано цілісний формальний метод автоматизованої міграції даних між різновидами сховищ у системах з багатоваріантною персистентністю. Побудовано математичну модель факту, інваріантів і відображень, що визначають межі допустимих перетворень і гарантують семантичну еквівалентність між різними матеріалізаціями даних. Запропоновано предметно орієнтовану мову трансформацій із формальною верифікацією тотальності, типізації та збереження інваріантів; реалізовано архітектуру автоматизованої системи з уніфікованими адаптерами до різнорідних сховищ. У межах експериментів проведено порівняння з ручними трансформаціями та класичним ETL-підходом, що дозволило встановити нульову кількість порушень інваріантів при лише незначному збільшенні часу міграції. Висновки. Запропонований метод характеризується здатністю забезпечувати коректну, відмовостійку та формально перевірену міграцію даних без втрати цілісності. Прототип підтвердив нульовий рівень порушень інваріантів і стабільність результатів у різних сценаріях, а також придатність методу до масштабування. Отримані результати доводять ефективність запропонованого підходу та відкривають перспективи подальшої адаптації системи шляхом використання навчальних агентів та динамічних політик керування міграцією.
Посилання
Fernández Candel C. J., Sevilla Ruiz D., García-Molina J. J. A unified metamodel for NoSQL and relational databases. Information Systems. 2022. Vol. 104. 101898. DOI: https://doi.org/10.1016/j.is.2021.101898
Glake D., Kiehn F., Schmidt M., Panse F., Ritter N. Towards polyglot data stores – overview and open research questions. arXiv preprint: website. 2022. DOI: https://doi.org/10.48550/arXiv.2204.05779
Goch L., Chen S. Data migration in large scale storage systems with varying file sizes. Proceedings of the 2024 8th International Conference on Algorithms, Computing and Systems (ICACS ‘24). 2025. P. 77–82. DOI: https://doi.org/10.1145/3708597.3708609
Hussein A. A. Data migration need, strategy, challenges, methodology, categories, risks, uses with cloud computing, and improvements in its using with cloud using suggested proposed model (DMig 1). Journal of Information Security. 2021. Vol. 12. No. 1. P. 49–64. DOI: https://doi.org/10.4236/jis.2021.121004
Kazanavičius J., Mažeika D., Kalibatienė D. An Approach to Migrate a Monolith Database into Multi-Model Polyglot Persistence Based on Microservice Architecture: A Case Study for Mainframe Database. Applied Sciences. 2022. Vol. 12. No. 12. 6189. DOI: https://doi.org/10.3390/app12126189
Kiehn F., Schmidt M., Glake D., Panse F., Wingerath W., Wollmer B., Poppinga M., Ritter N. Polyglot data management: state of the art & open challenges. Proceedings of the VLDB Endowment. 2022. Vol. 15. No. 12. P. 3750–3753. DOI: https://doi.org/10.14778/3554821.3554891
Koukaras P. Data integration and storage strategies in heterogeneous analytical systems: architectures, methods, and interoperability challenges. Information. 2025. Vol. 16. No. 11. 932. DOI: https://doi.org/10.3390/info16110932
Koupil P., Holubová I. A unified representation and transformation of multi-model data using category theory. Journal of Big Data. 2022. Vol. 9. Article No. 61. DOI: https://doi.org/10.1186/s40537-022-00613-3
Lu J., Liu Z. H., Xu P., Zhang C. UDBMS: road to unification for multi-model data management. arXiv preprint: website. 2016. DOI: https://doi.org/10.48550/arXiv.1612.08050.
Nadal S., Romero O., Abelló A., Vassiliadis P., Vansummeren S. An integration-oriented ontology to govern evolution in big data ecosystems. Information Systems. 2018. Vol. 76. P. 68–88. DOI: https://doi.org/10.1016/j.is.2018.01.006
Nadig R., Arulchelvan V., Bera R., Shahroodi T., Singh G., Kakolyris A., Sadrosadati M., Park J., Mutlu O. Harmonia: a multi-agent reinforcement learning approach to data placement and migration in hybrid storage systems. arXiv preprint: website. 2025. DOI: https://doi.org/10.48550/arXiv.2503.20507
Peretiatko M., Shirokopetleva M., Lesna N. Research of methods to support data migration between relational and document data storage models. Innovative Technologies and Scientific Solutions for Industries. 2022. No. 2 (20). P. 64–74. DOI: https://doi.org/10.30837/ITSSI.2022.20.064
Ramos-Vidal D., Cortiñas A., Luaces M. R., Pedreira O., Saavedra Places Á., Assunção W. K. G. Seamless data migration between database schemas with DAMI-framework: an empirical study on developer experience. arXiv preprint: website. 2025. DOI: https://doi.org/10.48550/arXiv.2504.17662
Uotila V., Lu J. A formal category theoretical framework for multi-model data transformations. Lecture Notes in Computer Science. 2021. Vol. 12921. P. 14–28. DOI: https://doi.org/10.1007/978-3-030-93663-1_2
Ye F., Sheng X., Nedjah N., Sun J., Zhang P. A benchmark for performance evaluation of a multi-model database vs. polyglot persistence. Journal of Database Management. 2023. Vol. 34. No. 3. P. 20. DOI: https://doi.org/10.4018/JDM.321756
##submission.downloads##
Опубліковано
Як цитувати
Номер
Розділ
Ліцензія

Ця робота ліцензується відповідно до Creative Commons Attribution 4.0 International License.





