ТЕХНОЛОГІЯ ПІДВИЩЕННЯ ЕФЕКТИВНОСТІ ЗБЕРІГАННЯ У NO-SQL БАЗАХ ДАНИХ
DOI:
https://doi.org/10.32689/maup.it.2024.3.2Ключові слова:
No-SQL бази даних, дедуплікація даних, стиснення даних, оптимізація хмарного зберігання, ефективність зберіганняАнотація
У статті представлено результати використання методів дедуплікації і стиснення для оптимізації зберігання даних у хмарних No-SQL базах даних. Метою роботи є зменшення обсягу даних, що зберігаються, за рахунок використання технології Hadoop MapReduce для обробки інформації та MongoDB для зберігання агрегованих пар ключ-значення. Методологія. Дослідження базується на комбінації дедуплікації та стиснення даних, виконаних за допомогою Hadoop MapReduce. Цей підхід дозволяє обробляти великі обсяги інформації, оптимізуючи процеси зберігання в MongoDB. Результати. Проведено серію експериментів для оцінки зменшення обсягів даних та перевірки швидкості обробки запитів. Запропонована архітектура системи демонструє легкість інтеграції з існуючими інструментами резервного копіювання, що робить цю технологію практичною для впровадження в реальних умовах. Результати експериментів свідчать про високу ефективність застосування даних технологій для великих файлів, що дозволяє зменшити вимоги до сховища на понад 90%. Наукова новизна. Запропоноване рішення впроваджує інноваційний підхід до обробки та зберігання даних у хмарних середовищах. Вперше в контексті No-SQL баз даних об’єднуються методи дедуплікації та стиснення, що створює нові можливості для економії місця і підвищення продуктивності систем. Дослідження розширює застосування цих методів, включаючи потенціал для мультимедійних файлів та потокових даних у реальному часі. Висновки. Отримані результати свідчать про високу ефективність використання технології дедуплікації та стиснення для зменшення обсягів даних у хмарних No-SQL базах. Впровадження даних методів дозволяє значно знизити витрати на зберігання, підвищити швидкість обробки даних та адаптуватися до зростаючих потреб сучасних індустрій. Наступні етапи дослідження включатимуть розробку прогностичних моделей для оптимізації застосування технологій у реальному часі, що відкриває нові горизонти в управлінні даними.
Посилання
Roy-Hubara N., Sturm A. Design methods for the new database era: A systematic literature review. Software and Systems Modeling, 2019. № 19, pp. 297–312. doi:10.1007/s10270-019-00739-8.
Ramzan S., Bajwa I. S., Kazmi R., Amna. Challenges in NoSQL-based distributed data storage: A systematic literature review. Electronics, 2019. № 8, pp. 1–29. doi:10.3390/electronics8050488.
Kim W., Lee I. Survey on data deduplication in cloud storage environments. Journal of Information Processing Systems, 2021. № 17(3), pp. 658–673. doi:10.3745/JIPS.03.0160.
Kumar N., Shobha, Jain S. C. efficient data deduplication for big data storage systems. In Progress in Advanced Computing and Intelligent Engineering. 2019. № 714, pp. 351–371. 10.1007/978-981-13-0224-4_32
Wang C., Fu Y., Yan J., Wu X., Zhang Y., Xia H., Yuan Y. A cost‐efficient resemblance detection scheme for postdeduplication delta compression in backup systems. Concurrency and Computation: Practice and Experience. 2022. № 34(3), pp. e6558. doi:10.1002/cpe.6558.
Zhang D., Le J., Mu N., Wu J., Liao X. Secure and Efficient data deduplication in JointCloud storage. IEEE Transactions on Cloud Computing. 2023. № 11(1), pp. 156–167. doi: 10.1109/TCC.2021.3081702.
Tan H., Zou X., Wan B., Gu Z., Xia W. SuperDelta: Multiple referenced base chunks scheme for fine-grained deduplication backup storage system. Data Compression Conference Proceedings. 2024. pp. 362–371. doi:10.1109/DCC58796.2024.00044.
Ge X., Zhou C. A data allocation strategy for deduplication backup systems in disk arrays. Proceedings of SPIE – The International Society for Optical Engineering. 2024. pp. 1325004. doi:10.1117/12.3038451
Zhang D., Deng Y., Zhou Y., Li J., Zhu W., Min G. MGRM: A multi-segment greedy rewriting method to alleviate data fragmentation in deduplication-based cloud backup systems. IEEE Transactions on Cloud Computing. 2023. № 11(3), pp. 2503–2516. doi:10.1109/TCC.2022.3214816
Koushik C. S. N., Choubey S. B., Choubey A., Sinha G. R. Data deduplication for cloud storage. In Data Deduplication Approaches. 2021. pp. 307–317. doi:10.1016/b978-0-12-823395-5.00010-0.
