МОНІТОРИНГ ДРЕЙФУ МОДЕЛЕЙ МАШИННОГО НАВЧАННЯ В ПРОДУКЦІЙНИХ ПАЙПЛАЙНАХ: МЕТОДИ, МЕТРИКИ ТА АСПЕКТИ РОЗГОРТАННЯ

Автор(и)

DOI:

https://doi.org/10.32689/maup.it.2025.1.1

Ключові слова:

drift monitoring, CI/CD pipelines, MLOps, model stability, automation, TensorFlow Extended, Google Vertex AI, AWS SageMaker, data drift, concept drift, label drift

Анотація

Актуальність дослідження зумовлена необхідністю забезпечення стабільності та ефективності моделей машинного навчання в умовах динамічних змін даних. Проблема дрейфу моделей – це зміна статистичних характеристик вхідних даних або залежностей між ознаками та цільовою змінною, що призводить до зниження точності прогнозів. Виявлення та моніторинг дрейфу в реальному часі є важливими для стабільної роботи моделей, особливо в таких галузях, як фінанси, охорона здоров’я, кібербезпека, де зміни вхідних даних або умов можуть значно вплинути на результативність моделей. Метою статті є дослідження методів моніторингу дрейфу моделей машинного навчання, зокрема в рамках інтеграції в CI/CD пайплайни для забезпечення їхньої стабільності у реальних умовах. Окрему увагу приділено типам дрейфу (data drift, concept drift, label drift) та метрикам для їх виявлення. Методи дослідження включають аналіз існуючих інструментів для моніторингу та виявлення змін у поведінці моделей на прикладі фінансового прогнозування, а також оцінку ефективності інтеграції моніторингу в CI/CD. Наукова новизна полягає у запропонованому комплексному підході до виявлення дрейфу та інтеграції моніторингу в виробничі пайплайни за допомогою передових інструментів, таких як Google Vertex AI, AWS SageMaker, та TensorFlow Extended, що дозволяє забезпечити автоматичне реагування на зміни в даних. Використання таких технологій підвищує точність прогнозів і зменшує кількість помилок у реальному середовищі. Дослідження підтверджує важливість інтеграції моніторингу дрейфу в безперервний процес оновлення та адаптації моделей для забезпечення їхньої ефективності в умовах постійно змінюваних даних. Висновки показують, що інтеграція систем моніторингу дрейфу в CI/CD пайплайни значно покращує стабільність і ефективність моделей. Своєчасне виявлення дрейфу дозволяє оперативно коригувати моделі, що знижує ймовірність їх деградації. Виявлено, що для досягнення стабільності моделей важлива автоматизація моніторингу, який дозволяє оперативно реагувати на зміни без потреби в ручному втручанні. Це підвищує ефективність системи та знижує ризики, пов’язані з погіршенням якості прогнозів.

Посилання

Ackerman S., Farchi E., Raz O., Zalmanovici M., Dube P. Detection of data drift and outliers affecting machine learning model performance over time. arXiv preprint. 2020. arXiv:2012.09258. DOI: https://doi.org/10.48550/arXiv.2012.09258 (date of access: 04.04.2025).

Alibi Detect. Explainable AI for Drift Detection and Model Monitoring. 2025. URL: https://github.com/SeldonIO/alibidetect (date of access: 03.04.2025).

Amazon Web Services. Amazon SageMaker Model Monitor. 2025. URL: https://docs.aws.amazon.com/sagemaker/latest/dg/model-monitor.html (date of access: 03.04.2025).

Amazon Web Services. Machine Learning Lens – AWS Well-Architected Framework. 2025. URL: https://docs.aws.amazon.com/wellarchitected/latest/machine-learning-lens/wellarchitected-machine-learning-lens.pdf (date of access: 03.04.2025).

Celik B., Vanschoren J. Adaptation Strategies for Automated Machine Learning on Evolving Data. IEEE Transactions on Pattern Analysis and Machine Intelligence. 2021. Vol. 43, № 9. P. 3067–3078. DOI: https://doi.org/10.1109/TPAMI.2021.3062900 (date of access: 04.04.2025).

Derakhshan B., Rezaei Mahdiraji A., Rabl T., Markl V. Continuous Deployment of Machine Learning Pipelines. Proceedings of the International Conference on Extending Database Technology (EDBT). 2019. P. 397–408. URL: https://hpi.de/fileadmin/user_upload/fachgebiete/rabl/publications/2019/ContinousMLDeploymentEDBT2019.pdf (date of access: 04.04.2025).

Eastvedt D., Naterer G., Duan X. Detection of faults in subsea pipelines by flow monitoring with regression supervised machine learning. Process Safety and Environmental Protection. 2022. Vol. 161, № 1. P. 409–420. DOI: https://doi.org/10.1016/j.psep.2022.03.049 (date of access: 04.04.2025).

Evidently AI. Monitoring ML Models in Production. 2025. URL: https://evidentlyai.com (date of access: 03.04.2025).

Google Cloud. Vertex AI: Model Monitoring. 2025. URL: https://cloud.google.com/vertex-ai/docs/modelmonitoring/using-model-monitoring (date of access: 03.04.2025).

Google. TFX: A TensorFlow-Based Production-Scale Machine Learning Platform. 2025. URL: https://arxiv.org/abs/1707.01967 (date of access: 03.04.2025).

Hapke H., Nelson C. Building machine learning pipelines. O’Reilly Media. 2020. 389 p. URL: https://books.google.com.ua/books?id=H6_wDwAAQBAJ (date of access: 04.04.2025).

Jourdan N., Bayer T., Biegel T., Metternich J. Handling concept drift in deep learning applications for process monitoring. Procedia CIRP. 2023. Vol. 120, № 1. P. 33–38. DOI: https://doi.org/10.1016/j.procir.2023.08.007 (date of access: 04.04.2025).

Kourouklidis P., Kolovos D., Noppen J., Matragkas N. A Model-Driven Engineering Approach for Monitoring Machine Learning Models. MODELS-C: ACM/IEEE International Conference on Model Driven Engineering Languages and Systems Companion. 2021. P. 160–164. DOI: https://doi.org/10.1109/MODELS-C53483.2021.00028 (date of access: 04.04.2025).

Meta AI. Fully Sharded Data Parallel: faster AI training with less GPU memory. 2025. URL: https://engineering.fb.com/2021/07/15/open-source/fsdp/ (date of access: 03.04.2025).

Microsoft Azure. Model management and deployment concepts. 2025. URL: https://learn.microsoft.com/en-us/azure/machine-learning/concept-model-management-and-deployment (date of access: 03.04.2025).

Microsoft. Responsible AI Standard – White Paper. 2025. URL: https://www.microsoft.com/en-us/ai/responsibleai? activetab=pivot:techresources-tab (date of access: 03.04.2025).

Prasad A. N. Monitoring and Maintaining Machine Learning Systems. In: Introduction to Data Governance for Machine Learning Systems. Apress, Berkeley, CA. 2024. P. 129–147. DOI: https://doi.org/10.1007/979-8-8688-1023-7_7 (date of access: 04.04.2025).

River. Online Machine Learning in Python. 2025. URL: https://riverml.xyz (date of access: 03.04.2025).

Shankar S., Parameswaran A. Towards observability for production machine learning pipelines. arXiv preprint. 2021. arXiv:2108.13557. DOI: https://doi.org/10.48550/arXiv.2108.13557 (date of access: 04.04.2025).

Vadde B. C., Munagandla V. B. DevOps in the Age of Machine Learning: Bridging the Gap Between Development and Data Science. International Journal of Machine Learning Research in Cybersecurity and Artificial Intelligence. 2024. Vol. 15, № 1. P. 530–544. URL: https://www.researchgate.net/publication/388526732 (date of access: 04.04.2025).

Wani D., Ackerman S., Farchi E., Liu X., Chang H. Data Drift Monitoring for Log Anomaly Detection Pipelines. arXiv preprint. 2023. arXiv:2310.14893. DOI: https://doi.org/10.48550/arXiv.2310.14893 (date of access: 04.04.2025).

Yadav P., Singh V. K., Joffre T., Rigo O., Arvieu C., Le Guen E., Lacoste E. Inline drift detection using monitoring systems and machine learning in selective laser melting. Advanced Engineering Materials. 2020. Vol. 22, № 12. Article 2000660. DOI: https://doi.org/10.1002/adem.202000660 (date of access: 04.04.2025).

Yang Y., Li Y., Zhang T., Zhou Y., Zhang H. Early safety warnings for long-distance pipelines: A distributed optical fiber sensor machine learning approach. Proceedings of the AAAI Conference on Artificial Intelligence. 2021. Vol. 35, № 17. P. 14991–14999. DOI: https://doi.org/10.1609/aaai.v35i17.17759 (date of access: 04.04.2025).

Zenisek J., Holzinger F., Affenzeller M. Machine learning based concept drift detection for predictive maintenance. Computers & Industrial Engineering. 2019. Vol. 137, № 1. Article 106031. DOI: https://doi.org/10.1016/j.cie.2019.106031 (date of access: 04.04.2025).

##submission.downloads##

Опубліковано

2025-05-28

Як цитувати

БАУТІНА, М. (2025). МОНІТОРИНГ ДРЕЙФУ МОДЕЛЕЙ МАШИННОГО НАВЧАННЯ В ПРОДУКЦІЙНИХ ПАЙПЛАЙНАХ: МЕТОДИ, МЕТРИКИ ТА АСПЕКТИ РОЗГОРТАННЯ. Інформаційні технології та суспільство, (1 (16), 8-15. https://doi.org/10.32689/maup.it.2025.1.1