ОБРОБКА ТЕЛЕМЕТРИЧНИХ ДАНИХ ТА ВИЗНАЧЕННЯ РЕЛЕВАНТНИХ ОЗНАК ДЛЯ РОБОТИ СИСТЕМИ ПІДТРИМКИ ПРИЙНЯТТЯ РІШЕНЬ У КОНТЕКСТІ ОЦІНКИ ФУНКЦІОНАЛЬНОГО СТАНУ РЕЛЯЦІЙНИХ БАЗ ДАНИХ
DOI:
https://doi.org/10.32689/maup.it.2026.2.12Ключові слова:
телеметрія, відбір ознак, шляхи з’єднання, екстремальне навчання, інцидент, матриця ознак, СППРАнотація
Об’єктом дослідження є процес оброблення телеметричних даних Oracle Database 21c та формування релевантного простору ознак для системи підтримки прийняття рішень щодо оцінювання функціонального стану реляційної бази даних. Проблема полягає у тому, що великий початковий набір метрик містить одночасно діагностично значущі, контекстні, дублюючі та вузькоспеціалізовані показники, а їх безпосереднє використання у моделі ускладнює інтерпретацію та може погіршувати стійкість оцінювання. Запропоновано методологію, яка поєднує потокові подання V$ та історичні таблиці Automatic Workload Repository, побудову шляхів з’єднання і реляційних дерев, синхронізацію за UTC, агрегування, нормалізацію та формування часових характеристик. Відбір ознак виконується за доменно обґрунтованими критеріями діагностичної значущості, недубльованості, інтерпретованості та придатності до часового узгодження. У результаті десять груп кандидатних метрик розподілено на шість базових, дві контекстні та дві надлишкові: до базового набору віднесено CPU, Database Wait Time Ratio, Buffer Cache Hit Ratio, Active Sessions, wait events / wait classes та I/O waits; Executes і Physical Reads враховано частково, а DB Block Gets і Background CPU Time вилучено. Мітки інцидентів формуються поєднанням детерміністичних правил і нечітких функцій належності. Сформований простір ознак використано для побудови часово впорядкованої матриці та класифікації функціонального стану бази даних за допомогою нейромережевої моделі екстремального навчання з інформаційно-керованою селекцією прихованих нейронів. Експеримент на тижневому наборі приблизно з 10080 однохвилинних записів дав точність близько 0,64 у вибраній робочій точці; аналіз ROC-кривої та калібраційної діаграми засвідчив потребу в додатковому налаштуванні порогу класифікації. Практичне значення полягає у відтворюваному переході від неоднорідної телеметрії до компактного, пояснюваного та придатного для СППР простору ознак.
Посилання
James, C., Corbett, J., Dean, J., Epstein, M., Fikes, A., Frost, C., Furman, J.J., Ghemawat, S., Gubarev, A., Heiser, C., Hochschild, P., et al. (2013). Spanner: Google’s globally distributed database. ACM Transactions on Computer Systems (TOCS), Vol. 31. PP. 1–22. DOI:10.1145/2491245.
Yang, Z., Yang, C., Han, F., Zhuang, M., Yang, B., Yang, Z., Cheng, X., Zhao, Y., Shi, W., Xi, H., et al. (2022). OceanBase: a 707 million tpmC distributed relational database system. Proceedings of the VLDB Endowment, Vol. 15. PP. 3385–3397. DOI:10.14778/3554821.3554837.
Huang, D., Liu, Q., Cui, Q., Fang, Z., Ma, X., Xu F., Shen, L., Tang, L., Zhou, Y., Huang, M., et al. (2020). TiDB: a Raft-based HTAP database. Proceedings of the VLDB Endowment, Vol. 13. PP. 3072–3084. DOI:10.14778/3415478.3415535.
He, P., Liu, J., Lyu, M.R., Zhu, J., He, S. (2023). Loghub: A large collection of system log datasets towards automated log analytics, arXiv:2307.09227.
Zhang, X., Xu, Y., Lin, Q., Qiao, B., Zhang, H., Dang, Y., Xie, C., Yang, X., Cheng, Q., Li, Z., et al. (2019). Robust log-based anomaly detection on unstable log data. Proceedings of the 27th ACM Joint Meeting on European Software Engineering Conference and Symposium on the Foundations of Software Engineering, PP. 807–817. DOI:10.1145/3338906.3338964.
Du, M., Li, F., Zheng, G., Srikumar, V. (2017). Deeplog: Anomaly detection and diagnosis from system logs through deep learning. Proceedings of the ACM SIGSAC Conference on Computer and Communications Security, PP. 1285–1298. DOI:10.1145/3133956.3134015.
Meng, W., Liu, Y., Zhu, Y., Zhang, S., Pei, D., Liu, Y., Chen, Y., Zhang, R., Tao, S., Sun, P., et al. (2019). Loganomaly: Unsupervised detection of sequential and quantitative anomalies in unstructured logs. Proceedings of the 28th International Joint Conference on Artificial Intelligence (IJCAI), PP. 4739–4745.
Yin, K., Yan, M., Xu, L., Xu, Z., Li, Z., Yang, D., Zhang, X. (2020). Improving log-based anomaly detection with component-aware analysis. 2020 IEEE International Conference on Software Maintenance and Evolution (ICSME), PP. 667–671. DOI:10.1109/ICSME46990.2020.00077.
Guo, H., Yuan, S., Wu, X. (2021). Logbert: Log anomaly detection via BERT. Proceedings of the International Joint Conference on Neural Networks (IJCNN). IEEE, PP. 1–8. DOI:10.1109/IJCNN52387.2021.9533689.
Jia, T., Li, Y., Yang, Y., Huang, G., Wu, Z. (2022). Augmenting log-based anomaly detection models to reduce false anomalies with human feedback. Proceedings of the 28th ACM SIGKDD Conference on Knowledge Discovery and Data Mining, PP. 3081–3089. DOI:10.1145/3534678.3539393.
Jia, T., Wu, Y., Hou, C., Li, Y. (2021). LogFlash: Real-time streaming anomaly detection and diagnosis from system logs for large-scale software systems. Proceedings of the IEEE 32nd International Symposium on Software Reliability Engineering (ISSRE), PP. 80–90. DOI:10.1109/ISSRE52982.2021.00021.
Jia, T., Yang, L., Chen, P., Li, Y., Meng, F., Xu, J. (2017). Logsed: Anomaly diagnosis through mining time-weighted control flow graph in logs. Proceedings of the IEEE 10th International Conference on Cloud Computing (CLOUD), PP. 447–455. DOI:10.1109/CLOUD.2017.60.
Kim, J., Savchenko, V., Shin, K., Sorokin, K., Jeon, H., Pankratenko, G., Markov, S., Kim, C.-J. (2020). Automatic abnormal log detection by analyzing log history for providing debugging insight. Proceedings of the 42nd International Conference on Software Engineering: Software Engineering in Practice (ICSE-SEIP), PP. 71–80. DOI:10.1145/3377813.3381363.
Lin, Q., Zhang, H., Lou, J., Zhang, Y., Chen, X. (2016). Log clustering based problem identification for online service systems. Proceedings of the 38th International Conference on Software Engineering Companion, PP. 102–111. DOI:10.1145/2889160.2889232.
Huo, Y., Li, Y., Su, Y., He, P., Xie, Z., Lyu, M.R. (2023). AutoLog: A log sequence synthesis framework for anomaly detection, arXiv:2308.09324.
Landauer, M., Skopik, F., Wurzenberger, M. (2023). A critical review of common log data sets used for evaluation of sequence-based anomaly detection techniques, arXiv:2309.02854.
Wang, C., Huang, X., Qiao, J., Jiang, T., Rui, L., Zhang, J., Kang, R., Feinauer, J., McGrail, K.A., Wang, P., et al. (2020). Apache IoTDB: Time-series database for internet of things. Proceedings of the VLDB Endowment, Vol. 13. PP. 2901–2904. DOI:10.14778/3415478.3415504.
Zhang, L., Jia, T., Jia, M., Li, Y., Yang, Y., Wu, Z. (2024). Multivariate log-based anomaly detection for distributed database. Proceedings of the 30th ACM SIGKDD Conference on Knowledge Discovery and Data Mining, PP. 12. DOI:10.1145/3637528.3671725.
Oraculix. Monitoring Oracle performance with AppDynamics, 2013. [Online]. Retrieved from: https://oraculix.com/2013/02/25/monitoring-oracle-performance-with-appdynamics/.
Oracle. Instance tuning using performance views. Database Performance Tuning Guide, 2023. [Online]. Retrieved from: https://docs.oracle.com/en/database/oracle/oracle-database/23/tgdba/instance-tuning-using-performance-views.html.
Lam, H.T., Thiebaut, J.M., Sinn, M., Chen, B., Mai, T., Alkan, O. (2017). One button machine for automating feature engineering in relational databases, arXiv:1706.00327. DOI:10.48550/arXiv.1706.00327.
Wilkinson, M.D., Dumontier, M., Aalbersberg, I.J., Appleton, G., Axton, M., Baak, A., Blomberg, N., Boiten, J.-W., da Silva Santos, L.B., Bourne, P.E., et al. (2016). The FAIR Guiding Principles for scientific data management and stewardship. Scientific Data, Vol. 3. Article 160018. DOI:10.1038/sdata.2016.18.
Buchanan, E., Crain, S., Cunningham, A., Johnson, H., Stash, H., Papadatou-Pastou, M., Isager, P., Carlsson, R., Aczel, B. (2019). Getting started creating data dictionaries: How to create a shareable dataset. OSF Preprints, DOI:10.31219/osf.io/vd4y3.
##submission.downloads##
Опубліковано
Як цитувати
Номер
Розділ
Ліцензія
Ця робота ліцензується відповідно до Creative Commons Attribution 4.0 International License.
