Hierarchical clustering methods in a task to find abnormal observations based on groups with broken symmetry
DOI:
https://doi.org/10.22394/1726-1139-2020-5-116-127Keywords:
деревья решений, network graphs, symmetry breaking, anomalous observations, decision treesAbstract
The work is aimed at solving the actual problem of identification and interpretation of anomalous observations in the study of socio-economic processes. The proposed method is based on the use of a cluster approach to detecting anomalous observations. Clustering is performed using hierarchical methods, which are a set of data ordering algorithms aimed at creating dendrograms consisting of groups of observed points. In the case of mixed data consisting of numeric and categorical variables, it is proposed to use the Gower distance as a metric for distances between elements. Clustering quality is evaluated based on the sum of squares of metric distances between objects within the cluster and the average width of the silhouette. These indicators allow you to select the optimal number of clusters and evaluate the quality of the split results. The dendrogram can be used to study the symmetry groups of cluster systems and the causes of symmetry breaking. Anomaly detection is performed by analyzing the results of hierarchical clustering and identifying branches of the dendrogram that are located at the initial levels of tree construction and do not have branches. The implemented method makes it possible to more accurately interpret the results of clustering with respect to determining errors of the first and second kind in the form of anomalous observations in the data set. Using the described method, it is possible to effectively investigate socio-economic systems and manage their development.Downloads
References
Барский М. Е., Шиков А. Н. Исследование алгоритма поиска аномалий isolation forest // Фундаментальные и прикладные научные исследования: актуальные вопросы, достижения и инновации. Сб. статей XXIII Международной научно-практической конференции 5 мая 2019 г. Пенза: Наука и Просвещение (ИП Гуляев Г. Ю.), 2019. С. 113-117.
Белоцерковская М. Г. Кластеризация клиентской базы участников программы лояльности // Московский экономический журнал. 2017. № 2. С. 112-119.
Галямова А. Ф., Тархов С. В. Управление взаимодействием с клиентами коммерческой организации на основе методов сегментации и кластеризации клиентской базы // Вестник УГАТУ. 2014. Т. 18, № 4 (65). С. 149-156.
Кисляков А. Н. Интеллектуальный анализ потребительского спроса в условиях информационной асимметрии // Современная экономика: проблемы и решения. 2019. № 10 (118). С. 8-17.
Кисляков А. Н. Тихонюк Н. Е. Модель ценообразования однородного рынка с учетом асимметричности информации // Инновационное развитие экономики. 2019. № 1. С. 93-100.
Кисляков А. Н. Методы и инструменты анализа данных в экономике и управлении: учебно-методическое пособие. Владимир: Владимирский филиал РАНХиГС, 2019. 161 с.
Поляков С. В., Кисляков А. Н. Основы математического моделирования социально-экономических процессов: учебно-методическое пособие. Владимир: Владимирский филиал РАНХиГС, 2017. 269 с.
Рау В. Г., Кисляков А. Н., Тихонюк Н. Е., Рау Т. Ф. Принцип нарушения асимметрии в моделях развития экономических систем опыт и проблемы // Региональная экономика: опыт и проблемы. Материалы XI международной научно-практической конференции (Гутманские чтения) 15 мая 2018 г. / под общ. ред. А. И. Новикова, А. Е. Илларионова. Владимир: Владимирский филиал РАНХиГС, 2018. С. 201-211.
Рау В. Г., Поляков С. В., Рау Т. Ф., Фирсов И. В. и др. Некоторые особенности применения групп нарушенной симметрии для "визуализации" процессов в природных, "живых" и социально-экономических системах // Региональная экономика: опыт и проблемы. Материалы XII международной научно-практической конференции (Гутманские чтения) 15 мая 2019 г. / под общ. ред. А. И. Новикова, А. Е. Илларионова. Владимир: Владимирский филиал РАНХиГС, 2019. С. 111-119.
Тихонюк Н. Е., Кисляков А. Н. Экономические модели работы с асимметрией информации: эволюция подходов // Региональная экономика: опыт и проблемы. Материалы XI международной научно-практической конференции (Гутманские чтения) 15 мая 2018 г. / под общ. ред. А. И. Новикова, А. Е. Илларионова. Владимир: Владимирский филиал РАНХиГС, 2018. С. 236-244.
Якимов В. Н., Шурганова Г. В., Черепенников В. В., Кудрин И. А. и др. Методы сравнительной оценки результатов кластерного анализа структуры гидробиоценозов (на примере зоопланктона реки Линда Нижегородской области) // Биология внутренних вод. 2016. № 2. С. 94-103.
Alboukadel K. Practical Guide to Cluster Analysis in R. Unsupervised Machine Learning (Multivariate Analysis). Vol. 1. 1st ed. / Publisher: CreateSpace Independent Publishing Platform, 2017.
Murtagh F., Contreras P. Methods of Hierarchical Clustering // Computing Research Repository - CORR, 2011.
Nielsen F. Introduction to HPC with MPI for Data Science // Springer International Publishing, 2016.
Gareth J., Witten D., Hastie T., Tibshirani R. An Introduction to Statistical Learning with Applications in R / Publisher: Springer, 2013.
Hastie T., Tibshirani R., Friedman J. The Elements of Statistical Learning: Data Mining, Inference, and Prediction. Second Edition. Springer, 2017.
Tripathi Sh., Bhardwaj A., Poovammal E. Approaches to Clustering in Customer Segmentation // International Journal of Engineering &Technology, 2018, N 7 (3.12). P. 802-807.
