Video Surveillance System Based on Action and Event Recognition With Moving Object Detection and Tracking

Abstract

Lojistik sektörünün son yıllarda hızla büyümesi, depo alanlarının genişlemesine ve kullanılan ekipman sayısının artmasına neden olarak iş kazalarının artmasına neden olmuştur. Depolarda meydana gelen iş kazaları çoğunlukla dikkatsizlik, yorgunluk, yoğun iş temposu, bireysel davranışlar, deneyim eksikliği, yetersiz eğitim ve çalışanların ihmalinden kaynaklanmaktadır. Bu nedenle depo içi emniyetin sağlanması için insan ve ekipman etkileşimini gerçek zamanlı olarak tahmin eden bir sisteme ihtiyaç vardır. Tez kapsamında depo ortamlarında iş güvenliğini artıracak nesne algılama, nesne izleme, eylem algılama ve alarm sınıflandırma bileşenlerinden oluşan kapsamlı bir video gözetim sistemi önerilmektedir. Bu sistemde nesne tespit metodolojisi olarak kullanılan YOLOv7, nesneleri tek bir ağ geçişinde hızlı ve doğru bir şekilde tespit eden bir derin öğrenme modelidir. Deep SORT ise izlenen her nesneye benzersiz bir tanımlayıcı atayan ve izleme sırasında derin öğrenmeyi kullanan bir bilgisayarlı görme izleme teknolojisidir. Sistemin eylem algılama kısmı, anormallikleri ve potansiyel riskleri tanıyarak eylemleri ve hareketleri tanımlamak ve analiz etmek için tasarlanmıştır. Bu bölümde insan ve ekipmanların hız, etiket, hareket yönü ve koordinat bilgileri kullanılarak çeşitli alarm seviyeleri tahmin edilmekte ve bu tahmini alarm seviyelerine bağlı olarak da farklı alarm seviyeleri üretilmektedir. Gerçek zamanlı müdahale ve yüksek başarı oranıyla çalışabilme gibi teknolojik yeterlilikleri sağlaması test edilen bu sistem sayesinde depolardaki kazalar tahmin edilecek, alarmlar üretilecek ve olası iş kazaları büyük ölçüde önlenebilecektir.

The rapid growth of the logistics sector in recent years has led to the expansion of warehouse areas and an increase in the number of equipment used, resulting in an increase in work accidents. Work accidents that occur in warehouses are mostly caused by carelessness, fatigue, intense work tempo, individual behavior, lack of experience, inadequate training, and negligence of employees. Therefore, a system that predicts person-equipment interaction in real time is needed to ensure in-warehouse reliability. Within the scope of the thesis, a comprehensive video surveillance system consisting of object detection, object tracking, action detection, and alarm classification components that will increase occupational safety in warehouse environments is proposed. YOLOv7, used as the object detection methodology in this system, is a deep learning model that detects objects quickly and accurately in a single network pass. Deep SORT is a computer vision tracking procedure that assigns a unique identifier to each tracked object and uses deep learning during tracking. The action detection part of the system analyzes identifies actions and movements and recognizes anomalies and potential risks. Then, various alarm levels are estimated using the speed, tag, movement direction, and coordinate information of the person and equipment, and different alarm levels are generated depending on these estimated alarm levels. Through this system, which has been tested to provide technological competencies such as real-time response and to work with a high success rate, accidents in warehouses will be predicted, alarms will be generated, and possible occupational accidents can be prevented to a large extent.