In the framework of the bilateral Franco-Vietnamese Hubert Curien/ HoaSen programme, this project aims to elaborate a system using multimedia information (audio, video, RFID) for monitoring in real-time elderly and/or blind person in real house or apartment.

So, it is about an abnormal event detection based on vision:
  • Robust
  • Real-time
  • Generic

 

Demo

  • Phát hiện người, theo dõi và định vị người trên mặt phẳng ảnh và trong ảnh topview
  • Nhận dạng được 4 sự kiện bất thường: ngã, ở quá lâu trong nhà vệ sinh, ra ngoài quá lâu, nằm bất động lâu trên sàn.
  • Kết quả được hiển thị trực quan
  • Trên ảnh hiện tại
  • Người đóng khung bởi các bao đóng chữ nhật
  • Lộ trình di chuyển của người được vẽ bởi đường nối các vị trí mà người đã đi qua
  • Trên ảnh topview: Người được hiển thị bởi ảnh avarta

  

Các công nghệ và tools sử dụng

  • Phát hiện người: sử dụng mô hình hóa nền bởi giải thuật Codebook, phát hiện chuyển động bởi trừ nền, phát hiện người sử dụng giải thuật HOG-SVM kết hợp với một số luật heuristics.

Motion detection

Extension of ROI

HOG-SVM based detection

  • Tracking and 3D Localization
    • Multiple object tracking using Kalman filter with HOG – based similitary
    • Locate human on real world coordinate system using calibrated camera 
  • Phát hiện sự kiện bất thường: kết hợp đặc trưng động (MHI – ảnh lịch sử chuyển động) và thông tin định vị.

  • Tools: OpenCV, C/C++.
 

(a)    Calib in the field

 

(b)   Detection and surveillance of the object