본 발명은 가축행동 어노테이션(annotation)을 이용하여 사전 학습된 딥러닝을 이용하여 동영상에서 가축의 행동을 자동으로 인식 및 검출하고, 이를 저장 및 단기행동분석/장기행동분석을 수행하여 위험상황 발생시 경보를 수행함으로써 가축 행동을 자동으로 실시간 모니터링할 수 있는 딥러닝(deep learning)을 이용한 가축행동 자동인식 및 모니터링 시스템 및 그 방법에 관한 것으로, 상기 시스템은, 가축행동의 유형을 계층적 레이블링을 수행하여 가축행동 어노테이션을 정의하는 가축행동 어노테이션 정의 모듈; 실시간 입력되는 동영상을 상기 가축행동 어노테이션에 기반한 딥러닝을 이용하여 가축행동을 검출하는 가축행동 자동검출 모듈; 검출된 가축행동 데이터와 상기 동영상이 입력된 시간정보를 함께 저장하는 가축행동 데이터 저장 모듈; 저장된 가축행동 데이터의 현재 위험상황 여부를 분석하는 단기행동 모니터링을 수행하고, 단기행동 모니터링 결과 위험상황 발생으로 확인되면 등록된 사육사 단말로 위험상황 발생 경보를 전달하도록 요청하는 가축행동 제1 분석 모듈; 설정된 일정 기간의 시간 동안의 저장된 가축행동 데이터에 대한 통계 정보를 분석하는 장기행동 모니터링을 수행하고, 장기행도오 모니터링 결과 위험상황 발생으로 확인되면 등록된 사육사 단말로 위험상황 발생 경보를 전달하도록 요청하는 가축행동 제2 분석 모듈; ...(이하생략)