컴퓨터 비전 및 패턴 분석을 비롯한 다양한 분야에서 이미지상에 존재하는 특정 객체를 자동으로 인식하고 추적하기 위한 많은 연구가 진행됐다. 이미지에 대한 신뢰성 있는 객체 인식 기술을 개발하기 위해서는, 같은 객체라도 색상이나 관찰 각도, 조명 등 조건이나 환경의 변화에서 오는 객체의 다양한 변화를 정확하게 해석할 수 있어야 한다.

  지금까지의 방법들은 대체로 이들 중 어느 한 요소만을 강조하다 보니 결과적으로 다른 요소에서는 만족스럽지 못한 결과를 보였으며, 특히 특정한 몇 가지 종류의 객체만 인식할 수 있었다. 본 연구실은 객체의 관심점(interest points)에 대한 지역 특징 기술자를 이용하여 이미지나 동영상에서 다수의 관심 객체를 효과적으로 인식하고 추적하기 위한 기법을 개발하였다.

● 질의 영상 처리를 위한 전처리 과정

- 여러 종류의 객체를 신속/정확하게 인식하고 추적하기 위해서는 관심 객체의 다양한 영상을 바탕으로 객체의 대표점을 계산하고 그들의 특징 정보를 추출하여 학습시키는 전처리 과정을 수행한다. 전처리 과정은 실제 질의 영상 처리에 필요한 여러 가지 정보를 미리 계산하여 데이터베이스에 기록하는 과정이다.

● 프레임의 관심점 및 범위 검출

- 전처리 과정에서 얻어진 대표 특징들을 이용하여 질의 영상이 어떠한 객체를 포함하고 있는지를 결정하는 객체 인식 단계를 가진다. 먼저 질의 영상의 현재 프레임에 대해 관심점 및 범위 검출을 수행한다. 검출된 관심점에 대해 전처리 과정에서 구축된 대표 특징들과 비교하여 얼마나 일치하는지를 계산한다.

● 지역 특징 기술자 생성

- 대상이 되는 객체를 포함하는 다양한 이미지를 수집하고, SURF 알고리즘을 적용하여 객체의 관심점과 그들에 대한 지역 특징 기술자를 생성한다. 지역 특징에 대한 통계적인 분석을 통하여 관심점들 중에서 해당 객체의 특성을 가장 잘 표현하는 대표점(representative points)을 선택하고 이를 바탕으로 이미지에 존재하는 객체를 인식한다. 

● 실시간 객체 추적

- 이러한 기술자들과 전처리 과정에서 생성한 대표 특징 기술자와의 비교를 통해 객체의 존재 여부를 판단한다. 또한, 지역 특징 기술자의 정합을 응용하여, 각 SURF 지점들의 움직임 벡터를 생성하고 이를 기반으로 실시간으로 객체를 추적한다. 제안하는 기법은 모든 객체를 독립적으로 다루기 때문에, 여러 개의 객체를 동시에 인식하고 추적할 수 있다.

그림 1 다중 객체 인식 및 추적 결과

그림 2 움직임 벡터 생성 및 이동 객체 검출