A Heterogeneous Feature-based Image Alignment Method, ICPR(2006)

1. Introduction

• Image alignment는 visual surveillance application(매칭 및 인식, 변화 감지 등)의 시작이 되는 중요한 단계
• 전통적인 모션 추정(motion estimation) 방식 (JR Bergen et al., 1992)
  • Direct method: 모든 픽셀의 기울기 및 변위 정보를 활용하여 모션을 추정하고, 모션이 작거나 초기값이 좋을 경우에 잘 작동
  • Feature based method: 모션 추정을 위해 이미지의 특징이 두드러지는 sparse한 집합인 점이나 선을 사용
• Point는 적당한 원근 변화에서도 감지하기 쉽고 대응하기 때문에, feature-based 방식에서 가장 일반적으로 사용 → 그러나 항공 비디오 이미지, 특히 적외선 센서의 경우 점 특징이 드물고 많은 상황에서 대응하기 어려움
• Line feature는 점과 다른 보완적 정보를 제공하여, 적절한 line descriptor를 사용하면 상당히 좋은 일치점을 찾을 수 있음
• 그러나 Line matching은 여러 가지 이유로 어려운 문제

---

→ 논문 목적

• points, lines, regions 을 활용한 강건한 heterogeneous feature 기반 image alignment 제안
• 모션 모델을 간단한 구성 요소로 분해한 후, 적합한 feature 분류
• 초기 회전 및 이동 : line feature로 추정 → homography : point & line feature로 추정 → 모든 단계에서 RANSAC 적용하여 강건하게 디자인 → region 기반 direct method 활용하여 성능 향상

 

2. Related Work

• Image alignment와 관련한 기존 연구는 대부분 region이나 point based direct method
• Line feature는 어려운 문제들이 많아서 통합된 연구가 어려움
• Level-line registration 기술과 같은 기법도 있음

 

3. Proposed Algorithm

3.1 Overview

• 모션을 계산하기 위해 point feature를 사용하는 것과 관련하여 상당한 노력이 투입되었음
• Line feature는 선을 추출하는 복잡성과 끝점이 불확실하여 제한적
• Line을 활용하기 위해서 bar feature descriptor를 사용
• Line feature는 point feature와 비교하여 이미지의 우세한 방향을 명시적으로 추정할 수 있고, point feature의 범위를 다른 방향으로 제한할 수 있어 강건성을 향상 시킬 수 있음
• Robust한 디자인을 위해서 계측적 모션 모델 사용
  • Translation model, Similarity, Affine, Projective model

▼ Framework

 

3.2 Dominant Orientation Assisted Line Detection and Initial Motion Estimation

• 관심 영역은 도로를 따라 정렬된 이미지 → 이미지 gradient 히스토그램을 사용하여 이미지의 우세 방향을 계산하고, 우세 방향에 속하는 line과 그렇지 않은 line으로 구분
• 우세 방향에 평행한 line은 일반적으로 support하는 영역이 더 넓고 안정적이므로 회전 및 이동의 X 성분을 계산하는데 사용
• aperture effect(조리개 효과)로 인하여 이 단계에서 Y 성분을 결정할 수 없음
  • 조리개 효과: 광학 장비의 조리개 크기와 개방 정도에 따라 이미지의 선명도와 초점 깊이(depth of field)가 변화하는 현상
• 연속된 프레임을 결합하고, 다음 프레임의 에지는 이동 보정 후 현재 프레임에 겹침으로써 도로 가장자리가 누적되어 도로의 면적을 높은 정확도로 추정 가능
• Sidetrack(Confusing line) 같은 경우 짧은 시간 동안만 존재하여 계산에 유지되지 않음
• 필요에 따라 Kalman 필터를 사용하여 영역 검출 결과 개선

3.3 Point Based Alignment

• 관심 영역의 이미지에는 쓰레기 텍스처가 매우 많고 특징 모호성이 매우 커서 신뢰할 수 있는 feature correspondences(대응)를 설정하기 어려움
• 3.2의 초기 회전 및 X 변환은 일반적으로 정확하진 않지만 이미지의 point feature 검색 범위를 효과적으로 제한할 수 있음
• 이렇게 얻은 point 대응은 outlier 비율이 낮으며, affine 모션은 RANSAC을 사용하기 때문에 강건하게 추정됨
• Feature point는 Harris feature detector로 검출하고, SSD(Sum of Squired Difference)를 사용하여 특징 매칭
• 모션 모델 활용을 위한 전략
  1. Translation model에서 $T$는 $x' = Tx$ 가 되도록 계산. 여기서 두 이미지의 feature point 좌표는 $x = \{x,y,w\}^T$, $x' = \{x', y', z'\}^T$
  2. 계산된 $T$를 사용하여 $x$와 일치하는 $x'$의 위치 예측. $x' =Sx$를 계산하며, 여기서 $S$는 유사성 모션 모델
  3. 2단계를 반복하되 $x'=Ax$를 계산하며, 여기서 $A$는 affine motion

3.4 Line and Point Joint Feature Alignment

• Line은 canny edge detector로 추출
• 초기 매칭은 bar feature에 의해 추출
• Line의 양쪽 side를 둘러싼 작은 band에서 line을 따라 이미지 픽셀의 강도나 gradient를 샘플링함
• 정규화를 통해 일정한 수의 샘플을 얻음
• 하나의 라인에서 모든 샘플을 수집하고 SSD를 사용하여 두 라인 간의 차이 측정
• Line의 길이와 방향이 다를 순 있지만, 일치하는 line을 쉽게 찾을 수 있음
• Projection motion 추정
  • 이미지 1&2 사이의 homography를 H12로 가정
  • 각 point 쌍은 하나의 제약 조건 제공
  • $p'\otimes(H_{12}\;p) = 0$
  • 각 line 쌍은 또 다른 제약 조건 제공
  • $l'\otimes(H_{12}^{-T}\;l') = 0$
  • 그리고
  • $H_{12} = \begin{bmatrix}h_{11} &h_{12} &h_{13} \\ h_{21}&h_{22}&h_{23}\\h_{31}&h_{32}&h_{33}\end{bmatrix}$
  → 다음과 같은 방정식으로 다시 쓸 수 있음$where$$h = \begin{bmatrix}h_{11}&h_{12}&h_{13}&h_{21}&h_{22}&h_{23}&h_{31}&h_{32}&h_{33}\end{bmatrix}^T$계층적 모션 모델 (Hieratical Motion Model)을 적용하면

 

• 를 사용하여 similarity transformation 모델을 얻을 수 있음
• 또는 위 가정 대신에
• 이렇게 제약 조건을 추가하여 translation model을 얻을 수 있음
• 여기서 가정을
• 이 공식을 사용하여 point와 line을 결합
• $A = \begin{bmatrix}0&0&0&-wx'&-wy'&-ww'&yx'&yy'&yw'\\ -yx'&-yy'&-yw'&xx'&xy'&xw'&0&0&0\end{bmatrix}$
• $Ah=0$

 

4. Experimental Results

• pure direct method, point feature only based method, point+line+region feature registration method 의 세 가지 방식으로 알고리즘 적용
• Input 시퀀스는 서로 다른 날짜에 촬영된 항공 비디오

       →  따라서 intensity가 매우 다르고 프레임간 간섭이 작음

• 결과
  • Direction method의 경우 좋은 초기값이 없으면 align 안됨
  • point based 방식은 80% 정도 align
  • point+line+region feature registration method는 92% 정도 align

 

5. Conclusion

• 이 논문에서 제안한 알고리즘은 매우 다른 모양과 겹치는 부분이 적은 이미지를 alignment 할 때 높은 정확성과 강건성을 가짐
• 잔차 계산할 때 상수를 입력해야 하는 것은 단점