Normalization에 따른 Saliency Map의 변화

Visual Attention의 Computational Model로는 여러 가지가 알려져 있지만, 그 중에서는 USC의 Itti와 Caltech의 Koch가 제안한 Saliency Model이 가장 기초적이면서 이해하기도 쉽다.

L. Itti, C. Koch, and E. Niebur, “A Model of Saliency-Based Visual Attention for Rapid Scene Analysis,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 20, no. 11, pp. 1254–1259, Oct. 1998.

논문은 구현 방법에 대해서 비교적 쉽고 자세히 기술하고 있기 때문에, 초심자들에게 참 좋은 논문이다. 다만 여러 가지의 Feature/Conspicuity Map을 결합할 때 사용하는 Normalization 방법이나, Attention Region을 구하는 Winner-Take-All에 대해서는 다른 논문을 읽어볼 필요가 있다.

특히, Normalization은 위 논문에서 소개하는 Local Maximum Normalization을 수행했을 때는 Attention Region이 두드러지게 표현되지 않기 때문에, 논문대로 구현했는데 왜 안되지?하는 생각이 들 수도 있다. 일반적으로 Visual Attention 결과들이 발표될 때 사용하는 Attention Map들이 다른 방법을 쓰기 때문인데, Iterative Normalization 방법이다.

L. Itti and C. Koch, “A saliency-based search mechanism for overt and covert shifts of visual attention,” Vision Research, vol. 40, no. 10, pp. 1489–1506, Jun. 2000.

2년이 지나서 나온 이 논문에서는 보다 더 발전된 Normalization 방법을 쓰고 있다. Difference-of-Gaussian을 Iterative하게 수행하면서 Peak는 Excitation하고 주변부는 Inhibition하는 방법으로, Winner-Take-All 과정에 이르기 전에 Attended region을 확실히 두드러지게 나타날 수 있다. 비교해보면 아래와 같다.