The meaning of Overcomplete

신호처리 분야에서 최근 각광받고 있는 Overcomplete는 단어에서 풍기는 그 느낌과 같이 과하게 기술하는 방법이다.

예를 들어보자. 우리가 2차원 공간에 있는 한 점을 표시할 때는 당연하게도 (x,y)로 표시할 것이다. 이러한 약속에는 암묵적으로 2가지 변수 x, y만 있으면 2차원 공간 상의 점을 모두 효과적으로 나타낼 수 있다는 이해가 포함되어 있다. y를 아무리 바꿔보더라도 x 값을 표현할 수 없음을 볼 때, 2가지 변수가 필수적이지만 그보다 많은 변수가 필요하지도 않다. 이 때, 2차원 점을 표현하기 위해 사용한 x, y를 orthogonality가 있는 단위(basis)라고도 한다. 최소한의 단위를 통해 표현하는 방식이 우리가 전통적으로 해오던 기술법이다.

Overcomplete representation은 orthogonality가 없는 여러 중복되는 단위를 이용해서 표현하는 방법이다. 즉, 2차원 공간 상의 점을 표현하기 위해서 x, y 대신 아래 그림과 같이 X1, X2, X3, X4를 사용해서 표현할 수도 있다.

X1에 있는 모든 점들은 X2와 X3의 조합으로 (a*X2+b*X3) 혹은 X3와 X4의 조합으로 나타낼 수 있다. 2개의 축만 쓰는 것이 최선일 듯 보인다. 하지만 위 그림과 같이 노이즈가 많은 데이터가 수집되었다고 해보자. 이런 경우에는 데이터의 경향을 2가지 축만으로 설명하기가 쉽지 않다. 하지만 X1, X2, X3, X4로 표현한다면 수집되는 모든 데이터가 X1,X2,X3,X4=(noise) 의 경향을 가진다, 등으로 간편하게(compact) 표현 가능하다!

Effects It is possible to find sparse representations of a given signal in this large dictionary, that is, representations that are very compact!

Why compact? (Mallat’s analogy) a complete representation is like a small English dictionary of just a few thousand words. Any concept can be described using the vocabulary but at the expense of long sentences. With a very large dictionary - concept can be described with much shorter sentences, sometimes with a single words!

overcomplete를 설명할 때에는 사전 비유를 많이 쓴다. 최소한의 단어만 사용하는 초급 사전에서는 어떠한 현상이나 느낌에 대한 단어를 표현하기 위해 장황하게 풀어쓴 정의가 많다. 하지만, 수많은 단어를 사용하는 고급 사전에서는 몇 가지 단어 조합만으로 새 단어를 compact하게 표현할 수 있다.

한국어는 overcomplete한 언어의 대표적인 사례로 볼 수 있다. 푸르뎅뎅하다는 한 단어를 설명하기 위해서는 고르지 않게 조금 푸르다로 말이 길어지는데, 이마저도 그 느낌이 충분치 않다.