Tech/Algorithms
-
Temporal Difference 1Tech/Algorithms 2011. 6. 27. 21:28
Reinforcement learning에서 가장 핵심적인 아이디어라 하면, Temporal Difference learning이라 들 수 있다. 앞선 포스팅에서 Monte Carlo와 Dynamic Programming 등에 대해 간략히 설명해보았는데, Reinforcement learning에서 사용되는 Temporal difference learning은 이 2가지 방법을 모두 적절히 combination한 모델이라 볼 수 있다. Monte Carlo와 같은 점 : The environment's dynmaic에 대한 Modeling이 없이, raw experience 만으로도 learning이 가능하다. Dynamic Programming과 같은 점 : Final outcome까지 기다리지 않고,..
-
Dynamic Programming의 ConceptTech/Algorithms 2011. 6. 26. 15:56
Dynamic Programming은 자주 사용되는 기법으로 그 Concept을 아주 간략하게 설명하면, Optimal solution을 찾는 Problem에서 이를 Sub-problem으로 잘게 나누어 각각의 Optimal Solution을 구한 후, 이를 합쳐 최종적으로 Optimal Solution을 구하는 방법이다. 예를 들어보면, 간단하다. Find the shortest route : u -> v 이 문제를 Sub-problem인 u -> w (p1) 와 w -> v (p2) 로 나눈다. 그리고 u->w와 w->v 각각의 optimal solution을 찾은 후, 이를 합치면 최종적인 optimal solution이 된다. + 그런데, 만약에 문제가 살짝 바뀌어서 이렇게 되면 어떻게 될까? F..
-
Reinforcement Learning에서 사용되는 Learning MethodsTech/Algorithms 2011. 6. 25. 18:12
Reinforcement Learning에서 State Value 등을 계산하고자 할 때 사용되는 Learning Methods 등에는 크게 3가지 방법이 사용되고 있다. 3 algorithms are used in reinforcement learning to predict a measure of the total amount of reward expected over the future. Dynmaic Programming Monte-Carlo Temporal Difference Learning Reinforcement Learning 관련 강의 자료를 보다가, 이 3가지의 Learning method에 대해 가장 직관적으로 나타내는 그림이 있어 첨부해보았다. Reinforcement Learning..
-
Arithmetic CodingTech/Algorithms 2011. 6. 23. 20:44
H.264 Video Coding에 대한 논문을 읽다보니 Arithmetic coding에 대한 이야기가 계속 나와 그냥 넘어갈 수가 없었다. Arithmetic coding이란 무손실 압축 방법의 하나로, 다양한 길이를 가지는 부호로 압축하는 방법(Variable-length entropy encoding)이다.우리가 사용하는 컴퓨터에서는 ABC라는 글자를 표현하기 위해 알파벳 하나 당 8bit 씩을 할당하여 ABC를 표현하는데 이러한 방법을 주로 Block encoding이라고 한다. (A B C는 01100001 01100010 01100011이 된다.) 범위를 줄여서 {A,B,C}만 있다고 해보자. 이 때, A, B, C의 조합으로 나타나는 다양한 신호들을 0과 1의 digital signal로 ..
-
The meaning of OvercompleteTech/Algorithms 2011. 6. 21. 11:03
신호처리 분야에서 최근 각광받고 있는 Overcomplete는 단어에서 풍기는 그 느낌과 같이 과하게 기술하는 방법이다.예를 들어보자. 우리가 2차원 공간에 있는 한 점을 표시할 때는 당연하게도 (x,y)로 표시할 것이다. 이러한 약속에는 암묵적으로 2가지 변수 x, y만 있으면 2차원 공간 상의 점을 모두 효과적으로 나타낼 수 있다는 이해가 포함되어 있다. y를 아무리 바꿔보더라도 x 값을 표현할 수 없음을 볼 때, 2가지 변수가 필수적이지만 그보다 많은 변수가 필요하지도 않다. 이 때, 2차원 점을 표현하기 위해 사용한 x, y를 orthogonality가 있는 단위(basis)라고도 한다. 최소한의 단위를 통해 표현하는 방식이 우리가 전통적으로 해오던 기술법이다.Overcomplete represe..