Introduction to EBM seminar

For more info : Introduction to EBM_072514

 

***Peeking Into The Seminar***

 

Part I

 
The basic concept of statistical models and machine learning is the measurement of dependence between variables. After capturing the dependence of input and output values and algorithms, it trains a machine to offer the highest dependence values from the new input values.

Energy-Based Models (EBMs) encode dependence by defining the energy of the input and output arrays. If the correlation is high, the energy of the array should be low. In the opposite case, energy function should be defined as high energy. Hence, the EBM is able to output the lowest value of energy for the input values.

In EBM, as the energy function is the function for the parameters, input values, and output values’ elements, it is possible to define the loss function which measures the quality of the energy function. Loss of function is usually a parameter’s function and it is an L(W). By finding the minimum loss function, it is able to find an optimized energy function. This is an EBM’s training process.

Y=x^2 training is a simple test to realize a machine algorithm. After exporting samples which can satisfy 200 y=x^2 between -1 and 1, the samples train a machine. Here, flat energy changes can be tested.

demo01-anim

 

Part II

 
Classic thermophysics can only calculate macrostates. For example, temperature, volume, number of molecules in objects, and so forth. However, even for the same macrostate, there are all different microstates of molecule arrays, locations, quantum states, and phase space states, or energy states. A microstate’s average should be the same as the measurement of the macrostate, and statistical dynamics will occur there.

For the most basic concept, there is the Ensemble concept. It can think of virtual concepts which is a collection of a myriad of microstates in macrostates. For the most common Canonical Ensemble, the volume, temperature, and certain number of molecules handle certain macrostates. For this case, microstates of energy can be different; each state is explained through probability distribution.

Also, like in EBM, when there is a yk value for any xi input, let (xi = yk) where it is a microstate. Then, so many microstates, (xi,y1), (xi,y2) …(xi,y)… can constitute its ensemble. This time, the probability of microstates can follow the Boltzmann distribution according to the earlier defined energy. RBM is a probability model that uses Nll loss function in EBM, it defines energy function and also defines loss of function, too. As a result, the process of minimizing the loss of function can be the learning method for RBM.

 

 

이번 세미나는 Wayne님 께서 맡아주셨습니다. 아래는 세미나의 요약본입니다.

***세미나 엿보기***

 

Part I

 

통계적 모델과 머신러닝의 기본 원리는 변수간의 의존도를 측정하는데에 있다. 입력값과 출력값 사이의 의존성을 측정하고 이를 알고리즘화 하여 새로운 입력값에 대해서 가장 의존성이 높은 값을 제시해줄 수 있도록 기계를 학습시키는 것이다.

EBM은 여기서의 의존성을 입출력 배열의 에너지를 정의함으로서 그 의존성을 표현한다. 상호관계가 높을 경우 그 배열의 에너지는 낮도록, 반대의 경우에는 에너지가 높도록 에너지 함수를 정의해야 한다. 따라서 EBM은 입력값과의 에너지가 가장 낮은 값을 출력할 수 있게 된다.

EBM에서 에너지 함수는 parameter와 입력값과 출력집합의 원소들과의 함수로 여기서 에너지 함수의 quality를 측정하는 함수인 손실함수(loss function)를 정의할 수 있다. Loss function은 보통은 parameter의 함수로써 L(W)로 볼 수 있으며 손실함수가 최소가 되는 W 를 찾음으로서 최적화된 에너지 함수를 구할 수 있다. 이 과정을 EBM의 트레이닝이 된다.

Y=x^2 training은 기계학습 알고리즘을 구현하는 간단한 테스트이다. -1 과 1사이의 200개의 y=x^2을 만족시키는 샘플을 추출한 후 그 샘플들로 기계를 학습시킨다. 여기서는 에너지평면의 변화를 확인해 볼 수 있다.

demo01-anim

Part II

 

고전적 열물리는 거시적인 상태만을 계산할 수 있었다. 예컨데 물질의 온도, 부피, 분자 수 등이다. 하지만 같은 거시적 상태더라도 분자들의 배열과 위치는 물론이고 자세히는 양자 상태, phase space에서의 상태 또는 에너지 상태 등이 다 다른 여러개의 미시적 상태들이 있다. 미시적 상태에서의 평균이 거시적 상태에서의 측정값과 같아야 하며 여기서 통계역학이 등장한다.

가장 기본적인 개념으로 앙상블의 개념이 있다. 한 거시적 상태에 대해서 무수히 많은 미시상태의 집합인 가상의 개념이라고 생각할 수 있다. 가장 보편적인 Canonical Ensemble의 경우 부피와 온도 그리고 분자수가 일정한 거시적 상태를 다룬다. 이 경우 미시상태의 에너지는 다를 수 있으며 각각의 상태를 확률분포로써 설명할 수 있다.

EBM에서도 마찬가지로 어떠한 입력 xi에 대한 yk의 값이 있을때 (xi,yk)를 미시상태라고 하면 수 많은 미시 상태들 (xi,y1) (xi,y2) … (xi,yk) … 의 앙상블을 생각해 볼 수 있으며 이때에 미시상태의 확률은 앞서 정의한 에너지에 따른 볼츠만 분포를 따른다고 할 수 있다.

RBM은 EBM에서 Nll loss function을 쓰는 확률 모델로, 에너지함수가 정의되며 이에 따른 손실함수또한 정의가 된다. 결국 그 손실함수를 최소화하는 과정이 RBM의 학습법이라고 볼 수 있게된다.