Category Archives: So what

[LIVE] AKA DEV SEMINAR

On Air

http://ustre.am/1iPz8

date : (Korean time): AM 9 :00 Fri 28th Nov 

Where: AKA Seoul + Santa Monica R&D Center

About : A brief Introduction to the Hardware Design

presenter: Neil Park

Seminar on Hologram

For more info : A_intro_to_the_Holographic_Projection_David_Kim_AKA_20141106.pdf

 

This is an introduction to Holographic projection by David Kim.

This is about principle and applications of analog and digital holograms.

There are lot of fun facts about hologram such as hologram concerts including 2pac, Vocaloid Hatsune Miku, Michael Jackson, etc. and hologram transmission, companies and displays used for smartphones.

 

Check more about hologram in the attachment!

 

Seminar on Speaker verification & GMM

For more info :  Seminar on Speaker verification and GMM_141024

This seminar is about Speaker verification, which tells whether the speaker’s voice is same as the registered voice, and GMM (Gaussian Mixture Model) which is one of the theories used in speaker modeling.

Basically, Speech recognition includes processes of Background modeling, Feature Extraction and Speaker modeling, which check on whether the input voice is same as the existing one.

In each stage, it proceeds the modeling with the characteristics, such as frequency, extracted from the vocal data. There are two ways to do this:

1. Generative Model – measures the similarity between the samples from each model.

2. Discriminative Model – discriminates each model with their characteristics and defines in which part they each belong to.

and GMM (Gaussian Mixture Model) is one of the Generative Model.

 

 

입력받은 음성이 이미 등록되어 있는 어떤 한명의 화자와 동일한 음성인지 확인하는 Speaker verification의 과정의 소개와 speaker의 모델링에서 사용되는 이론 중 Gaussian mixture model (GMM)에 대한 설명을 담았다.

일반적으로 화자 인식은 백그라운드 모델(비교모델), 특정 화자 모델을 순차적으로 생성하는 등록단계와 등록된 모델과 입력된 음성이 동일한 화자인지 확인하는 확인단계로 구성된다.

각 단계에서 모델링을 하기 위해 음성 데이터로부터 주파수등의 특징을 추출하는 과정을 거치고, 특징들을 가지고 모델링을 하게된다.
모델링의 방법은 다음의 두가지가 있다.
1. 각각의 모델에 입력받은 샘플을 1:1로 비교하여 비슷한 정도를 측정하는 방식
2. 각 모델간의 특징이 되는 영역을 구분하고 입력받은 샘플이 어떤 영역으로 속하는지 확인하는 방식
GMM은 전자의 방법 중 하나이다.

 

 

Seminar on System Architecture

For more info :  System_Arhchitecture

 

***Peeking into the Seminar***

This seminar is a short explanation on key features and details to design an architecture for stable services. Key features and basics in making an architecture are guaranteed mass storage transaction, guaranteed scalability, guaranteed high-availability of the service, efficiency in operation management, reinforcing system security, etc.

안정적인 서비스를 위해 Archiecture를 설계하기 위한 주요 항목과 세부 중점 고려사항에 대해 간략히 설명하였다. 아키텍쳐 설계를 위한 주용 항목으로는 대용량 트랜젝선 성능 보장, 아키텍쳐 확장성 보장, 서비스 고 가용성 보장, 운영관리 효율성, 시스템 보안 강화 등이 있다.

 

Naive Bayesian Classifier Seminar

For more info : Naive Bayesian Classifier

 

***Peeking Into The Seminar***

Classifying is the basic feature of all machine learning. The most famous and widely known way of classifying is called Naive Bayesian. Naive Bayesian Classifier processes learn on the basis of Bayes’s theorem and hypothesis that all features are independent. Users can test its performance by pre-processing the learning data and inputting it into the Naive Bayesian classifier. Advantages that the Naive Bayesian classifier has over other classifiers are

1) It is very time-saving

2) It has low storage requirements

3) It shows a great performance

 

Thus, in the academic and business world, people should use and consider this as the standard for classifying texts. More information and explanations are in the powerpoint material attached. Lastly, these days, Deep Belief Network is widely used in the field of deep learning in conjunction with the Naive Bayesian classifier.

***세미나 엿보기***

  분류한다는 것은 기계학습에서 제일 기본적인 문제로 어떤 문제든지 분류는 그 것의 기본 밑바탕이 된다. 여기서 설명하는 것은 분류법 중에 가장 유명하면서 보편적인 나이브 베이지언 분류인데 나이브 베이지언은 베이즈 이론에 기반해서 모든 요소들이 서로 독립적이라는 가정을 두고 학습을 진행하는 것이다. 사용자가 훈련 데이터들을 전처리한 후 나이브 베이지언 분류기에 입력해서 학습을 시킨 후에 시험 데이터들로 성능을 실험해 볼 수 있다. 보통 나이브 베이지안 분류가 다른 분류기에 비해 가지고 있는 장점은

 

1) 시간 소요가 짧고

2) 메모리 용량을 크게 차지하지 않으며

3) 그럼에도 상당히 좋은 성능을 낸다는 것이다.

 

그러한 이유로 학계나 업계에서 이 분류법을 텍스트 분류의 기준치로 간주하고 사용하고 있다. 보다 구체적이고 폭넓은 설명은 ppt 자료에 소개되어 있다. 마지막으로 요즘은 베이지안 분류를 확장한 빌리프 네트워크를 활용해 딥러닝 분야에서 활발히 사용되고 있다고 한다.

Research references

These are resources Andy has collected for his presentation

Abbreviations are mentioned as follows:

 

세미나 발표를 위해서 Andy님께서 수집하셨던 자료들입니다

내용 참고 편의상 파일 앞부분에 Labeling 을 하였습니다

 

<참고>

 

DL – Deep Learning

ML – Machine Learning

NLP – Natural Language Processing

DL4NLP – Deep Learning for NLP

 

1. DL Deep Learning – Methods and applications – Li Deng and Dogn Yu
2. DL Tutorial on Deep learning and Application – Honglak Lee
3. DL4NLP – Richard Socher and Chris Manning
4. DL4NLP – Ronana Collobert & Jason Weston
5. DL4NLP and Applications – Yoshua Bengio
6. DL4NLP and Related Applications – Xiaodong He, Jianfeng Gao, Li Deng
7. DL4NLP Deep Learning – An introduction from the NLP Perspective – Kevin Duh
8. ML – A Probabilistic Perspective – Kevin Murphy
9. ML – Course material – Hal Daume
10. ML Finding patterns in the world – Mark Dredze
11. ML Intro to Machine Learning – Gunnar Ratsch
12. NLP – an introduction – Nadkarni
13. NLP – ML Methods – Michael Collins
14. NLP – Ramond Mooney
15. FACEBOOK deepface

Learning Deep Architectures for AI Seminar

For more info : Learning Deep Architectures for AI

 

This seminar was presented by Ash. The summary of this seminar is as follows.

 

***Peeking Into The Seminar***

Learning Deep Architectures for AI

     When people begin learning, they become aware of the most simple and complex concepts are learned step by step. When this occurs, the information is processed in the brain through interactions between a number of neurons which can be described as a myriad of layers. Using this concept, engineers can proceed sequentially in the treatment of their work. The deep learning technique whichis a the same processing method used in the human brain. In contrast to prior trends using shallow methods, deep learning techniques learn more complex concepts through each layer by performing the formation of deep structures like in the brain. As an example, the simplest layer just recognizes an image’s pixels, the next layer recognizes only edges, part of the face (object), and the whole face(object) in that order. As this process works automatically, it is possible to process things quickly without a human’s manual intervention. To realize this technique, deep learning structures should function as follows

It should be able to learn complex concepts

It should be able to learn more complex techniques with minimal human input

It should be able to learn a very large set of information

It should be able to learn from mostly unlabeled data

It should function well during unsupervised learning

Using borrowed neural network structures with higher-level concept RBM, it offers a more accurate, faster, and more convenient technique than the original neural network.  

이번 세미나는 Ash님 께서 맡아주셨습니다. 아래는 세미나의 요약본입니다.

 

 

***세미나 엿보기***

Learning Deep Architectures for AI

 

사람들은 처음 무언가를 배울 때 가장 단순한 개념부터 복잡한 개념까지 순차적으로 인지해나간다. 이 때 우리의 뇌에서는 수많은 뉴런들 사이의 교감으로 정보가 처리되는데 이것은 무수히 많은 층으로 묘사할 수 있다. 이런 개념을 차용해서 엔지니어들은 일의 처리에 있어 순차적으로 진행을 하는데 요새 가장 화두가 되고있는 deep learning 기법도 이런 뇌의 처리 방법을 따라한 것이다. 이전까지 유행했던 shallow 방법과 대비되는 deep learning 기법은 뇌처럼 깊은 구조를 형성하여 층마다 점점 복잡한 개념들을 학습해나간다. 예를들면, 가장 단순한 층에서는 이미지의 픽셀만을 인지하고, 그 다음 층에서는 모서리들만, 그 다음에는 얼굴의 한 부분들만, 그리고 마지막으로 얼굴들을 인식하게 되는 것이다. 이런 절차들이 자동으로 이루어지기 때문에 인간의 수동적인 개입없이도 빠른 처리가 가능하게 되었다. 이런 기능을 구현하기 위해서는 deep learning 구조가

1) 복잡한 기능들을 배울 수 있어야하고

2) 최소한의 인간의 개입으로도 더 복잡한 개념들을 배울 수 있어야 하며

3) 아주 거대한 셋의 정보들을 배울 수 있어야 하고

4) 대부분 정제되지 않은 데이터에서 배울 수 있어햐 하며

5) unsupervised 학습 능력이 강해야 한다.

 

뉴럴 신경망 구조를 차용해서 사용하는데 보다 더 고차원 개념인 RBM등을 이용하여 기존의 신경망보다 더 정확하며 빠르고 편리한 기능을 제공해준다. RBM에 관련된 보다 더 자세한 내용은 이 카테고리의 다른 글을 보면 될 것이다.