Create Opportunities

메타 휴리스틱이 무엇인가 천천히 알아보자. 자료구조를 공부하면 BFS, DFS를 배운다. 이들은, 최적을 보장하는 Exhaustive한 완전 탐색(Full-space search) 알고리즘이다. 이렇게 어떻게든 최적의 결과를 도출할 수 있는 알고리즘이 필요한 경우가 있겠지만, "효율"을 중시한다면? 더 빠르게 적당히 좋은 결과를 도출하고 끝내버리는게 좋을 수도 있겠다. Heuristic이라는게 그거다. 근사 최적해. 즉 local optimal을 빠르게 찾고자 하는 방법이다. 휴리스틱이라 하면 "감"이라는 말이 떠오른다. 그냥 감으로 때려 맞추는 것도 휴리스틱이라고 할 수 있겠다. 휴리스틱 알고리즘에 해당되는 Greedy search 기법에는 최적해를 보장하는 알고리즘도 존재하긴 한다. Minimum S..

재구축 기반 이상탐지 기법 차원축소 후 차원복원의 값과 원본 데이터의 값의 차이를 본다. → Reconstruction Error (=Novelty score) 1) PCA 기반 이상탐지 PCA는 직교선형 변환을 통한 차원 축소 기법이며, 분산의 최대 보존이 중요하다. 2) Auto Encoder기반 이상탐지 신경망을 통한 차원축소 외에는 마찬가지임. Input과 Output간의 차이(MSE) 측정한다. 이 값이 즉, Novelty score가 된다.

경계 기반 이상탐지 기법 1) One-class SVM (1-SVM) 일단 SVM을 요약해보면, : 데이터 공간상에서 정상과 이상을 구분하는 경계선(= 판별 함수)을 직접 정의한다. 고차원 상에서의 SVM 학습은 Hyperplane을 구하는 것이다. 아니, 근데 정상만으로 학습하는데 정상과 이상의 분류 경계선을 어떻게 설정할 수 있냐 ? → 이게 핵심이다. hyperplane으로부터 각 class의 가장 인접한 관측치까지의 거리 (= Margin) 를 최대화!! outlier에 강건하게, generalization 성능을 높이도록 hyperplane을 찾아야 한다. 위 수식은 SVM의 핵심이며, 증명은 그리 어렵지 않다... 잘 생각해보면 된다. 저차원 → 고차원(kernel trick) Mapping하..

거리 기반 이상탐지 기법 1) KNN 기반 이상탐지 ML 모델은 Model-based learning과 Instance-based learning으로 나눌 수 있는데, KNN은 대표적인 Instance-based learning이다. Model-based는 흔히 아는 f(X)를 구축하는 것이고, Instance-based는 Learning을 하기는 하는데, 학습 모델을 따로 구축하는 것은 아님. k값에 민감하고 / 새 관측치마다 이웃점과의 거리를 재계산해야 함 / 학습시간이 상대적으로 짧고 예측시간이 길다. 이러한 KNN으로 이상탐지를 어떻게 할까? 아래 세가지를 기반으로 distance를 측정할 수 있다. 1. 이웃점 거리 중 최대값 : kappa 2. 이웃점 거리의 평균값 : Gamma 3. 벡터의 ..

Auto Encoder를 활용하는 데 있어서 두 가지 측면을 고려해볼 수 있다. 첫 번째로는 Dimension reduction. 차원이 축소되는 부분, 두 번째로는 Generative model. Input 으로 돌아가는 부분 이라고 할 수 있다. 일단 Dimension reduction과 관련된 문제 상황을 예로 들어보자. NLP에서의 Embedding을 생각해볼 수 있는데, 음, 먼저 RNN은 input을 Encoding하여 RNN계열의 모델이 학습하고, 다시 output을 Decoding하게 되는데, 이 때 Word2Vec과 같은 Embedding 기법은 차원을 축소하여 Encoding한다. 이 과정을 Dimension reduction이라고 할 수 있겠다. Dimension reduction은 ..

1. Source dataset (Ex. ImageNet) 으로부터 신경망 Pretrained 2. Pretrained 모델로부터 output layer를 제외한 대부분의 요소는 그대로 가져와 새로운 신경망 학습 시작. 3. output layer는 Target에 맞게 새로 추가 4. Target에 적합한 신경망 학습 진행 Transfer Learning은 두 가지로 나누어 볼 수 있다. 1. Fine-Tuning Pretrained로부터 Copy한 부분의 Learning rate는 조금만 학습할 수 있도록 조정, output layer의 학습에 focussing 2. Fixed Learning Pretrained 모델의 Weight를 그대로 활용

Basic RNN Implementation 광운대학교 조민수 교수님의 데이터 애널리틱스 교과목 자료를 참고합니다. Pytorch → RNN 구현의 핵심적인 부분을 쉽게 정리한 내용입니다. 아래의 코드는 간단한 Text generation 과정의 주요 부분입니다. Encoding 함수 정의 # encoding 함수 정의 def string_to_onehot(string): start = np.zeros(shape = n_letters, dtype = int) # 시작 벡터와 end = np.zeros(shape = n_letters, dtype = int) # 마지막 벡터 start[-2] = 1 # 시작 벡터는 [0, 0, ... ,1, 0] end[-1] = 1 # 마지막 벡터는 [0, 0, ... ..

RNN을 배운다. Snapshots을 통해 Hidden state를 추출하고 변환하는 기본적인 신경망은 Dynamic beviors의 특징을 학습하기는 어렵다. Sequence data에 ANN, CNN을 동일하게 적용한다면, 데이터의 특성을 보존하여 학습하기엔 무리가 있다는 소리다. 아얘 불가한 것은 아니고, sliding predictor를 활용하여 CNN으로도 학습할 수 있긴 하다. 이상적으로 위와같이 Infinite-response model을 구축할 수 있으면 좋겠다만, 현실적으로 구현이 불가하다. 위와 같은 Sequence data의 Recursive한 특징을 이용하여 Yt=f(Xr, Yt-1) 로 접근을 해볼 수 있다. 그래서 아래의 그림이 기본 구조이다. 그래서 두 가지를 학습해야 한다. ..