[데이터 애널리틱스] 최적화

선형 계획법과 비선형 계획법 을 다루게 된다.

선형적인 모델링은 깊게 다루지 않는다. 데이터를 분석하는 데 있어서 선형적인 모델링을 하기에는 어렵다. 머신러닝, 딥러닝의 접근은 보통 비선형 계획의 접근이다.

 

최적화

: 어떤 목적에 대해서 가장 적절한 계획을 세워 설계하는 일, 그러한 선택을 하는 일.

수학적 최적화

: 특정 집합 위에서 정의된 실수값, 함수, 정수에 대해 그 값이 최대나 최소가 되는 상태를 해석하는 문제.

 

최적화를 위한 주요 요소

- 목적함수 (Objective function)

- 결정 변수 (Decision variable)

- 제약 조건 (Constraints)

 

절차

1) 주어진 문제에 대해 주요 요소를 확인하는 과정 (모델링)

2) 최적화 알고리즘을 적용하여 해답을 찾는 과정

 

Convex Optimization

Convex function

 

비선형 계획법

 f, g, h 중 적어도 하나가 linear function이 아닌 문제.

비선형 계획법이 더 일반적이고 실제 문제에 적합함.

 

 

 

 

single-variable이 아닌 multi-variable의 문제를 접하게 될텐데, Gradient를 통해 stationary point (∇f(x)=0)을 파악하면 된다. 특정 stationary points에서,

- ∇^2f(x) is positive definite => local minimum

- ∇^2f(x) is negative definite => local maximum

 

Hessian matrix

다변수 함수 f(x1,x2,x3..)에 대한 Hessian matrix는 아래와 같음