[데이터 애널리틱스] 최적화
선형 계획법과 비선형 계획법 을 다루게 된다.
선형적인 모델링은 깊게 다루지 않는다. 데이터를 분석하는 데 있어서 선형적인 모델링을 하기에는 어렵다. 머신러닝, 딥러닝의 접근은 보통 비선형 계획의 접근이다.
최적화
: 어떤 목적에 대해서 가장 적절한 계획을 세워 설계하는 일, 그러한 선택을 하는 일.
수학적 최적화
: 특정 집합 위에서 정의된 실수값, 함수, 정수에 대해 그 값이 최대나 최소가 되는 상태를 해석하는 문제.
최적화를 위한 주요 요소
- 목적함수 (Objective function)
- 결정 변수 (Decision variable)
- 제약 조건 (Constraints)
절차
1) 주어진 문제에 대해 주요 요소를 확인하는 과정 (모델링)
2) 최적화 알고리즘을 적용하여 해답을 찾는 과정
Convex Optimization
비선형 계획법
f, g, h 중 적어도 하나가 linear function이 아닌 문제.
비선형 계획법이 더 일반적이고 실제 문제에 적합함.
single-variable이 아닌 multi-variable의 문제를 접하게 될텐데, Gradient를 통해 stationary point (∇f(x)=0)을 파악하면 된다. 특정 stationary points에서,
- ∇^2f(x) is positive definite => local minimum
- ∇^2f(x) is negative definite => local maximum
Hessian matrix
다변수 함수 f(x1,x2,x3..)에 대한 Hessian matrix는 아래와 같음
