M02.05 · 최소제곱·경사하강·비선형 최적화

서로 다른 측정 둘을 동시에 맞출 수 없을 때

움직이지 않는 한 위치 x를 두 번 측정해2m와4m를 얻었다고 하자. 하나의 x가 동시에2이면서4일 수는 없다. 그렇다고 자료를 버리거나 임의로 하나를 정답으로 고르기보다 무엇을 “가장 잘 맞는다”고 볼지 목적을 정한다. 최소제곱은 예측과 관측 차이의 제곱을 작게 만드는 한 방법이다. 잡음뿐 아니라 모델 오류·편향·자료 계약 문제도 있을 수 있으므로 방법을 썼다는 사실이 측정의 진실성을 보장하지 않는다.

그림 원본 크기로 보기

그림 M02.05-1. 본문의 측정 2 m와 4 m에 대해 잔차는 x−2와 x−4다. F의 최소 위치 3 m는 이 목적함수의 절충이며 실제 위치가 반드시 3 m라는 증거는 아니다. 직접 제작.

이번 단위의 잔차(residual)는 예측−관측으로 정한다. 측정 $y_1=2,y_2=4$에 대해 $r_1(x)=x-2$, $r_2(x)=x-4$이며 단위는m다. 목적함수 F는 다음과 같이 둔다.1/2는 미분을 간단하게 만드는 상수이며 최소 위치를 바꾸지 않는다.

$F(x)=\tfrac12[(x-2)^2+(x-4)^2].$

x=2에서 F=2m²,x=3에서 F=1m²,x=4에서 F=2m²다. 가운데3이 이 목적에서는 더 작다. 미분하면 $F'(x)=(x-2)+(x-4)=2x-6$이고0인 위치는3이다. 더 확실히 보려면 식을 $F(x)=(x-3)^2+1$로 정리한다. 제곱은 음수가 될 수 없으므로 전 구간의 최소는 x=3,F=1이다. 최소값이0이 아니라는 것은 두 측정에 정확히 일치한 해가 아니라는 뜻이다.

행렬 형태로 적어도 해의 조건은 남는다

선형 예측 $Ax$와 관측 b가 있다면 잔차는 $r=Ax-b$다. A가 m행 n열이면 x는 n성분,r은 m성분이다. 목적 $F=\tfrac12r^Tr$는 각 잔차 제곱의 합 절반이다. 기울기는 $\nabla F=A^T(Ax-b)$이고0조건에서 정규방정식 $A^TAx=A^Tb$가 나온다. ∇는 여러 입력에 대한 편미분을 열벡터로 모았다는 뜻이다.

이 예에서는 A가[[1],[1]],b가(2,4)라 A전치A=2,A전치b=6이고2x=6을 푼다. 하지만 일반적으로 A의 열에 독립 정보가 부족하면 A전치A의 역이 없을 수 있다. 직접 역을 만들어 곱하는 것이 모든 최소제곱의 기본 정답은 아니다. 문제의 rank와 수치 조건을 확인하고 선형해법을 선택한다. NumPy lstsq는 정확한 해가 없거나 여러 최소 해가 있을 수 있는 선형 문제를 다룬다. 도구가 고른 해와 데이터가 유일하게 규정한 해를 구분해야 한다.

경사하강은 기울기의 반대 방향으로 조금 이동한다

미분 가능한 함수의 기울기는 그 지점에서 증가하는 방향을 나타낸다. 경사하강은 $x_{k+1}=x_k-\alpha F'(x_k)$처럼 반대 방향으로 움직인다. α>0은 보폭(step size)이다. 이 예에서 F단위는m²,F'는m여서 α를 단위 없는 수로 둘 수 있다. 다른 목적·입력 단위를 쓰면 보폭의 의미도 다시 확인한다.

x0=0이면 기울기는−6이다. α=0.25일 때 x1=0−0.25×(−6)=1.5다. F는10에서3.25로 줄었다. 기울기가 음수인데 x가 양의 방향으로 간 것은 부호 오류가 아니라 빼는 업데이트 때문이다. α=0.5면 한 번에3으로 가지만 이 특정 이차식의 결과를 모든 문제에 적용할 수 없다. α=1.2면 x1=7.2이고 F=18.64로 오히려 커진다.

“반대 방향”이라는 말은 충분히 작은 변화의 국소 설명이다. 큰 보폭이면 낮은 구간을 지나칠 수 있다. 반복마다 목적·잔차·변화량·제약 위반을 기록하고 증가하거나 부적합해지면 보폭과 모델·입력 계약을 재검토한다. 단순히 반복 횟수를 늘리거나 양수 α를 쓰면 항상 수렴한다고 생각하지 않는다.

비선형 함수에서는 정지와 정답이 다르다

무차원 입력 x에서 예측이 x²,목표가1인 경우를 보자. 잔차 $r(x)=x^2-1$,목적 $G(x)=\tfrac12(x^2-1)^2$다. 연쇄법칙으로 $G'(x)=(x^2-1)\times2x$를 얻는다. 여기서 연쇄법칙은 바깥 제곱의 변화율과 안쪽 x²의 변화율을 곱하는 규칙이다.

x=0에서는 기울기가0이라 경사하강 한 단계가 제자리에 머무르지만 G=0.5다. x=1과−1이면 G=0이므로0은 최소가 아니다. 기울기0이나 작은 업데이트는 정지했다는 단서이지 반드시 좋은 최소라는 뜻은 아니다. x0=0.5에서는 기울기가−0.75이고 α=0.2일 때 x1=0.65로 간다. 시작점과 모델의 모양이 결과에 영향을 준다. SciPy 비선형 최소제곱 문서는 국소 최적화 문제와 초기값·잔차/Jacobian을 명시한다. 성공 플래그를 전역 정답의 증거로 읽지 않는다.

잔차의 스케일도 목적을 바꾼다. 길이 오차1m와 각도 오차1rad를 설명 없이 같은 제곱합에 더하면 숫자의 단위가 섞인다. 길이를mm로 바꾸면 같은 물리 오차의 제곱이 백만 배 커질 수 있다. 잔차별 기준 척도 s를 정해 r/s처럼 무차원화하거나 적합한 가중 목적을 정의할 수 있지만, 어떤 척도·오차 모형을 선택했는지 밝혀야 한다. 상관된 오차를 독립으로 취급하는 문제도 남을 수 있다. 최적화는 불명확한 과제·안전 조건을 대신 정의해 주지 않는다.

1. 측정2m,4m와 미지 위치 x에 대해 잔차 두 개·F를 적고 x=2,3,4를 비교한다. 최소3을 대입하고 잔차가0이 아닌 이유를 설명한다. A,b의 차원도 표시한다.
2. x0=0에서 기울기−6을 구하고 α=0.25와1.2의 한 단계·F를 계산한다. 어떤 결과가 감소하는지와 다른 문제에 그대로 α를 옮길 수 없는 이유를 적는다.
3. 무차원 G에서 x0=0과0.5의 업데이트를 비교한다(α=0.2). 기울기0을 최소라고 확정할 수 없는 이유와 길이/각도 잔차를 섞기 전 필요한 스케일 계약을 적는다.

판정은 잔차/근사 목적·부호/보폭·비선형/스케일 한계 세 요소다. 막히면 예측과 관측을 다른 칸에 쓰고 정의한 순서대로 뺀다. 잔차를 관측−예측으로 바꾸고 기존 기울기만 유지하지 않는다.