OLS의 한국 이름은 최소자승법, 최소이승법, 최소제곱법이었다가 현재는 최소제곱법으로 명칭이 변경되었다.

최소자승법(OLS: Ordinary Least Squares)는 잔차제곱합(RSS: Residual Sum of Squares)를 최소화하는 가중치 벡터를 구하는 방법이다.

예측 모형의 형태는 y' = Xw 이다.

잔차 벡터 에러는 e = y−y' = y−Xw 이다.

잔차 제곱합(RSS:residual sum of squares)은

RSS = (e^T)e

= (y − Xw)T(y − Xw)

= (y^T)y − 2(y^T)Xw + (w^T)(X^T)Xw 이다.

잔차제곱합을 최소로 만들어주는 (minimizing) 기울기 a와 절편 b를 고르는 방식을 최소자승법 OLS라고 한다

OLS 추정은 일반적으로 실험이나 관측치에 적용하고자 할 때 사용한다.