후진 제거법 (Backward Elimination) in python

<엔지니어는 구현을 못하면 모르는것이다>

후진 제거법 (Backward Elimination)

feature selection 의 일환으로 변수를 줄인다.

모든 독립변수(설명변수)를 고려한 모델에서 유의하지 않은 설명변수를 하나씩 제거하는 방법

=> 모든 변수를 입력한 뒤 가장 유의확률이 큰 설명 변수를 제외한다.

모든 설명변수가 유의하다 판정될때 까지 반복한다.

# 반복적 변수 제거를 하여 변수별 중요도를 도출
from sklearn.feature_selection import RFE

# 회귀용 가상 데이터 생성
from sklearn.datasets import make_regression
# n_samples: 표본 데이터 수 , n_features: 독립변수 수, n_informative: 독립변수중 종속변수와 상관관계 있는 성분 수
X, y = make_regression(n_samples=1000, n_features=10, n_informative=5, random_state=1)

from sklearn.linear_model import LinearRegression
lr = LinearRegression()
# 모델 입력, n_features_to_select: 골라낼 변수의 수, step: 한번에 몇개씩 제거할지 선택
rfe = RFE(lr, n_features_to_select=8, step=1)
model = rfe.fit(X,y)
# 선택될 변수
model.support_

# 변수 중요도(숫자 높을수록 불필요하다)
model.ranking_