-
후진 제거법 (Backward Elimination) in pythondata-science-summary/summary 2020. 9. 20. 18:29반응형
<엔지니어는 구현을 못하면 모르는것이다>
후진 제거법 (Backward Elimination)
feature selection 의 일환으로 변수를 줄인다.
모든 독립변수(설명변수)를 고려한 모델에서 유의하지 않은 설명변수를 하나씩 제거하는 방법
=> 모든 변수를 입력한 뒤 가장 유의확률이 큰 설명 변수를 제외한다.
모든 설명변수가 유의하다 판정될때 까지 반복한다.
# 반복적 변수 제거를 하여 변수별 중요도를 도출 from sklearn.feature_selection import RFE # 회귀용 가상 데이터 생성 from sklearn.datasets import make_regression # n_samples: 표본 데이터 수 , n_features: 독립변수 수, n_informative: 독립변수중 종속변수와 상관관계 있는 성분 수 X, y = make_regression(n_samples=1000, n_features=10, n_informative=5, random_state=1) from sklearn.linear_model import LinearRegression lr = LinearRegression() # 모델 입력, n_features_to_select: 골라낼 변수의 수, step: 한번에 몇개씩 제거할지 선택 rfe = RFE(lr, n_features_to_select=8, step=1) model = rfe.fit(X,y) # 선택될 변수 model.support_ # 변수 중요도(숫자 높을수록 불필요하다) model.ranking_
반응형'data-science-summary > summary' 카테고리의 다른 글
RANSAC(RANdom Sample Consensus) in python (0) 2020.09.20 likelihood 와 maximum likelihood method 란? 간단정리 (0) 2020.09.20 XGBoost in python (0) 2020.09.20 LightGBM in python (0) 2020.09.20 GradientBoost in python (0) 2020.09.20