티스토리

Carl's Tech Blog

검색하기

블로그 홈

Carl's Tech Blog

wotres.tistory.com/m

도움될듯!

구독자: 5

방명록 방문하기

주요 글 목록

Association Rule (연관성 분석) in python Association Rule : 장바구니분석, 연관성분석 연관규칙분석이란 어떤 아이템의 집합이 번번히 발생하는가를 알려주는 일련의 규칙들을 생성하는 알고리즘 A priori Algorithm 모든 규칙들에 대한 지표를 계산한다는건 비효율적, 따라서 최소한의 지지도(support) 이상 되는 경우만을 탐색하여 효율적으로 계산함 -> {1,3} 번 아이템이 같이 나올 확률이 낮다면 {1,3, 다음 하나} 역시 확률이 낮음으로 계산하지않는다. Support : 지지도 x 와 y 가 함께 발생할 확률 -> P(A∩B) : frq(x,y)/N Confidence : 신뢰도 x가 나왔을 때 y가 나올 확률 -> P(A∩B) / P(A) : frq(x,y)/frq(X) Lift : 향상도(품목간의미) x, y 의 .. 공감수 4 댓글수 1 2020. 9. 20.
RANSAC(RANdom Sample Consensus) in python RANSAC(RANdom Sample Consensus) 최소자승법(Linear Least Square)을 통한 예측은 아웃라이어가 있으면 크게 영향을 받는 반면 RANSAN은 가장 많은 수의 데이터들이 예측 모델 근방에 있는 모델을 선택하는 방법으로 아웃라이어에 강건하다. 데이터의 특정 두 점 또는 3점을 랜덤 선택하고 이 점으로 모델을 계산 => 모델 주위(오차범위내)의 데이터 개수를 계산 => 계산한 결과가 원하는 데이터 개수보다 적으면 다시 현재 오차범위내 데이터들로 다시 모델을 추정 => 원하는 데이터 개수를 만족하면 모델을 저장 => 이를 원하는 만큼 반복한뒤 최적의 모델 선택 from sklearn.linear_model import RANSACRegressor from sklearn.mod.. 공감수 0 댓글수 0 2020. 9. 20.
likelihood 와 maximum likelihood method 란? 간단정리 likelihood 와 maximum likelihood method 란? 헷갈리는 개념인 likelihood는 확률과 비교하면 이해가 쉽다. 확률은 모수가 특정값을 같은다와 같이 정의됨 ex) 동전 2번 던지니 모두 앞면이 나올 확률은 1/4 이다. likelihood는 동전을 던져서 모두 앞면 나온 확률이 1/4일때 동전의 앞면 확률이 될 가능성이 있는 값을 역추적으로 찾는것 그리고 이때 가장 가능성을 크게 만드는것을 Maximum likelihood Method 라고 하며 미분의 극점 등을 이용해 최대로 나오는 1/2을 추정한다. 즉, 특정 사건이 이미 발생했을때(알고있을때) 그 확률을 계산할 수 있는 가능성을 가진 값 그리고 maximum likelihood method로 최대 가능 우도 즉, 가.. 공감수 0 댓글수 0 2020. 9. 20.
후진 제거법 (Backward Elimination) in python 후진 제거법 (Backward Elimination) feature selection 의 일환으로 변수를 줄인다. 모든 독립변수(설명변수)를 고려한 모델에서 유의하지 않은 설명변수를 하나씩 제거하는 방법 => 모든 변수를 입력한 뒤 가장 유의확률이 큰 설명 변수를 제외한다. 모든 설명변수가 유의하다 판정될때 까지 반복한다. # 반복적 변수 제거를 하여 변수별 중요도를 도출 from sklearn.feature_selection import RFE # 회귀용 가상 데이터 생성 from sklearn.datasets import make_regression # n_samples: 표본 데이터 수 , n_features: 독립변수 수, n_informative: 독립변수중 종속변수와 상관관계 있는 성분 수 X.. 공감수 1 댓글수 0 2020. 9. 20.
XGBoost in python Boosting 방식의 일종 Gradient boosting 보다는 빠름, GBM 에 과적합 방지가 가능한 regulation 포함된 모델 + 다양한 loss function을 지원하는 모델이다. from xgboost import XGBClassifier from sklearn.datasets import make_classification from sklearn.model_selection import train_test_split X, y = make_classification(random_state=0) X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=0) # max_depth : 트리의 최대.. 공감수 0 댓글수 0 2020. 9. 20.
LightGBM in python LightGBM (Gradient Boosting Algorithm) 기존 Gradient Boostring 과 같은 알고리즘은 트리 구조를 균형을 잡기위해 즉, 깊이를 줄이기위해 균형 트리(level wise) 방식으로 쌓아같지만 LightGBM 은 균형보다는 리프 노드를 지속적으로 쭉 분할(leaf wise)하면서 진행하여 비대칭이고 깊은 트리를 만든다. 따라서 연산이 덜 요구되어 빠르며 균형 트리 보다는 손실을 줄일수 있음 대용량 처리 가능, 다른 모델들보다 더 적은 자원을 사용하고 빠르다는 장점을 가지고 있음 단점은 너무 적은수의 데이터일 경우에는 과적합 문제가 발생할수 있음 from sklearn.datasets import make_classification from lightgbm impor.. 공감수 0 댓글수 0 2020. 9. 20.
GradientBoost in python GradientBoost Algorithm Boosting 방식의 일종 학습된 분류기의 약점을 알려주고 이 약점을 중점으로 보완을 하는방식 , 즉 점진적 개선이라 Gradient Leaf Node 하나로 아주 간단한 모델(A)로 시작 => 이 모델(A)로 예측하고 남은 잔차(Residual) 계산 => 그리고 이 잔차를 예측하는 모델(B)을 만들고 기존 모델(A)와 결합하여 정답 예측한다면 기존 모델(A)보다 나은 모델(B)생성가능 => 이 방법을 반복하면서 점차 나은 예측 모델을 만드는것이 GMB => 단점 : 과적합 => learning rate, regularization 을 통해 해결가능 from sklearn.datasets import make_classification from sklearn.. 공감수 0 댓글수 0 2020. 9. 20.
AdaBoost in python AdaBoost Boosting 방식의 일종 Decision Tree 를 만드는데 2개의 Leaf Node만 가지는 Tree 를 여러개(결국 feature 수만큼 stump 생성) 만든다. => 나무가 작은 즉, 그루터기(Stump) 라고 부름 만들어진 Stump 들을 순차적으로 사용하여 예측 => 그리고 데이터를 샘플링 할 때 각 데이터 마다 Weight를 줌(초기 weight 값은 1/전체 데이터수) Stump 를 거치면서 잘못 예측된 데이터는 weight 는 점점 커짐 그럼 Stump 의 순서도 중요한데 각 Stump 중 가장 불순도(Inpurity)가 작은 Stump 를 먼저 사용 그런뒤 Weight 를 갱신하기 전에 정확도(amount of say)를 구하고 틀린 데이터는 기존 Weight * .. 공감수 0 댓글수 0 2020. 9. 20.
Random Forest in python Random Forest Bagging방식의 일종 여러개의 Bootstrap data set 으로 여러개의 Decision Tree 를 만들고 Voting을 통해 최종 예측값을 출력하는 방식 여러개의 Bootstrap data set 뽑고 이중 일부 feature만 랜덤!으로 Decision Tree의 불순도(impurity)를 계산(매 node마다 feature 랜덤 추출)하여 Decision Tree Model 을 만든다. 여러개의 data set 이 있으니 여러개의 Decision Tree 가 생성된다. 다양한 Decision Tree 모델에 Test Data를 입력하여 가장 많이 추출되는 예측값을 최종 결과 값으로 선택한다. from sklearn.ensemble import RandomFores.. 공감수 0 댓글수 0 2020. 9. 20.
Ensemble & Bootstrap & Bagging & Boosting 간단정리 Ensemble & Bootstrap & Bagging & Boosting Ensemble 여러 모델들을 결합하여 사용하면 Single 모델 보다 더 좋은 성능을 얻을 수 있다는 아이디어 높은 bias 로 인한 underfitting 과 높은 Variance로 인한 Overfitting 의 문제를 일종의 중간값으로 맞출수 있어 Overfitting피함 가능 동일한 학습 알고리즘을 사용한 모델을 결합하면 앙상블 / 서로 다른 학습 모델을 결합하여 새로운 모델을 결합하면 Stacking 이라고 함 Bootstrap 중복을 허용하여 샘플 n개를 뽑는것 Bagging Bagging(Bootstrap Aggregating) => 샘플을 여러번 뽑은 뒤 각 모델을 학습시켜 결과를 집계(Aggregating) 후 투.. 공감수 0 댓글수 0 2020. 9. 20.
Decision Tree in python Decision Tree 분류와 회귀 분석 모두 사용되어 CART(Classification and Regression Tree) 라고함 CART 일종의 알고리즘 방식으로도 쓰이는데 이진분리를 함, C4.5 & C5.0 이런것들 모두 알고리즘 방식의 이름이며 CART 랑은 다르게 다지분리(다양 하게 분기되는) 등이 특징 => 어차피 오버피팅 잘나서 ensemble 모델 씀 분류 Decision tree Classification tree 모양으로 if else 식으로 분류됨 분류시 : 숫자만 분류가능 => LabelEncoder, onehotEncoder 로 string형 범주형 변수 변환한뒤 수행 최상위 노드 = 루트 노드(root node) / 자식 노드가 없는 노드를 leaf 노드 / leaf노드가.. 공감수 0 댓글수 0 2020. 9. 20.
binary vs multi class 차이 간단 정리 binary 분류는 선, 면 등을 통해 분류 클래스가 multiclass 일때 분류해야할떄는? multiclass 분류는 one vs all 방식으로 하나의 클래스와 나머지클래스들을 각각 비교함 공감수 0 댓글수 0 2020. 9. 20.
SVM (Support Vector Machine) in python SVM (Support Vector Machine) 두 데이터를 구분하는 가장 안정적인 판별(결정) 경계선을 찾은뒤 이를 기준으로 데이터 구분 판별경계선에서 가장 가까운 값을 지지벡터(support vector) 라고 하며 경계선을 분류 경계면이라고함 두 분류 경계면 사이를 마진(margin)이라고 하며 이를 최대화 하는것이 목적 == 최대한 구분 잘하는것 => 분류시 오류를 최소하하는데 이떄 라그랑즈 승수법이라는것을 이용해 최적의 결정경계(초평면)를 찾음 초평면(hyperplane)이란? 간단하게 차원이 p-1 차원인 부분 공간 => 즉, 2차원 그림에서는 선, 3차원에서는 평면 선형 / 비선형 모두 분류 가능 선형일때 => kernel: linear 비선형일때 => kernel: rbf, poly #.. 공감수 0 댓글수 0 2020. 9. 20.
나이브 베이지안 분류 (Naive Bayes Classifier) in python Naive Bayes Classifier Bayes theorem 에서 유도됨 베이즈 정리란? 사후 확률(Posterior Probability) = 가능성(Likelihood) * 사전 확률(Class Prior Probability) / 특정 개체가 발생활 확률(Predictor Prio Probability) P(C|X) = P(X|C) * P(C) / P(X) 그리고 X 를 형성하는 무수히 많은 특징(feature) 들이 있을떄 식은 다음과 같음 P(C|X) = P(x1,x2,x3...xn|C) * P(C) / P(x1,x2,x3...xn) 그리고 이때! feature 들은 서로 독립된 변수라는 가정! => Naive 단어 쓰인 이유중 하나 독립이니 조건부 확률이 교집합으로 나타냄. P(C|X) .. 공감수 0 댓글수 0 2020. 9. 19.
KNN (k-neareast neighbor) 분류모델 in python KNN (k-neareast neighbor) 분류모델 근처 k개의 가장 가까운 훈련 데이터로 값을 예측하는방법 궁금한 데이터 주변 K 개의 데이터의 클래스가 1 이 제일 많으면 1 이 됨 거리 측정하는 방식에는 유클리디안방식, 맨헤탄 방식등이 있다. 보통 판정하기위해 K 는 홀수로 측정한다. 장점은 쉽고 직관적이고 샘플수가 많은경우 높은 정확도를 가지고 있다. 단점은 느리다. # KNN (k-neareast neighbor) 분류모델 from sklearn.neighbors import KNeighborsClassifier X = [[0,1,2], [1,3,5], [1,10,10],[1,2,2],[1,3,4],[2,7,8], [3,3,10]] y = [0, 0, 1, 0,0,1,1] # 유클리디안방식 .. 공감수 0 댓글수 0 2020. 9. 19.
variance 와 bias 관계 간단 정리 Variance 와 Bias는 Trade-off 관계 Variance = 분산: 예측값이 변동되는 정도 = 예측값들이 얼마나 서로 떨어져있는가 Bias = 편향: 실제 문제를 단순한 모델로 추측하여 오차가 발생하는것 = 실제값에서 얼마나 멀어졌는가 모델이 복잡해질수록 분산은 높아지고 편향은 낮아진다. => 오버피팅됨 => 해결법: regularization, k-fold, early stop learning , dropout 모델이 덜복잡할수록 분산은 낮아지고 편향은 높아진다. => 언더 피팅됨 => 해결법: feature 를 더 많이 반영하거나 복잡한 모델사용 분산과 편향을 동시에 최대한 낮추는 지점을 학습법으로 정해야함 공감수 0 댓글수 0 2020. 9. 19.
분류 성능 측정하는법 Accuracy, Precision, Recall, F1 score, ROC, AUC in python 분류 성능 평가하는법은 다음과 같다. # confusion matrix(분류 결과표): 타겟의 원래 클래스와 예측한 클래스가 일치하는지를 갯수로 센 결과를 표로 나타낸것 # 정답 클래스를 행으로 / 예측 클래스를 열으로 나타냄 from sklearn.metrics import confusion_matrix y_true = [2,0,2,2,0,1] y_pred = [0,0,2,2,0,2] confusion_matrix(y_true, y_pred) # 이중 특히 양성과 음성 2가지로 표현한것을 이진 분류결과표라고함 (Binary Confusion Matrix) # 예측양성 예측음성 # 실제 양성 TP FN # 실제 음성 FP TN y_true = [1,0,1,1,0,1] y_pred = [0,0,1,1,0,.. 공감수 5 댓글수 0 2020. 9. 19.
문자형을 인트형로 바꾸는법 label encoder in python label encoder 문자형을 인트형으로 변형해줌 문자형을 숫자형으로 LabelEncoder 를 통해 변형시킨뒤 이를 OneHotEncoder 로 하는것이 젤 정확할듯. from sklearn import preprocessing X = ["paris", "paris", "tokyo", "amsterdam"] le = preprocessing.LabelEncoder() le.fit(X) # 클래스 종류 le.classes_ le.transform(["paris", "paris", "tokyo", "amsterdam"]) le.inverse_transform([0, 0, 1, 2]) # 만약 두개의 컬럼을 조합하여 라벨링 하고 싶다면 import pandas as pd import numpy as np.. 공감수 0 댓글수 0 2020. 9. 19.
one-hot encoding 하는법 in python one-hot encoding one-hot(원핫)인코딩이란? 단 하나의 값만 True이고 나머지는 모두 False인 인코딩 변수를 가변수(dummy variable) 형태로 변환 / 변수를 one-hot encoding 기법을 통해 변환 하는 두가지 방법이 있음 import pandas as pd s = pd.Series(list('abca')) print(pd.get_dummies(s)) # 변수개수 하나 줄일때 drop_first=True temp = pd.get_dummies(s, drop_first=True, prefix='dummies', prefix_sep='_') df = pd.concat([s,temp], axis=1) df # one-hot encoder 사용하여 변형 from skle.. 공감수 0 댓글수 0 2020. 9. 19.
Logistic regression 에서 통계적으로유의한 독립변수 찾는법 in python 로지스틱 회귀분석에서 통계적으로 유의한 독립변수는 statsmodels 에서 변수의 p_value 찾은뒤 유의수준(보통 0.05) 이하인 변수를 찾으면 된다. # 통계적으로 유의한 독립변수 찾는법 => statsmodels 사용 from sklearn import datasets import statsmodels.api as sm from sklearn.model_selection import train_test_split import pandas as pd import numpy as np breast_cancer = datasets.load_breast_cancer() X = breast_cancer.data y = breast_cancer.target cols = [i.replace(' ' , '_.. 공감수 0 댓글수 0 2020. 9. 19.
로지스틱 회귀(logistic regression) in python 로지스틱 분류 LogisticRegression 일반 선형 회귀 모형 ax + b => 0과 1로 구분되는 데이터셋은 회귀분석으로는 힘듬 => 오즈비를 활용한 ln(p/1-p) = ax+b => p = 시그모이드 함수 => p 임계점에 따라 0과 1의 값으로 할당 가능 => 즉 로지스틱 모델은 다양한 변수들을 종합하여 1,0 두가지로 확률을 예측하여 분류 하는 방법 오즈(Odds)란? 성공 확률이 실패 확률에 비해 몇 배 더 높은가를 나타냄 로짓(logit)이란? 오즈 비에 로그를 씌운값 로지스틱 유도 로짓과 회귀식의 연관성 이런뒤 p를 기준으로 우변 정렬하면 로지스틱 펑션이 나옴 from sklearn import datasets from sklearn.linear_model import Logisti.. 공감수 1 댓글수 0 2020. 9. 19.
회귀 (연속형 변수) 측정하는법 MSE, RMSE, MAE, MPE, MAPE in python 회귀 (연속형 변수) 측정 MSE, RMSE, MAE, MPE, MAPE 사용하여 계산 모두 Mean Error 가 들어간다. => 즉 평균을 계산할수 있는 연속형 변수 측정에 사용한다. import pandas as pd import numpy as np from sklearn import datasets from sklearn.model_selection import train_test_split datas = datasets.load_diabetes() datas.target df = pd.DataFrame(datas.data, columns = datas.feature_names) y = pd.DataFrame(datas.target, columns = ['y']) df = pd.concat([d.. 공감수 3 댓글수 1 2020. 9. 18.
VIF(Variance Inflation Factor) 분산팽창지수 in python from statsmodels.api import OLS, add_constant from sklearn import datasets from sklearn.model_selection import train_test_split import pandas as pd datas = datasets.load_diabetes() datas.target df = pd.DataFrame(datas.data, columns = datas.feature_names) y = pd.DataFrame(datas.target, columns = ['y']) df = pd.concat([df, y], axis=1) train, test = train_test_split(df, test_size=0.3, random_state=.. 공감수 0 댓글수 0 2020. 9. 18.
결정 계수 in python 결정 계수 0~1 사이의 값을 가지고 1에 가까울수록 설명력(회귀분석모델이 얼마나 데이터를 잘 설명해주는지)이 높음 결정계수와 상관계수 차이 인자가 하나일떄는 상관계수의 제곱값이 결정계수값 보통결정계수를 상관계수의 제곱으로 구하긴 하지만 정확히는 결정계수는 상관계수와는 달리 여러 독립변수들이 종속변수를 설명하는지를 나타낸 수치라 다중 회귀분석에서는 다름 회귀분석에서 사용하는 수치임. 따라서 독립변수가 여러개일떄는 제곱으로 정확하게 일치하지는 않음 수정된 결정계수 Adj. R-squared 결정계수는 독립변수 개수가 많아질수록 그 값이 커짐. 따라서 표본크기와 독립변수의 수를 고려하여 계산하는데 이것이 수정된 결정계수 독립변수 2개 이상이거나 표본 200개 미만이면 수정 결정계수를 보고서에 기술할것 fro.. 공감수 0 댓글수 0 2020. 9. 17.
선형회귀(LinearRegression) in python 선형회귀(LinearRegression) 한개이상의 독립변수와 종속변수와의 선형적인 상관관계를 모델링하는 회귀 분석 기법 독립변수 개수에따라 하나면 단순 선형회귀, 두개 이상이면 다중 선형회귀라고함 일반적으로 최소 제곱법(least square method) 을 사용회 선형 회귀 모델을 만듦 sklearn, statsmodels 등의 패키지를 이용하여 회귀분석을 수행한다. # 선형 회귀 LinearRegression sklearn from sklearn import datasets from sklearn.model_selection import train_test_split import numpy as np import pandas as pd datas = datasets.load_diabetes() d.. 공감수 0 댓글수 0 2020. 9. 17.
상관분석 (Correlation) in python 상관분석 (Correlation) 두 변수간에 어떤 선형적 관계를 가지고 있는지 분석하는 방법 관계정도를 나타낸 것을 상관계수라고 함 공분산 역시 관계를 나타내지만 공분산에서 두 변수 각각의 표준편차로 나눠주어 단위에 따른 영향을 제거하고 값을 -1 ~ 1 사이로 정해줌 상관계수가 절대값 1에 가까울 수록 강한 선형 관계를 나타냄 pearson 상관계수를 제곱하면 분산에서 공유하는 비율 만약 X, Y의 상관계수가 0.4 이면 그 제곱은 0.16 으로 x의 분산중 16% 를 y와 공유 또는 y로 설명됨, 선형적관계만 설명가능 상관계수에는 일반적으로 사용하는 pearson과 서열척도에 사용하는 spearnman, kendal 방식이 있음 import numpy as np from scipy import st.. 공감수 0 댓글수 0 2020. 9. 16.
Data를 train 과 test set으로 원하는 비율만큼 분리하는법 Data를 train 과 test set으로 원하는 비율만큼 분리하려면 sklearn 의 train_test_split 모듈을 이용한다. # train/test set 분리 import numpy as np from sklearn.model_selection import train_test_split X, y = np.arange(10).reshape((5, 2)), range(5) # X, y 값 다있을때 # 7:3 으로 분기 train_x, test_x, train_y, test_y = train_test_split(X, y, test_size=0.3, random_state=123) # X 값만 있을때 train, test = train_test_split(X, test_size=0.3, rando.. 공감수 0 댓글수 0 2020. 9. 16.
PCA in python PCA(principal component analysis) 주성분 분석 PCA 이해 개념적으로 간단히 데이터의 차원을 줄이려고 하는데 원데이터의 성질을 가장 잘 보존하고자한다. 이때 분산은 데이터들의 분포 특성을 가장 잘설명하며 이 분산의 방향이 가장 큰 방향벡터를 주성분이라고 함 그리고 데이터를 가장 큰 방향벡터를 기준으로 투영(Projection)하여 변형(feature extraction) 하는것이 PCA이다. 따라서 PCA 후에는 데이터 값이 달라지지만 기존 데이터의 분포 특성을 최대한 보존한다. 첫번째 축을 찾은뒤 첫번째 축과 직교(orthogonal)하면서 분산이 가장 큰, 즉 가장 큰 방향벡터(주성분)를 찾은 뒤 축으로 하여 데이터를 투영하며 이런 반복을 원하는 차원의 수만큼 반복한다. 그.. 공감수 1 댓글수 0 2020. 9. 16.
Robust scaling 하는법 in python Robust scaling 은 중앙값 0, 사분위수의 제3사분위수에서 제1사분위수를 뺀값인 IQR이 1이 되도록 변환하는 방법을 말한다. 아웃라이어의 영향을 최소화한다는 특징을 가진다. import pandas as pd from sklearn.preprocessing import RobustScaler data = [[ 1., -2., 2.], [ -2., 1., 3.], [ 4., 1., -2.]] df = pd.DataFrame(data, columns=['a','b','c']) colnames = df.columns scaler = RobustScaler() scaler.fit(df) # Robust scaling print(scaler.transform(df)) # 원레 데이터의 중앙값, IQR.. 공감수 0 댓글수 0 2020. 9. 16.
z-score scaling 하는법 in python z-score 표준화 또는 StandardScaler 라고도 함 평균과 표준편차가 1이 되도록 변환한것 => 즉, 표준 정규분포로 환산 import pandas as pd from sklearn.preprocessing import StandardScaler data = [[0, 0], [0, 0], [1, 1], [1, 1]] df = pd.DataFrame(data, columns=['a','b']) colnames = df.columns scaler = StandardScaler() scaler.fit(df) # z-score scaling 수행 결과 print(scaler.transform(df)) # 원레 데이터의 평균, 분산 print('평균 : ', scaler.mean_) print('분산.. 공감수 0 댓글수 0 2020. 9. 14.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.