회귀분석의 전제조건
회귀분석의 전제조건, 선형성, 독립성, 등분산성, 정규성
선형회귀는 분석 데이터가 선형성, 독립성, 등분산성, 정규성의 성질을 갖는다고 가정하기 때문에 좋은 선형 회귀분석 모델을 만들기 위해서는 네 개의 기본가정을 모두 만족하는지 확인해야 한다.
iris 데이터를 통해 네 가지 기본가정이 선형회귀 모델에 미치는 영향을 확인해보자.
0. 예제 데이터¶
import pydataset as pds
import pandas as pd
df = pds.data('iris')
df.reset_index(drop=True, inplace=True)
df.columns = [i.replace('.', '_') for i in df.columns]
df.info()
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 150 entries, 0 to 149
Data columns (total 5 columns):
# Column Non-Null Count Dtype
--- ------ -------------- -----
0 Sepal_Length 150 non-null float64
1 Sepal_Width 150 non-null float64
2 Petal_Length 150 non-null float64
3 Petal_Width 150 non-null float64
4 Species 150 non-null object
dtypes: float64(4), object(1)
memory usage: 6.0+ KB
1. 선형성¶
iris 데이터의 분포는 다음과 같다.
import matplotlib.pyplot as plt
import seaborn as sns
sns.pairplot(
data=df,
hue='Species',
)
plt.show()
만약 Sepal_Length를 예측하려고 하는 종속변수라고 한다면, 위 그래프를 보았을 때 Sepal_Length와 대략적인 선형관계를 이루고 있는 변수는 Petal_Length와 Petal_Width이고, 선형성을 만족하지 않는 것은 Sepal_Width인 것으로 보인다.
이 상황에서 선형 회귀모델을 만들어 보자.
import statsmodels.formula.api as smf
formula = 'Sepal_Length ~ Sepal_Width + Petal_Length + Petal_Width'
model = smf.ols(formula=formula, data=df)
result = model.fit()
print(result.summary())
OLS Regression Results
==============================================================================
Dep. Variable: Sepal_Length R-squared: 0.859
Model: OLS Adj. R-squared: 0.856
Method: Least Squares F-statistic: 295.5
Date: Mon, 31 Jan 2022 Prob (F-statistic): 8.59e-62
Time: 18:26:28 Log-Likelihood: -37.321
No. Observations: 150 AIC: 82.64
Df Residuals: 146 BIC: 94.69
Df Model: 3
Covariance Type: nonrobust
================================================================================
coef std err t P>|t| [0.025 0.975]
--------------------------------------------------------------------------------
Intercept 1.8560 0.251 7.401 0.000 1.360 2.352
Sepal_Width 0.6508 0.067 9.765 0.000 0.519 0.783
Petal_Length 0.7091 0.057 12.502 0.000 0.597 0.821
Petal_Width -0.5565 0.128 -4.363 0.000 -0.809 -0.304
==============================================================================
Omnibus: 0.345 Durbin-Watson: 2.060
Prob(Omnibus): 0.842 Jarque-Bera (JB): 0.504
Skew: 0.007 Prob(JB): 0.777
Kurtosis: 2.716 Cond. No. 54.7
==============================================================================
Notes:
[1] Standard Errors assume that the covariance matrix of the errors is correctly specified.
모든 변수의 유의확률(p-value)이 0.05 미만으로 나와 유의하다고 나온다. 그 이유는 가장 선형성을 강하게 만족하는 Petal_Length와 Petal_Width의 영향도를 뺀 나머지 값들이 종속변수인 Sepal_Width와 선형성을 이루기 때문인데, 시각화로 확인하면 다음과 같다.
df['Rest_Sepal_Width'] = (
df['Sepal_Length']
- result.params.Petal_Length * df['Petal_Length']
- result.params.Petal_Width * df['Petal_Width']
)
sns.pairplot(
data=df,
hue='Species',
)
plt.show()
Petal_Length와 Petal_Width의 영향도를 제거한 Rest_Sepal_Width를 Sepal_Width와 비교해보면 선형성이 아주 약간 생긴 것을 확인할 수 있다.
Petal_Length와 Petal_Width의 영향도를 뺀 나머지 값을 위와 같이 계산하는 이유는 Sepal_Length를 \(y\), Sepal_Width를 \(x_{0}\), Petal_Length를 \(x_{1}\), Petal_Width를 \(x_{2}\)라고 할 때 회귀식은 아래와 같이 정리되고,
따라서 종속변수 \(y\)에서 Petal_Length와 Petal_Width의 영향도를 뺀 나머지 값인 Rest_Sepal_Width(\(\beta_{0}x_{0} + \varepsilon\))는 아래와 같이 정리되기 때문이다.
Sepal_Width의 영향력(결정계수)을 확인하기 위해 Sepal_Width와 Sepal_Length를 단변량 회귀분석을 통해 확인해보자.
import statsmodels.formula.api as smf
formula = 'Sepal_Length ~ Sepal_Width'
model = smf.ols(formula=formula, data=df)
result = model.fit()
print(result.summary())
OLS Regression Results
==============================================================================
Dep. Variable: Sepal_Length R-squared: 0.014
Model: OLS Adj. R-squared: 0.007
Method: Least Squares F-statistic: 2.074
Date: Mon, 31 Jan 2022 Prob (F-statistic): 0.152
Time: 19:05:50 Log-Likelihood: -183.00
No. Observations: 150 AIC: 370.0
Df Residuals: 148 BIC: 376.0
Df Model: 1
Covariance Type: nonrobust
===============================================================================
coef std err t P>|t| [0.025 0.975]
-------------------------------------------------------------------------------
Intercept 6.5262 0.479 13.628 0.000 5.580 7.473
Sepal_Width -0.2234 0.155 -1.440 0.152 -0.530 0.083
==============================================================================
Omnibus: 4.389 Durbin-Watson: 0.952
Prob(Omnibus): 0.111 Jarque-Bera (JB): 4.237
Skew: 0.360 Prob(JB): 0.120
Kurtosis: 2.600 Cond. No. 24.2
==============================================================================
Notes:
[1] Standard Errors assume that the covariance matrix of the errors is correctly specified.
Sepal_Width의 유의확률(p-value)이 0.152로 0.05보다 크기 때문에 Sepal_Width 단독으로는 Sepal_Length에 영향력이 없다는 귀무가설을 기각할 수 없다. 즉, Sepal_Width가 Sepal_Length에 영향력이 없다고 해석된다.
2. 독립성(다중공선성)¶
독립성이란 독립변수 간에 상관관계가 없이 독립성을 만족하는 특성을 의미하며, 다중회귀분석에서 중요하게 다뤄지는 가정이다.
iris 데이터에서 변수 간 상관성을 확인해보자.
Sepal_Length Sepal_Width Petal_Length Petal_Width
Sepal_Length 1.000000 -0.117570 0.871754 0.817941
Sepal_Width -0.117570 1.000000 -0.428440 -0.366126
Petal_Length 0.871754 -0.428440 1.000000 0.962865
Petal_Width 0.817941 -0.366126 0.962865 1.000000
시각화해서 보기 좋게 표현하면 아래와 같다.
sns.set(font_scale=1)
fig, ax = plt.subplots()
ax = sns.heatmap(
data=corr,
cmap=plt.cm.coolwarm,
annot=True,
fmt='.4f',
)
plt.show()
Petal_Length와 Petal_Width의 상관성이 0.96으로 매우 높게 나오는데, 독립변수 간의 상관성이 있을 경우 다중공선성(Multicollinearity)이 있다고 표현되며, 분산팽창요인(VIF, Variance Inflation Factors)을 통해 다중공선성을 계산할 수 있다.
VIF를 계산하는 공식은 아래와 같고, \({R^{2}_{i}}\)은 \(i\) 번째 독립변수에 대해 다른 독립변수들로 회귀분석을 시행한 선형 모델의 \(R^{2}\)라는 뜻이다.
Tip
VIF가 10이 넘으면 다중공선성이 있으며 5가 넘으면 주의할 필요가 있다고 보는데, 독립변수 a와 b가 서로 상관관계가 있다고 했을 때 두 변수 모두 VIF가 높고, 어느 하나만 VIF가 높은 경우는 없다. 서로 연관 있는 변수끼리 VIF가 높다.
Python에서는 statsmodels 패키지에서 제공하는 함수를 통해 직접 확인해보자.
import statsmodels.formula.api as smf
from statsmodels.stats.outliers_influence import variance_inflation_factor
formula = 'Sepal_Length ~ Sepal_Width + Petal_Length + Petal_Width'
model = smf.ols(formula=formula, data=df)
vif = pd.DataFrame(
{'VIF': variance_inflation_factor(model.exog, i), 'columns': column}
for i, column in enumerate(model.exog_names)
)
vif.sort_values(by='VIF', ascending=False, inplace=True)
vif.reset_index(drop=True, inplace=True)
print(vif)
VIF columns
0 95.343302 Intercept
1 15.097572 Petal_Length
2 14.234335 Petal_Width
3 1.270815 Sepal_Width
Petal_Length와 Petal_Width가 모두 10 이상이 나와 다중공선성이 있는 것으로 나타났다. 이러면 회귀분석 결과에 왜곡을 줘서 변수들의 결정계수가 틀리게 나오게 된다. 좀 더 정확한 회귀분석 결과를 위해 둘 중 하나를 제외하고 회귀분석을 시행해보자.
우선 Petal_Width를 제외하고 회귀분석을 시행한 결과와 VIF는 아래와 같다.
import statsmodels.formula.api as smf
from statsmodels.stats.outliers_influence import variance_inflation_factor
formula = 'Sepal_Length ~ Sepal_Width + Petal_Length'
model = smf.ols(formula=formula, data=df)
result = model.fit()
print(result.summary(), end="\n\n")
vif = pd.DataFrame(
{'VIF': variance_inflation_factor(model.exog, i), 'columns': column}
for i, column in enumerate(model.exog_names)
)
vif.sort_values(by='VIF', ascending=False, inplace=True)
vif.reset_index(drop=True, inplace=True)
print(vif)
OLS Regression Results
==============================================================================
Dep. Variable: Sepal_Length R-squared: 0.840
Model: OLS Adj. R-squared: 0.838
Method: Least Squares F-statistic: 386.4
Date: Sun, 13 Feb 2022 Prob (F-statistic): 2.93e-59
Time: 18:09:59 Log-Likelihood: -46.513
No. Observations: 150 AIC: 99.03
Df Residuals: 147 BIC: 108.1
Df Model: 2
Covariance Type: nonrobust
================================================================================
coef std err t P>|t| [0.025 0.975]
--------------------------------------------------------------------------------
Intercept 2.2491 0.248 9.070 0.000 1.759 2.739
Sepal_Width 0.5955 0.069 8.590 0.000 0.459 0.733
Petal_Length 0.4719 0.017 27.569 0.000 0.438 0.506
==============================================================================
Omnibus: 0.164 Durbin-Watson: 2.021
Prob(Omnibus): 0.921 Jarque-Bera (JB): 0.319
Skew: -0.044 Prob(JB): 0.853
Kurtosis: 2.792 Cond. No. 48.3
==============================================================================
Notes:
[1] Standard Errors assume that the covariance matrix of the errors is correctly specified.
VIF columns
0 83.033291 Intercept
1 1.224831 Sepal_Width
2 1.224831 Petal_Length
다음으로 Petal_Length를 제외하고 회귀분석을 시행한 결과는 아래와 같다.
import statsmodels.formula.api as smf
from statsmodels.stats.outliers_influence import variance_inflation_factor
formula = 'Sepal_Length ~ Sepal_Width + Petal_Width'
model = smf.ols(formula=formula, data=df)
result = model.fit()
print(result.summary(), end="\n\n")
vif = pd.DataFrame(
{'VIF': variance_inflation_factor(model.exog, i), 'columns': column}
for i, column in enumerate(model.exog_names)
)
vif.sort_values(by='VIF', ascending=False, inplace=True)
vif.reset_index(drop=True, inplace=True)
print(vif)
OLS Regression Results
==============================================================================
Dep. Variable: Sepal_Length R-squared: 0.707
Model: OLS Adj. R-squared: 0.703
Method: Least Squares F-statistic: 177.6
Date: Sun, 13 Feb 2022 Prob (F-statistic): 6.15e-40
Time: 18:11:02 Log-Likelihood: -91.910
No. Observations: 150 AIC: 189.8
Df Residuals: 147 BIC: 198.9
Df Model: 2
Covariance Type: nonrobust
===============================================================================
coef std err t P>|t| [0.025 0.975]
-------------------------------------------------------------------------------
Intercept 3.4573 0.309 11.182 0.000 2.846 4.068
Sepal_Width 0.3991 0.091 4.380 0.000 0.219 0.579
Petal_Width 0.9721 0.052 18.659 0.000 0.869 1.075
==============================================================================
Omnibus: 2.095 Durbin-Watson: 1.877
Prob(Omnibus): 0.351 Jarque-Bera (JB): 1.677
Skew: 0.239 Prob(JB): 0.432
Kurtosis: 3.198 Cond. No. 30.3
==============================================================================
Notes:
[1] Standard Errors assume that the covariance matrix of the errors is correctly specified.
VIF columns
0 70.472677 Intercept
1 1.154799 Sepal_Width
2 1.154799 Petal_Width
아래와 같이 R-squared는 크게 변하지 않으면서 VIF가 크게 개선된 것을 확인할 수 있다.
| 지표 | 모든 변수 | Petal_Width 제외 | Petal_Length 제외 |
|---|---|---|---|
| R-squared | 0.859 | 0.840 | 0.707 |
| Adj. R-squared | 0.856 | 0.838 | 0.703 |
| coef Sepal_Width | 0.6508 | 0.5955 | 0.3991 |
| coef Petal_Length | 0.7091 | 0.4719 | |
| coef Petal_Width | -0.5565 | 0.9721 | |
| VIF Sepal_Width | 1.270815 | 1.224831 | 1.154799 |
| VIF Petal_Length | 15.097572 | 1.224831 | |
| VIF Petal_Width | 14.234335 | 1.154799 |
Tip
다중공선성을 해결하는 방법은 위에서 진행한 것과 같이 다중공선성이 높은 변수를 제외하는 방법과, 다중공선성이 높은 변수들을 합쳐서 하나로 치환해주는 방법이 있다.
2-1. 💡다중공선성 계산용 모듈¶
statsmodels의 model을 거치지 않고 계산 하는 함수는 아래와 같다.
import statsmodels.api as sm
from statsmodels.stats.outliers_influence import variance_inflation_factor
def vif_check(dataset, target=False):
dataset = dataset.select_dtypes(exclude=['object'])
dataset = sm.add_constant(dataset)
if target: dataset.drop([target], axis=1, inplace=True)
else: pass
vif = pd.DataFrame()
vif['VIF'] = [variance_inflation_factor(exog=dataset.values, exog_idx=i) for i in range(dataset.shape[1])]
vif['features'] = dataset.columns
vif.sort_values(by='VIF', ascending=False, inplace=True)
vif.reset_index(drop=True, inplace=True)
return vif
import pydataset as pds
import pandas as pd
df = pds.data('iris')
vif = vif_check(dataset=df)
print(vif)
VIF features
0 131.113086 const
1 31.261498 Petal.Length
2 16.090175 Petal.Width
3 7.072722 Sepal.Length
4 2.100872 Sepal.Width
3. 등분산성¶
Incomplete
이 글은 미완성입니다.
등분산검정(Equal-variance test)은 두 정규분포로부터 생성된 두 개의 데이터 집합으로부터 두 정규분포의 분산 모수가 같은지 확인하기 위한 검정이다. SciPy 패키지를 통해서 검정할 수 있다.
- scipy
- scipy.stats.bartlett: 바틀렛 검정
- scipy.stats.fligner: 플리그너 검정
- scipy.stats.levene: 레빈 검정
4. 정규성¶
Incomplete
이 글은 미완성입니다.
마지막 정규성은 확률분포가 가우시안 정규분포를 따르는지의 여부를 의미한다. 모델 요약의 Omnibus, Prob(Omnibus), Durbin-Watson, Jarque-Bera (JB), Prob(JB) 등이 정규성을 확인하는 지표이며, SciPy, statsmodels 패키지를 통해서 별도로 확인할 수 있다.
-
scipy
- scipy.stats.ks_2samp: 콜모고로프-스미르노프 검정(Kolmogorov-Smirnov test)
- scipy.stats.shapiro: 샤피로-윌크 검정(Shapiro–Wilk test)
- scipy.stats.anderson: 앤더스-달링 검정(Anderson–Darling test)
- scipy.stats.mstats.normaltest: 다고스티노 K-제곱 검정(D’Agostino’s K-squared test)
-
StatsModels
- statsmodels.stats.diagnostic.kstest_normal: 콜모고로프-스미르노프 검정(Kolmogorov-Smirnov test)
- statsmodels.stats.stattools.omni_normtest: 옴니버스 검정(Omnibus Normality test)
- statsmodels.stats.stattools.jarque_bera: 자크-베라 검정(Jarque–Bera test)
- statsmodels.stats.diagnostic.lillifors: 릴리포스 검정(Lilliefors test)