다변량 분석 — 판별분석과 요인분석

다변량 분석 정의 다변량 분석(Multivariate Analysis)은 2개 이상의 변수를 동시에 분석하는 통계 방법론의 총칭입니다. 판별분석 (Discriminant Analysis) 판별분석은 집단 소속이 알려진 데이터를 이용해 판별함수를 도출하고, 새로운 관측치를 해당 집단으로 분류하는 지도학습 기법입니다. 핵심 개념 - 목적: 집단을 구분하는 판별함수 도출 → 새로운 관측치 분류 - 선형 판별분석(LDA): 집단 간 분산을 최대화, 집단 내 분산을 최소화 - 사전 확률(Prior Probability): 각 집단에 속할 사전 확률 고려 - 오분류 비용(Misclassification Cost): 잘못 분류될 때의 비용 고려 판별분석 vs 회귀분석 구분 판별분석 회귀분석 종속변수 범주형 (집단) 연속형 (수치) 목적 집단 분류 값 예측 시험 포인트: "집단 간 분산의 비율을 최대화", "판별함수를 이용한 분류" → 판별분석 요인분석 (Factor Analysis) 요인분석은 다수의 변수들 사이에 존재하는 공분산 구조를 분석하여 잠재 요인(Factor)을 추출하는 기법입니다. 핵심 개념 - 목적: 여러 변수를 소수의 잠재 요인으로 축약하여 구조 파악 - 탐색적 요인분석(EFA): 요인 구조를 사전에 가정하지 않고 탐색 - 확인적 요인분석(CFA): 이론에 근거한 요인 구조를 검증 - 공통요인(Common Factor): 여러 변수에 공통으로 영향을 주는 잠재 요인 - 고유요인(Unique Factor): 특정 변수에만 영향을 주는 요인 - 요인 부하량(Factor Loading): 변수와 요인 간 상관관계의 크기 (절댓값 클수록 강한 관계) 베리맥스(Varimax) 회전 - 직교 회전(Orthogonal Rotation) 방법의 대표 - 각 요인의 부하량 분산을 최대화하여 요인 해석을 단순·명확하게 만듦 요인분석 vs 주성분분석(PCA) 비교 구분 요인분석(FA) 주성분분석(PCA) 목적 공분산 구조 설명, 잠재 요인 추출 분산 최대화, 차원 축소 방향 공통 요인 → 변수 설명 변수 → 주성분 도출 오차항 고유요인(오차) 포함 없음 정준상관분석 (Canonical Correlation) - 두 변수 집합(X군, Y군) 간의 상관관계를 최대화하는 선형 결합 도출 - 예: 학업 변수군과 취업 변수군 간의 관계 분석 다차원척도법 (MDS, Multidimensional Scaling) - 개체 간 거리(비유사성)를 측정하여 저차원 공간에 시각화 - 유사한 개체는 가깝게, 다른 개체는 멀게 배치 - 예: 소비자 브랜드 인식 지도(Perceptual Map) 작성 시험 핵심: 판별분석 = 집단 분류 목적, 집단 간 분산 최대화 / 요인분석 = 잠재 요인 추출 목적, 공분산 구조 파악 / PCA = 분산 최대화, 차원 축소. 이 3가지 차이를 명확히 구분하세요. 추가 핵심 개념 — 비지도 차원축소 비교 - t-SNE(t-Distributed Stochastic Neighbor Embedding): 고차원 데이터의 국소 이웃 구조를 보존하며 23차원에 시각화. 비선형. 군집 구조 시각화에 우수. - UMAP(Uniform Manifold Approximation and Projection): t-SNE보다 빠르고 전역 구조도 일부 보존. 차원 축소·시각화의 최신 기법. - Kernel PCA: PCA의 비선형 확장. 커널 트릭으로 고차원 공간에서 선형 PCA 수행. 시험 핵심: PCA(선형)·t-SNE(국소 비선형)·UMAP(전역+국소 비선형)·LDA(지도, 클래스 분리)의 비교가 차원축소 단원의 심화 출제 포인트입니다.

핵심 Q&A (7개)

판별분석(Discriminant Analysis)의 목적은?

집단을 구분하는 판별함수를 도출하여 새로운 관측치를 특정 집단으로 분류. 종속변수가 범주형일 때 사용 (회귀분석은 종속변수가 연속형)

선형 판별분석(LDA)의 핵심 원리는?

집단 간 분산(Between-group variance)을 최대화하고, 집단 내 분산(Within-group variance)을 최소화하는 판별함수를 도출하여 집단 분리를 최적화

요인분석(Factor Analysis)의 목적은?

여러 변수들의 공분산 구조를 분석하여 배후에 존재하는 소수의 잠재 요인(Factor)을 추출. 변수 간 상관관계의 원인이 되는 공통 구조를 파악

요인분석의 EFA vs CFA 차이는?

탐색적 요인분석(EFA): 사전 가설 없이 데이터에서 요인 구조를 탐색
확인적 요인분석(CFA): 이론·선행 연구를 바탕으로 설정된 요인 구조를 실증적으로 검증

베리맥스(Varimax) 회전이란?

요인분석에서 요인 해석을 단순하게 만들기 위한 직교 회전 방법. 각 요인에서 부하량이 높은 변수와 낮은 변수의 대비를 극명히 하여 요인의 의미를 명확하게 함

요인분석(FA) vs 주성분분석(PCA)의 차이는?

요인분석: 공분산 구조 설명이 목적, 잠재 요인 추출, 고유요인(오차) 포함
PCA: 분산 최대화(차원 축소)가 목적, 주성분 도출, 오차항 없음

다차원척도법(MDS)이란?

개체 간 거리(비유사성)를 측정하여 저차원 공간에 시각화하는 방법. 유사한 개체는 가깝게, 다른 개체는 멀게 배치. 브랜드 인식 지도(Perceptual Map) 작성에 활용