연관분석

연관분석은 데이터 속에서 항목들 간의 관련성(연관규칙)을 발견하는 분석 기법입니다. "기저귀를 사는 고객이 맥주도 함께 산다"는 장바구니 분석이 가장 유명한 사례입니다. 연관분석의 세 가지 핵심 지표가 있습니다. 지지도(Support)는 전체 거래 중에서 A와 B를 동시에 구매한 거래의 비율입니다. 수식으로는 P(A∩B)=A와B 동시구매건수/전체거래건수입니다. 신뢰도(Confidence)는 A를 구매한 거래 중에서 B도 함께 구매한 비율입니다. 수식으로는 P(B A)=P(A∩B)/P(A)입니다. 향상도(Lift)는 A를 구매한 사람이 B를 구매할 확률이, B의 전체 구매 확률에 비해 얼마나 높은지를 나타냅니다. 수식으로는 P(B A)/P(B)=신뢰도/P(B)입니다. 향상도가 1보다 크면 양의 연관성, 1이면 독립(무관), 1보다 작으면 음의 연관성입니다. Apriori 알고리즘은 연관규칙을 찾는 대표적 알고리즘으로, 최소 지지도를 설정→개별 품목 중 최소 지지도를 넘는 품목 선별→2개 이상의 품목 조합으로 확장→반복하여 빈발 항목 집합을 발견하는 순서로 진행됩니다. Apriori의 핵심 원리는 반단조성(Anti-monotone property): 빈발하지 않는 항목 집합의 상위 집합은 빈발하지 않으므로 탐색을 가지치기합니다. 그러나 데이터 스캔 횟수가 많아 대용량 데이터에 비효율적이라는 단점이 있습니다. FP-Growth 알고리즘은 데이터를 FP-Tree 자료구조로 압축하여 반복 스캔 없이 연관규칙을 탐색하는 개선된 알고리즘입니다. Apriori는 데이터베이스를 여러 번 스캔해야 하는 반면, FP-Growth는 2회 스캔으로 FP-Tree를 구성하므로 대용량 데이터에 더 효율적입니다. 다만 FP-Tree를 메모리에 유지해야 하므로 데이터가 매우 희소(Sparse)하면 메모리 비용이 증가할 수 있습니다. 연관분석의 장점은 조건반응(If-then) 기반으로 결과 해석이 쉽고, 특별한 목적 없이도 데이터 탐색이 가능하며, 데이터 변환 없이 원본을 그대로 사용할 수 있다는 점입니다. "연관분석은 변수 간 선형 관계를 파악하는 방법"이라는 보기가 나오면 이는 상관분석의 설명이므로 틀린 것입니다. 핵심 요약 & 시험 포인트 연관규칙 3대 지표 수식 지표 수식 의미 지지도(Support) P(A∩B) = (A,B 동시)/(전체) 전체에서 함께 구매 비율 신뢰도(Confidence) P(B\ A) = P(A∩B)/P(A) A구매 중 B도 구매 비율 향상도(Lift) 신뢰도/P(B) 1독립, 1=무관, 1<양의 연관 Apriori vs FP-Growth 알고리즘 특징 장점 단점 Apriori 반단조성(Anti-monotone) 활용 이해 쉬움 반복 스캔으로 느림 FP-Growth FP-Tree로 2회 스캔 빠름, 대용량 적합 희소 데이터 시 메모리↑ 시험 포인트: 향상도1이면 양의 연관성. Apriori 핵심: 빈발하지 않는 항목집합의 상위집합도 빈발하지 않음(반단조성). 연관분석 ≠ 변수 간 선형 관계(그것은 상관분석). 연관규칙 마이닝 핵심 원리 - Association Rule Mining: 항목 집합 사이의 IF-THEN 규칙 추출 (예: 빵 → 우유) - 장바구니 분석(Market Basket Analysis): 함께 구매되는 상품 집합 분석 — 연관규칙의 대표 응용 - Downward Closure(하향 닫힘 / 반(反)단조성): "빈발 집합의 모든 부분집합도 빈발이다" - 대우: 비빈발 집합의 모든 상위 집합도 비빈발 → Apriori 알고리즘의 가지치기 핵심 원리 교차판매·상향판매 - Cross-Sell(교차판매): 연관 상품 추천 (보험 + 적금) - Up-Sell(상향판매): 더 비싼 모델·옵션 추천 (스탠다드 → 프리미엄) 연관규칙 표현 - 발생 규칙(If A then B): 항목 A가 등장하면 B가 함께 등장하는 규칙 - Antecedent(전건, A) → Consequent(후건, B) - 평가 지표: Support·Confidence·Lift·Conviction·Leverage Apriori 알고리즘 핵심 - Association Rule Mining(Apriori): 빈발 항목집합 → 강한 연관규칙 도출 - 단계: 빈발집합 탐색 → 규칙 생성 → 신뢰도·향상도 필터링 순차 패턴 마이닝 - Sequential Pattern Mining(시퀀스 패턴 마이닝): 시간 순서가 있는 항목집합에서 자주 등장하는 패턴 발견 - PrefixSpan: 접두사 기반 효율적 알고리즘 - GSP(Generalized Sequential Pattern): 시간 제약·계층 지원 - 활용: 웹 클릭스트림·DNA 서열·구매 시퀀스·고객 행동 분석 연관규칙 평가 추가 - Conviction: (1−Support(B)) / (1−Confidence) - Leverage: Support(A∩B) − Support(A)·Support(B) 조합 최적화 문제 - NP-Hard / NP-Complete: 다항 시간에 해결 불가능하다고 추정되는 문제 — 메타휴리스틱이 필요한 이유 - TSP(Traveling Salesman Problem, 외판원 문제): n개 도시를 모두 정확히 한 번씩 방문하고 출발지로 돌아오는 최단 경로 - VRP(Vehicle Routing Problem, 차량 경로 문제): 다수 차량으로 다수 고객을 방문하는 최적 경로 — 물류·배송에 응용 - 일정 계획(Scheduling) / Bin Packing / 신경망 구조 탐색(NAS): 모두 NP-Hard 계열로 메타휴리스틱 활용 Apriori의 핵심 원리 - Anti-monotone 속성 / 반단조성(Antimonotonicity): 빈발 항목집합의 모든 부분집합도 빈발 - 대우: 비빈발 집합의 모든 상위 집합도 비빈발 - Apriori의 가지치기(Pruning) 핵심 — 검색 공간 대폭 축소 - 동의어: Downward Closure Property - min-support / minimum support(최소 지지도): 빈발 여부를 판단하는 임계값 - 낮으면 더 많은 규칙·계산 폭증 - 높으면 누락 위험 — 비즈니스에 따라 균형 선택 📝 이 주제 관련 문제 학습 노트의 보강 개념을 직접 문제로 풀어보세요. - Association Rule Mining — 항목 집합 사이의 IF-THEN 규칙 추출 (예: 빵 → 우유) - Downward Closure(하향 닫힘 / 반(反)단조성) — "빈발 집합의 모든 부분집합도 빈발이다" - Up-Sell — 더 비싼 모델·옵션 추천 (스탠다드 → 프리미엄) - 발생 규칙 — 항목 A가 등장하면 B가 함께 등장하는 규칙 - Antecedent(전건, A) → Consequent(후건, B) — 평가 지표: Support·Confidence·Lift·Conviction·Leverage - Sequential Pattern Mining — 시간 순서가 있는 항목집합에서 자주 등장하는 패턴 발견 - Conviction — (1−Support(B)) / (1−Confidence) 페이지 하단 "이 주제 문제 풀기" 버튼으로 전체 문제를 풀 수 있습니다.

핵심 Q&A (5개)

지지도·신뢰도·향상도 수식은?

지지도: P(A∩B) = (A,B 동시)/(전체)
신뢰도: P(B|A) = P(A∩B)/P(A)
향상도: 신뢰도/P(B) = P(B|A)/P(B)

향상도(Lift) 값 해석은?

> 1: 양의 연관성 (A 구매 시 B 구매 확률이 평균보다 높음)
= 1: 독립 (무관)
< 1: 음의 연관성

Apriori 알고리즘의 핵심 원리는?

반단조성(Anti-monotone): 빈발하지 않는 항목집합의 상위집합도 빈발하지 않음
→ 탐색 가지치기로 계산량 감소

Apriori vs FP-Growth 차이는?

Apriori: 반복 스캔, 이해 쉬움, 느림
FP-Growth: FP-Tree로 2회 스캔, 빠름, 대용량 적합

"연관분석은 변수 간 선형 관계 파악"은 맞는가?

❌ 아니다. 선형 관계 파악은 상관분석.
연관분석은 항목 간 동시 발생 패턴(If-Then 규칙) 발견