🔗 관련 문서: Wikipedia - 데이터 마이닝

데이터 마이닝Data Mining

[목차로 돌아가기]

1. 데이터 마이닝의 개념

데이터 마이닝(Data Mining)은 KDD(Knowledge Discovery in Databases, 데이터베이스 지식 발견)의 표준적인 정의에 따르면, 대규모 데이터에서 암묵적이고, 이전에는 알려지지 않았던, 잠재적으로 유용한 정보나 지식을 추출하는 체계적인 과정이다.

빅데이터 시대에는 기업이나 기관이 보유한 데이터의 양이 방대해지면서, 사람이 직접 데이터를 하나하나 살펴보고 규칙을 찾아내는 것이 사실상 불가능해졌다. 데이터 마이닝은 통계학, 기계학습, 데이터베이스 기술 등을 종합적으로 활용하여 정제되지 않은 대용량의 데이터로부터 의미 있는 상관관계, 패턴, 추세 등을 자동으로 발견하는 것을 목표로 한다.

데이터 마이닝의 핵심 특징


• 대규모(Large-scale): 소량의 표본이 아니라 대용량의 데이터를 대상으로 한다.
• 암묵적(Implicit): 데이터 안에 숨어 있어 겉으로는 드러나지 않는 관계를 찾는다.
• 이전에 알려지지 않음(Previously unknown): 이미 알고 있던 사실이 아니라 새로운 통찰을 발견하는 것이 목적이다.
• 잠재적으로 유용함(Potentially useful): 발견된 패턴이 실제 의사결정에 활용될 수 있어야 한다.

[목차로 돌아가기]

2. 데이터 마이닝의 과정(KDD)

데이터 마이닝은 보통 다음과 같은 단계를 거쳐 진행되며, 이 전체 흐름을 KDD(지식 발견) 프로세스라고도 부른다.

1. 데이터 선택 및 수집: 여러 출처(데이터베이스, 로그, 센서 등)의 대용량 데이터를 모은다.
2. 전처리 및 통합: 정제되지 않은(raw) 데이터의 잡음(noise)과 불일치를 제거하고, 서로 다른 형식의 데이터를 통합하여 데이터 웨어하우스(Data Warehouse)와 같은 저장소에 저장한다.
3. 변환(Transformation): 마이닝 기법에 적합한 형태(수치화, 정규화 등)로 데이터를 가공한다.
4. 데이터 마이닝(패턴 발견): 통계·기계학습 기법을 적용하여 데이터 속에 숨어 있는 상관관계, 패턴, 추세 등을 발견한다.
5. 해석 및 평가: 발견된 패턴이 실제로 유의미하고 유용한지 평가하여 지식(knowledge)으로 정리한다.
데이터 웨어하우스(Data Warehouse)란?

여러 시스템에 흩어져 있던 데이터를 정제·통합하여 잡음과 불일치를 제거한 뒤, 분석 목적에 맞게 한곳에 저장해 놓은 대규모 데이터 저장소이다. 데이터 마이닝은 대부분 이렇게 잘 정리된 데이터 웨어하우스를 기반으로 수행된다.

[목차로 돌아가기]

3. 연관 규칙 마이닝(Association Rule Mining)

연관 규칙 마이닝은 데이터 마이닝의 대표적인 기법 중 하나로, "기저귀를 사는 고객은 맥주도 함께 산다"처럼 거래(트랜잭션) 데이터에서 항목(item)들 간의 연관성(규칙)을 찾아내는 기법이다. 마트의 장바구니 분석(Market Basket Analysis)이 대표적인 활용 사례이다.

3.0 트랜잭션(Transaction)이란?

트랜잭션(Transaction)이란 한 번의 거래(구매, 이벤트 등)에서 함께 발생한 항목(item)들의 집합을 의미한다. 예를 들어 한 고객이 마트에서 한 번 계산할 때 장바구니에 담은 상품 목록 하나하나가 각각 하나의 트랜잭션이 된다.

거래 번호(Transaction ID)	구매 항목(Items)
T1	빵, 우유, 기저귀
T2	빵, 기저귀, 맥주
T3	우유, 기저귀, 맥주, 계란
T4	빵, 우유, 맥주

연관 규칙 마이닝은 이러한 트랜잭션들의 집합(트랜잭션 데이터베이스)을 대상으로, 어떤 항목들이 서로 자주 함께 등장하는지를 분석하여 "기저귀를 사면 맥주도 함께 산다"와 같은 규칙을 찾아낸다. 위 표에서 "기저귀"는 T1~T3, 즉 4건 중 3건(75%)의 트랜잭션에 등장하며, 이처럼 트랜잭션 전체를 기준으로 각 항목(또는 항목집합)이 얼마나 자주 등장하는지가 이어서 살펴볼 지지도·신뢰도·향상도 계산의 기초가 된다.

3.1 지지도·신뢰도·향상도

연관 규칙 "X → Y"(항목집합 X를 사면 Y도 산다)의 유용성과 신뢰성을 평가하기 위해, 다음 세 가지 지표를 주로 사용한다.

(1) 지지도(Support)

전체 거래 건수 대비, 항목집합 X와 Y를 모두 포함하는 거래 건수의 비율이다. 규칙이 전체 데이터에서 얼마나 자주 나타나는지를 뜻한다. $$ support(X \rightarrow Y) = \frac{X와\ Y를\ 모두\ 포함하는\ 거래\ 수}{전체\ 거래\ 수} $$
(2) 신뢰도(Confidence)

항목집합 X를 포함하는 거래 중에서, Y도 함께 포함하는 거래 건수의 비율이다. 규칙 "X이면 Y이다"가 실제로 얼마나 신뢰할 수 있는지를 뜻한다. $$ confidence(X \rightarrow Y) = \frac{X와\ Y를\ 모두\ 포함하는\ 거래\ 수}{X를\ 포함하는\ 거래\ 수} = \frac{support(X \cup Y)}{support(X)} $$
(3) 향상도(Lift)

X와 Y가 서로 아무 관계 없이(독립적으로) 우연히 함께 등장했을 경우보다, 실제로 얼마나 더 자주 함께 등장하는지를 나타내는 지표이다. $$ lift(X \rightarrow Y) = \frac{confidence(X \rightarrow Y)}{support(Y)} = \frac{support(X \cup Y)}{support(X) \times support(Y)} $$
향상도(Lift) 값의 해석


• lift = 1: X와 Y는 서로 독립적이다 (연관성 없음).
• lift > 1: X와 Y가 우연히 함께 등장하는 것보다 더 자주 함께 등장한다 → 양(+)의 연관성과 유용성이 높음을 의미한다.
• lift < 1: X와 Y가 오히려 서로 배타적인(음의) 관계에 가깝다.
⚠️ 자주 헷갈리는 개념 — 지지도와 신뢰도, 분모를 확인하자



지지도와 신뢰도는 정의가 서로 비슷해 보여 혼동하기 쉽지만, 분모가 다르다는 점에 유의해야 한다.

• 지지도(Support)의 분모 = 전체 거래 수 (X, Y 여부와 무관하게 전체 중에서의 비율)
• 신뢰도(Confidence)의 분모 = X를 포함하는 거래 수 (X가 있다는 조건 하에서 Y가 함께 나올 조건부 비율)

"전체 거래 건수 대비 X와 Y를 모두 포함하는 거래 건수의 비율"은 지지도의 정의이며, "X를 포함하는 거래 중에서 Y도 포함하는 거래 건수의 비율"은 신뢰도의 정의이다. 이 둘을 서로 바꾸어 설명하는 것이 가장 흔한 출제 포인트이므로 주의해야 한다.

3.2 Apriori 알고리즘

Apriori 알고리즘은 연관 규칙을 생성하기 위해 가장 널리 사용되는 대표적인 알고리즘이다. 모든 항목의 조합을 일일이 검사하면 계산량이 기하급수적으로 늘어나기 때문에, Apriori는 다음과 같은 절차로 계산량을 효율적으로 줄인다.

1. 빈발 항목집합(Frequent Itemset) 탐색: 트랜잭션 데이터에서 최소지지도(minimum support) 이상을 만족하는 항목집합들을 단계적으로(1개 항목 → 2개 항목 → 3개 항목 순으로) 찾는다.
2. 가지치기(Pruning): "빈발 항목집합의 부분집합은 반드시 빈발하다"는 성질(Apriori 원리)을 이용해, 빈발하지 않은 항목집합을 포함하는 후보는 미리 제거하여 탐색 범위를 줄인다.
3. 연관 규칙 생성: 최종적으로 찾아낸 빈발 항목집합들로부터, 최소신뢰도(minimum confidence) 이상을 만족하는 연관 규칙들을 생성한다.

즉, Apriori 알고리즘은 먼저 빈발 항목집합(자주 함께 등장하는 항목들의 집합)들을 찾아낸 다음, 이 빈발 항목집합들로부터 연관 규칙을 생성하는 순서로 동작한다.

[목차로 돌아가기]

4. 그 외 데이터 마이닝 기법

• 분류(Classification):
  미리 정의된 범주(클래스)로 데이터를 분류하는 규칙을 학습한다. (예: 의사결정나무, 로지스틱 회귀)
• 군집화(Clustering):
  정답(레이블) 없이 유사한 데이터끼리 그룹으로 묶는다. (예: K-평균 군집화)
• 이상치 탐지(Anomaly/Outlier Detection):
  일반적인 패턴에서 크게 벗어난 데이터를 찾아낸다. (예: 신용카드 이상거래 탐지)
• 예측(Prediction):
  과거 데이터의 패턴을 바탕으로 미래의 값을 추정한다. (예: 회귀 분석)

[목차로 돌아가기]

5. 데이터 마이닝 vs 머신러닝

데이터 마이닝과 머신러닝은 밀접하게 연관되어 있지만, 강조하는 목적에는 차이가 있다.

구분	데이터 마이닝(Data Mining)	머신러닝(Machine Learning)
주요 목적	데이터 속 숨겨진 상관관계·패턴 발견	학습한 패턴(모델)으로 새로운 데이터 예측
강조점	탐색적(Exploratory), 사람의 해석 중시	예측 성능(Predictive Accuracy) 중시
대표 기법	연관 규칙 마이닝, 군집화, 이상치 탐지	회귀, 분류, 신경망 등

정리

데이터 마이닝은 대용량 데이터에서 사람이 미처 알지 못했던 상관관계·패턴을 발견하는 데 초점을 두는 반면, 머신러닝은 발견된 패턴(모델)을 이용해 새로운 데이터에 대한 예측을 수행하는 데 초점을 둔다. 실무에서는 두 분야의 기법이 서로 겹쳐서 사용되는 경우가 많다.

[목차로 돌아가기]

6. 확인 문제

(1) 데이터 마이닝의 개념

빅데이터 분석을 위한 데이터 마이닝에 대한 설명으로 옳지 않은 것은?

1. 정제되지 않은 대용량의 데이터로부터 의미 있는 상관관계, 패턴, 추세 등을 발견한다.
2. 트랜잭션에서 항목 간의 불순도를 표현하기 위해 최소지지도와 최소신뢰도를 사용한다.
3. 저장된 데이터를 정제·통합하여 잡음과 불일치를 제거하고 데이터 웨어하우스에 저장한다.
4. 대규모 데이터에서 암묵적인, 이전에 알려지지 않은, 잠재적으로 유용할 것 같은 정보나 지식을 추출하는 체계적인 과정이다.
정답 · 해설 보기

정답: ②

• ① (옳음)
  대용량의 정제되지 않은 데이터에서 의미 있는 패턴을 발견한다는 데이터 마이닝의 일반적 목적으로, 옳은 설명이다.
• ② (틀림)
  최소지지도(minimum support)와 최소신뢰도(minimum confidence)는 트랜잭션(거래) 데이터에서 항목들이 함께 등장하는 빈도와 연관 규칙의 신뢰성을 평가하기 위해 연관 규칙 마이닝(association rule mining)에서 사용하는 지표이다. 결정 트리 등에서 데이터가 여러 부류로 얼마나 섞여 있는지를 나타내는 "불순도(impurity)"와는 서로 다른 개념이므로 ②의 설명은 옳지 않다.
• ③ (옳음)
  데이터 웨어하우스에 데이터를 정제·통합해 저장하는 과정에 대한 설명으로, 옳은 내용이다.
• ④ (옳음)
  데이터 마이닝의 표준적인 정의(KDD, Knowledge Discovery in Databases)로, 옳은 설명이다.

따라서 옳지 않은 것은 ②이다.

(2) 연관 규칙 마이닝

연관 규칙 마이닝(association rule mining)에 대한 설명으로 옳은 것만을 모두 고르면?

ㄱ. 향상도가 1.0보다 크면, 항목집합 사이의 연관성 정도와 유용성이 높다는 것을 의미한다.
ㄴ. 신뢰도는 전체 거래 건수 대비 항목집합 X와 Y를 모두 포함하는 거래 건수의 비율이다.
ㄷ. 지지도는 항목집합 X를 포함하는 거래 중에서 Y도 포함하는 거래 건수의 비율이다.
ㄹ. 트랜잭션에서 어프라이어리(Apriori) 알고리즘으로 빈발 항목집합들을 찾은 다음, 이들로부터 연관 규칙을 만든다.

1. ㄱ
2. ㄱ, ㄹ
3. ㄴ, ㄷ
4. ㄴ, ㄷ, ㄹ
정답 · 해설 보기

정답: ② ㄱ, ㄹ

• ㄱ. (옳음)
  향상도(lift)가 1.0보다 크다는 것은 두 항목집합이 우연히 함께 등장하는 것보다 더 자주 함께 등장한다는 뜻으로, 연관성과 유용성이 높다는 것을 의미하므로 옳다.
• ㄴ. (틀림)
  "전체 거래 건수 대비 항목집합 X와 Y를 모두 포함하는 거래 건수의 비율"은 신뢰도(confidence)가 아니라 지지도(support)의 정의이다. 신뢰도는 X를 포함하는 거래 중에서 Y도 함께 포함하는 거래의 비율(=지지도(X∪Y)/지지도(X))을 의미하므로, ㄴ은 두 지표의 정의가 뒤바뀐 틀린 설명이다.
• ㄷ. (틀림)
  "항목집합 X를 포함하는 거래 중에서 Y도 포함하는 거래 건수의 비율"은 지지도가 아니라 신뢰도(confidence)의 정의이다. 역시 두 지표의 정의가 서로 바뀌어 서술된 틀린 설명이다.
• ㄹ. (옳음)
  Apriori 알고리즘은 먼저 빈발 항목집합(자주 함께 등장하는 항목들의 집합)들을 찾아낸 다음, 이 빈발 항목집합들로부터 연관 규칙을 생성하는 순서로 동작하므로 옳다.

따라서 옳은 것만 모은 ㄱ, ㄹ이 정답이다.