11장 빅데이터 분석 및 머신러닝 적용

Chapter 11. Big Data Analysis and Machine Learning for Smart Infrastructure
| 스마트 인프라의 계측 개론 | 건설환경공학과 대학원

1. 개요

장기 SHM 시스템은 수십~수백 개의 센서로부터 연속적인 데이터를 생성한다. 예를 들어, 100개 채널을 1 kHz로 수집하면 하루 약 8.64 GB의 원시 데이터가 발생한다. 이를 단순 저장·육안 검토로 활용하는 것은 불가능하며, 빅데이터 분석과 머신러닝(ML) 기술을 통해 자동화된 패턴 인식, 예측, 의사결정 지원이 필요하다.

SHM(Structural Health Monitoring)이란 교량·터널·댐 같은 구조물에 센서를 부착해 건강 상태를 실시간으로 모니터링하는 시스템이다. 1 kHz 수집이란 1초에 1,000번 데이터를 기록하는 것으로, 100개 채널이면 1초에 100,000개의 숫자가 쌓인다. 하루치 데이터가 8.64 GB에 달하므로 사람이 직접 확인하는 것은 사실상 불가능하고, 이를 컴퓨터가 자동으로 분석(ML)하는 이유다.

머신러닝(ML) 빅데이터 SHM

스마트 인프라에서 ML의 주요 적용 영역은 다음과 같다.

이상 탐지(Anomaly Detection): 정상 상태를 벗어난 이상 거동 자동 감지
손상 분류(Damage Classification): 손상 유형 자동 분류
잔존 수명 예측(RUL Prediction): 구조물 수명 예측
하중 추정(Load Estimation): 응답으로부터 작용 하중 역추산

2. 계측 데이터 전처리

전처리(Preprocessing)란 ML 모델에 데이터를 투입하기 전, 데이터를 깨끗하고 일관성 있게 정리하는 과정이다. 요리에 비유하면 재료 손질 단계로, 이 과정이 부실하면 아무리 정교한 알고리즘을 사용해도 좋은 결과를 얻기 어렵다. 일반적으로 ML 프로젝트 전체 시간의 60~80%가 전처리에 소요된다.

2.1 결측값 처리

센서가 일시적으로 꺼지거나 통신 오류가 생기면 데이터의 일부 구간이 비게 된다(결측값, Missing Value). 빈 칸을 그대로 두면 ML 모델이 오작동하므로, 합리적인 값으로 채우거나 해당 구간을 처리해야 한다.

보간법

선형 보간(Linear Interpolation): 짧은 결측 구간에 적합. 결측 구간의 앞뒤 값을 직선으로 이어 중간값을 추정한다. 예) 10시: 5.2 mm, 11시: 측정 없음, 12시: 5.8 mm → 11시를 5.5 mm로 채움.
이전값 유지(Forward Fill): 정적 계측 데이터에 적합. 결측 직전의 마지막 측정값을 그대로 복사한다. 값이 거의 변하지 않는 온도·침하 센서에 주로 사용한다.
모델 기반 보간(MICE, KNN Imputation): 다변량 결측 처리. 다른 채널의 측정값을 참고해 통계적으로 결측값을 예측하므로, 여러 채널이 동시에 빠진 경우에 효과적이다.

2.2 이상치(Outlier) 처리

이상치(Outlier)는 측정 오류나 순간적인 전기 노이즈 등으로 인해 다른 값들과 동떨어진 데이터다. 예를 들어, 평소 ±2 mm 범위에서 움직이는 변위 센서가 갑자기 +500 mm를 기록했다면 센서 오류일 가능성이 높다. 이상치를 제거하지 않으면 모델의 학습이 왜곡된다.

Z-score: \( |Z| = \left|\frac{x - \mu}{\sigma}\right| > 3 \) 이면 이상치 의심
데이터 값(x)이 전체 평균(μ)에서 표준편차(σ)의 3배 이상 벗어난 경우를 이상치로 판정한다. 정규분포에서 이 범위 밖에 놓일 확률은 약 0.3%에 불과하다.
IQR 방법: \( x < Q_1 - 1.5 \cdot IQR \) 또는 \( x > Q_3 + 1.5 \cdot IQR \)
IQR(사분위 범위) = Q₃ - Q₁, 즉 데이터의 중간 50% 구간의 폭이다. 이 폭의 1.5배를 벗어나는 값을 이상치로 본다. Z-score와 달리 정규분포를 가정하지 않아 비대칭 데이터에도 강건하다.
Isolation Forest: 고차원 데이터에 효과적인 비지도 이상치 탐지. 상세 원리는 3.2절 참조.

2.3 특성 추출 (Feature Extraction)

원시 시계열 데이터에서 ML 모델 입력으로 사용할 특성을 추출한다.

원시 신호는 수십만 개의 숫자이므로 그대로 ML 모델에 넣으면 계산량이 폭발한다. 특성 추출은 이를 "평균 진폭은 얼마다", "주된 진동수는 몇 Hz다" 처럼 의미 있는 소수의 숫자로 요약하는 과정이다. 좋은 특성을 뽑을수록 모델 성능이 올라간다.

영역	특성 예시	의미·활용
시간 영역	평균, 분산, RMS, 첨도(Kurtosis), 왜도(Skewness), 피크-대-피크	신호의 크기·변동성·충격성을 요약. 첨도가 크면 순간적인 충격이 많다는 의미 → 균열·충격 탐지에 유용
주파수 영역	고유 진동수, 피크 주파수, 스펙트럼 밴드 에너지, PSD 면적	FFT로 신호를 주파수 성분으로 분해. 구조물이 손상되면 고유 진동수가 낮아지는 특성 활용
시간-주파수	웨이블릿 에너지, STFT 계수, Hilbert-Huang 스펙트럼	시간에 따라 주파수 성분이 변하는 비정상(non-stationary) 신호 분석에 적합
통계적	이동 평균, 이동 표준편차, 자기 상관 계수	시간 흐름에 따른 추세나 주기성 파악. 장기 모니터링에서 열화(degradation) 추적에 사용

2.4 데이터 정규화

센서마다 측정 단위가 달라 변위는 mm 단위로 수십, 온도는 °C로 수백 단위일 수 있다. 그대로 사용하면 ML 모델이 숫자가 큰 변수에 편향되어 학습된다. 정규화(Normalization)는 모든 변수를 동등한 스케일로 맞춰 공정하게 비교할 수 있게 한다.

정규화 표준화

Min-Max 정규화: 값을 0과 1 사이로 압축. 데이터의 최솟값·최댓값을 알 때 사용. \[ x' = \frac{x - x_{min}}{x_{max} - x_{min}} \in [0, 1] \] Z-score 표준화: 평균을 0, 표준편차를 1로 변환. 이상치에 덜 민감하며 정규분포 가정이 없어도 무방. \[ x' = \frac{x - \mu}{\sigma} \]

3. 이상 탐지 알고리즘

이상 탐지(Anomaly Detection)는 "정상이 아닌 데이터"를 자동으로 찾아내는 기술이다. 구조물 손상 데이터는 현실에서 극히 드물기 때문에(불균형 데이터), 정상 데이터만으로 학습한 뒤 "다르게 보이는" 데이터를 이상으로 분류하는 비지도 학습 방식을 주로 사용한다.

이상 탐지 비지도 학습

3.1 One-Class SVM (OCSVM)

정상 상태 데이터만으로 학습하여 데이터 분포의 경계를 결정하는 비지도 학습 방법이다. 손상 데이터 없이도 이상 탐지가 가능하다.

SVM(서포트 벡터 머신)은 두 클래스를 구분하는 경계선을 긋는 알고리즘이다. One-Class SVM은 이를 변형하여, 정상 데이터만 모아서 "정상의 영역"을 하나의 경계로 감싼다. 이후 들어오는 새 데이터가 그 경계 밖에 있으면 이상으로 판정한다. 커널(Kernel) 함수를 이용하면 복잡한 비선형 경계도 표현할 수 있다.

SVM

3.2 Isolation Forest

이상치는 정상 데이터보다 더 적은 분할(split)로 고립된다는 원리를 이용한다. 고차원 데이터에 효율적이다.

군중 속에서 혼자 떨어진 사람을 찾는 것과 같은 원리다. 데이터를 무작위로 나누는 시도를 반복할 때, 이상치는 금방 다른 데이터들과 분리(고립)되지만 정상 데이터는 비슷한 데이터가 많아 분리하는 데 많은 분할이 필요하다. 즉 더 빨리 고립될수록 이상치일 가능성이 높다. 변수 수가 많거나 데이터가 많아도 빠르게 동작한다.

이상 점수 (Anomaly Score):
\[ s(x, n) = 2^{-\frac{E[h(x)]}{c(n)}} \]
여기서 \( E[h(x)] \): 트리 내 경로 길이 평균, \( c(n) \): 정규화 상수
s ≈ 1: 이상치, s ≈ 0.5: 정상

경로 길이 E[h(x)]가 짧을수록 고립이 빠른 것이므로 s가 1에 가깝다(이상치). c(n)은 n개 샘플에 대한 평균 경로 길이 기댓값으로 점수를 0~1 범위로 정규화한다.

3.3 Autoencoder 기반 이상 탐지

정상 데이터를 압축(인코딩)했다가 복원(디코딩)하도록 학습된 신경망이다. 정상 데이터는 복원 오차가 작고, 이상 데이터는 복원 오차가 커지는 원리를 이용한다.

사진을 낮은 용량으로 압축했다가 다시 복원하는 것을 상상해 보자. 자주 보던 유형의 사진은 잘 복원되지만, 처음 보는 낯선 이미지는 복원이 어색해진다. Autoencoder는 정상 신호만으로 "압축→복원"을 학습한다. 이후 이상 신호가 들어오면 학습 경험이 없어 복원이 잘 안 되고 원본과의 차이(복원 오차, Reconstruction Error)가 커진다. 이 오차로 이상을 판정한다.

오토인코더 인공 신경망

재구성 오차 (Reconstruction Error):
\[ RE = \frac{1}{n}\sum_{i=1}^{n}(x_i - \hat{x}_i)^2 \]
RE > threshold: 이상으로 판정

\(x_i\): 원본 신호 값, \(\hat{x}_i\): Autoencoder가 복원한 값. 제곱 오차의 평균(MSE)이므로 값이 클수록 복원이 불량하다. threshold는 정상 데이터의 RE 분포에서 상위 1~5% 수준으로 설정한다.

4. 회귀 모델 (Regression)

회귀(Regression)는 숫자를 예측하는 ML 문제다. "바람이 초속 20 m/s일 때 교량 중앙부 처짐은 몇 mm인가?"처럼 연속적인 출력값을 예측할 때 사용한다. 분류(범주 예측)와 달리 회귀는 예측값의 크기 자체가 의미를 갖는다.

회귀분석 선형 회귀 과적합(Overfitting)

4.1 응답 예측

하중·환경 조건(입력)으로부터 구조물 응답(출력)을 예측하거나, 응답으로부터 하중을 역추산하는 데 회귀 모델을 적용한다.

다중 선형 회귀 (MLR): 선형 관계 가정, 해석 용이, 빠른 학습. 입력 변수와 출력 사이에 직선 관계가 성립한다고 가정한다. 계수의 의미를 해석하기 쉬워 학술·보고 목적에 적합하다.
서포트 벡터 회귀 (SVR): 비선형 관계 처리 가능, 소규모 데이터에 적합. 허용 오차(ε) 범위 내 예측을 목표로 하며 커널 함수로 비선형 패턴을 처리한다.
랜덤 포레스트 (RF): 앙상블, 과적합 저항성 높음. 수백 개의 결정 트리를 만들어 예측값을 평균 낸다. 어떤 변수가 예측에 중요한지(Feature Importance)도 함께 제공한다.
그래디언트 부스팅 (XGBoost, LightGBM): 높은 예측 성능. 약한 모델을 순차적으로 강화하여 오차를 줄인다. 현재 정형 데이터 예측 대회에서 가장 높은 성능을 보이는 계열의 알고리즘이다.

4.2 모델 평가 지표

예측 모델의 성능을 평가할 때 "얼마나 틀렸는가"를 다양한 방식으로 측정한다. 목적에 따라 적절한 지표를 선택해야 한다.

RMSE R² (결정계수)

\[ RMSE = \sqrt{\frac{1}{n}\sum_{i=1}^{n}(y_i - \hat{y}_i)^2} \]

예측 오차를 제곱하여 평균한 뒤 제곱근을 취한 값. 단위가 원래 데이터와 같아(mm, kN 등) 직관적이다. 큰 오차에 더 민감하므로 이상치 영향을 크게 받는다.

\[ MAE = \frac{1}{n}\sum_{i=1}^{n}|y_i - \hat{y}_i| \]

오차의 절댓값 평균. 이상치에 덜 민감하다. RMSE와 MAE를 함께 보고 차이가 크면 이상치가 많다는 신호다.

\[ R^2 = 1 - \frac{\sum(y_i - \hat{y}_i)^2}{\sum(y_i - \bar{y})^2} \]

모델이 데이터 변동의 몇 %를 설명하는지 나타낸다. 1에 가까울수록 좋고, 0이면 평균을 예측하는 것과 같은 수준, 음수면 평균보다도 나쁜 예측이다.

5. 분류 모델 (Classification)

분류(Classification)는 데이터를 미리 정해진 카테고리 중 하나로 분류하는 ML 문제다. "이 진동 패턴은 균열인가, 부식인가, 정상인가?" 처럼 결과가 숫자가 아닌 범주(레이블)일 때 사용한다.

분류 알고리즘 지도 학습

5.1 손상 유형 분류

AE 신호, 진동 특성, 균열 패턴 등을 특성으로 하여 손상 유형(균열, 부식, 박리 등)을 자동 분류한다.

k-최근접 이웃 (k-NN): 단순, 해석 용이, 고차원에서 성능 저하. 새 데이터가 들어오면 가장 가까운 k개의 기존 데이터 레이블을 다수결로 결정한다. 별도의 학습 과정 없이 데이터만 저장하므로 구현이 간단하나, 데이터가 많아질수록 예측 속도가 느려진다.
k-NN
결정 트리 (Decision Tree): 해석 가능성 최고, 과적합 취약. "진동 주파수 > 10 Hz?" 처럼 예/아니오 질문을 나무 형태로 분기한다. 결과를 그림으로 시각화해 비전문가도 이해할 수 있지만, 학습 데이터에 지나치게 맞춰지는 과적합이 발생하기 쉽다.
결정 트리
랜덤 포레스트: 앙상블로 과적합 개선, 특성 중요도 제공. 수십~수백 개의 결정 트리를 만들어 다수결로 최종 분류한다. 결정 트리의 과적합 문제를 크게 완화하며, 어떤 특성이 분류에 중요한지도 알 수 있다.
랜덤 포레스트
SVM: 소규모 고차원 데이터에 강점. 클래스 간 마진(여백)을 최대로 하는 경계 초평면을 찾는다. 레이블 데이터가 수십~수백 개로 적고 특성(변수) 수가 많을 때 특히 효과적이다.
SVM

5.2 분류 성능 평가

단순 정확도(Accuracy, 전체 중 맞힌 비율)만으로는 불충분하다. 손상 사례가 100건 중 1건이라면 항상 "정상"이라고만 예측해도 정확도가 99%에 달한다. 이처럼 클래스 불균형이 있을 때는 Precision과 Recall을 함께 살펴야 한다.

Precision(정밀도): 내가 "손상"이라 한 것 중 실제로 손상인 비율 → 오경보 줄이기 목표일 때 중요
Recall(재현율): 실제 손상 중 내가 올바르게 잡아낸 비율 → 손상을 하나도 놓치지 않으려 할 때 중요

F1 Score AUC-ROC

\[ Precision = \frac{TP}{TP + FP}, \quad Recall = \frac{TP}{TP + FN} \]

TP(True Positive): 손상을 손상으로 맞힘 / FP(False Positive): 정상을 손상으로 오경보 / FN(False Negative): 손상을 정상으로 놓침

\[ F_1 = 2 \cdot \frac{Precision \times Recall}{Precision + Recall} \]

Precision과 Recall의 조화 평균. 둘 중 하나만 높고 나머지가 낮으면 F1도 낮아진다. 불균형 데이터셋에서 가장 신뢰할 수 있는 단일 지표다.

불균형 데이터셋(손상 사례 < 정상 사례)에서는 F1-score와 AUC-ROC를 주요 지표로 사용한다.

6. 딥러닝 기반 예측 (CNN / LSTM)

딥러닝(Deep Learning)은 여러 층(layer)으로 쌓인 인공 신경망을 이용해 데이터에서 스스로 특성을 학습하는 기술이다. 사람이 직접 특성을 설계하지 않아도 되지만, 대신 학습에 필요한 데이터 양이 많고 계산 비용이 크다.

딥러닝 인공 신경망

6.1 합성곱 신경망 (CNN)

1D-CNN은 시계열 신호에서 지역적 특성(local pattern)을 자동 추출하는 데 탁월하다. AE 신호, 진동 신호의 손상 분류에 효과적이다.

CNN은 원래 이미지 인식을 위해 개발되었다. 이미지에서 "모서리", "원" 같은 패턴을 찾듯이, 1D-CNN은 시계열 신호에서 "충격 파형", "주기적 진동" 같은 국부 패턴을 자동으로 감지한다. 작은 필터(커널)가 신호 위를 슬라이딩하며 패턴을 탐색하므로, 해당 패턴이 신호 어디에 나타나도 감지할 수 있다.

Conv1D: 신호에서 국부 패턴 추출 (필터 수 = 추출할 패턴의 종류)
MaxPooling1D: 중요한 특성만 남기고 데이터 크기를 줄임
GlobalAveragePooling1D: 전체 신호를 고정 크기 벡터로 압축
Dense + Softmax: 압축된 특성으로 손상 유형 최종 분류

CNN 활성화 함수(ReLU)

import tensorflow as tf

model = tf.keras.Sequential([
    # 64개 필터, 커널 크기 3으로 신호의 지역 패턴 감지
    tf.keras.layers.Conv1D(64, kernel_size=3, activation='relu', input_shape=(window, n_features)),
    # 중요한 특성만 남기고 시퀀스 길이를 절반으로 축소
    tf.keras.layers.MaxPooling1D(pool_size=2),
    # 더 복잡하고 추상적인 패턴 추출
    tf.keras.layers.Conv1D(128, kernel_size=3, activation='relu'),
    # 전체 신호를 고정 크기 벡터로 압축
    tf.keras.layers.GlobalAveragePooling1D(),
    # 분류 결정을 위한 완전 연결층
    tf.keras.layers.Dense(64, activation='relu'),
    # n_classes개의 손상 유형 확률 출력 (합계 = 1)
    tf.keras.layers.Dense(n_classes, activation='softmax')
])

6.2 장단기 메모리 (LSTM)

LSTM은 장기 의존성(long-term dependency)을 학습할 수 있는 순환 신경망으로, 시계열 예측(예: 미래 구조물 응답 예측, 잔존 수명 예측)에 적합하다.

일반 신경망은 이전 시점의 정보를 기억하지 못한다. LSTM은 세 개의 "문(gate)"을 통해 어떤 정보를 기억하고, 어떤 것은 잊을지 스스로 학습한다.

Forget gate (f): 이전 기억 중 불필요한 것을 지운다 (0: 완전히 잊음, 1: 완전히 유지)
Input gate (i): 현재 입력 중 기억에 추가할 정보를 선택한다
Output gate (o): 현재 기억 중 외부로 출력할 정보를 결정한다

예를 들어 "3시간 전 갑작스러운 기온 하강"이 지금 구조물 거동에 영향을 준다면, LSTM이 그 패턴을 장기 기억으로 유지한다.

LSTM 순환 신경망(RNN) 시그모이드 함수

LSTM 게이트 방정식:
\[ \mathbf{f}_t = \sigma(\mathbf{W}_f \cdot [\mathbf{h}_{t-1}, \mathbf{x}_t] + \mathbf{b}_f) \quad \text{(forget gate)} \] \[ \mathbf{i}_t = \sigma(\mathbf{W}_i \cdot [\mathbf{h}_{t-1}, \mathbf{x}_t] + \mathbf{b}_i) \quad \text{(input gate)} \] \[ \mathbf{o}_t = \sigma(\mathbf{W}_o \cdot [\mathbf{h}_{t-1}, \mathbf{x}_t] + \mathbf{b}_o) \quad \text{(output gate)} \]

σ: 시그모이드 함수 (0~1 출력으로 "문"의 열림 정도를 표현) / W: 학습되는 가중치 행렬 / b: 편향 벡터 / h_{t-1}: 이전 시점의 출력 / x_t: 현재 시점의 입력

6.3 전이 학습 (Transfer Learning)

다른 구조물이나 도메인에서 사전 학습된 모델을 새로운 구조물의 계측 데이터에 미세 조정(fine-tuning)하는 기법이다. 레이블 데이터가 부족한 계측 환경에서 특히 유용하다.

영어를 유창하게 구사하는 사람이 스페인어를 배울 때 처음부터 배우는 사람보다 훨씬 빠르다. 이와 같이, 다른 교량에서 학습된 딥러닝 모델은 "진동 신호를 어떻게 해석하는지"를 이미 알고 있으므로, 새로운 교량의 소량 데이터로 미세 조정(fine-tuning)만 해도 좋은 성능을 낼 수 있다. 레이블 데이터(손상 여부가 표기된 데이터)를 대량 수집하기 어려운 계측 현장에서 매우 실용적인 접근법이다.

전이 학습

7. 실전 워크플로우

스마트 인프라 계측 데이터 기반 ML 워크플로우는 다음과 같다.

단계	작업	주요 내용	초보자 팁
1	데이터 수집	DAQ/WSN으로 다채널 센서 데이터 수집, 타임스탬프 기록	샘플링 주파수, 채널 수, 동기화 방식을 사전에 확정해야 한다. 나중에 변경하면 전체 데이터 재수집이 필요할 수 있다.
2	전처리	결측값 보간, 이상치 제거, 신호 필터링, 정규화	전체 프로젝트 시간의 60~80%가 이 단계에 소요된다. 서두르지 말고 데이터를 충분히 탐색(EDA)한 후 처리 방법을 결정한다.
3	특성 추출	시간/주파수 영역 특성 추출, 차원 축소(PCA, t-SNE)	도메인 지식(구조공학 지식)을 활용한 특성이 ML이 자동으로 찾은 특성보다 효과적인 경우가 많다.
4	모델 학습	지도/비지도 ML 또는 딥러닝 모델 학습, 교차 검증	복잡한 모델부터 시작하지 말고, 단순한 기준 모델(Baseline)을 먼저 만들어 성능 하한선을 파악한다.
5	평가	RMSE, F1, AUC-ROC 등 성능 지표 산출	학습에 사용하지 않은 테스트 데이터로만 최종 평가해야 한다. 같은 데이터로 평가하면 과적합을 놓칠 수 있다.
6	배포·모니터링	엣지 또는 클라우드 배포, 모델 드리프트 감시	배포 후에도 모델 성능을 주기적으로 재확인해야 한다. 구조물 상태나 환경 조건이 변하면 모델 성능이 떨어지는 "모델 드리프트"가 발생한다.

8. 정리

계측 데이터 전처리(결측값, 이상치, 정규화)는 ML 성능의 기반이다.
이상 탐지는 정상 데이터만으로 학습하는 비지도 학습(OCSVM, Isolation Forest, Autoencoder)이 핵심이다.
회귀 모델로 구조 응답 예측, 분류 모델로 손상 유형 구분에 활용한다.
1D-CNN은 시계열 신호의 국부 패턴 추출에, LSTM은 장기 시계열 예측에 강점이 있다.
레이블 데이터 부족 문제는 전이 학습과 데이터 증강으로 부분적으로 해결할 수 있다.
모든 ML 워크플로우는 데이터 수집부터 모델 배포까지 체계적인 파이프라인 구성이 필요하다.