비지도와 자가지도 이론 및 최근 연구 동향

비지도학습(unsupervised learning)

데이터에 대한 레이블이 없는 상태에서 패턴이나 구조를 발견하는 기계 학습의 한 분야. 이론적으로 비지도학습은 데이터의 내재된 구조를 이해하고, 데이터 간의 관계를 파악하는 데 중점을 둔다.

주요 비지도학습 알고리즘

1. 클러스터링 알고리즘

• K-평균 클러스터링: 데이터를 K개의 클러스터로 나누는 알고리즘으로, 각 클러스터의 중심을 반복적으로 업데이트하여 최적의 클러스터 탐색
• 계층적 클러스터링: 데이터 포인트 간의 유사성을 기반으로 계층적으로 클러스터를 형성하는 방법. 덴드로그램을 통해 클러스터의 구조 시각화.

2. 차원 축소 알고리즘

• 주성분 분석(PCA): 고차원 데이터를 저차원으로 변환하여 데이터의 분산을 최대화하는 방법입니다. 데이터의 주요 특징을 유지하면서 차원을 줄이는 데 유용합니다.
• t-SNE: 고차원 데이터를 저차원으로 시각화하는 데 사용되는 비선형 차원 축소 기법으로, 데이터의 구조를 시각적으로 표현하는 데 효과적입니다.

3. 자기 지도 학습

자기 지도 학습(self-supervised learning): 데이터의 일부를 사용하여 나머지를 예측하는 방식으로, 비지도학습의 한 형태. 예를 들어, 이미지의 일부를 가리고 나머지를 예측하는 방식.



여기서 '자가 지도 학습'에 대해 자세히 얘기해보겠다.

자가 지도 학습이란?

자기 지도 학습(self-supervised learning)은 데이터의 일부를 사용하여 나머지를 예측하는 방식으로, 비지도 학습의 한 형태이다. 이 방법은 레이블이 없는 데이터에서 유용한 표현을 학습할 수 있도록 도와준다. 데이터의 구조를 이해하고, 다양한 다운스트림 작업(예: 분류, 회귀 등)에 활용할 수 있는 표현을 학습하는 것이 주목표이다.

자기 지도 학습의 작동 원리

• 프리텍스트 작업: 자기 지도 학습에서는 주어진 데이터에서 프리텍스트 작업(pretext task)을 설정하여 모델이 학습할 수 있도록 한다. 예를 들어, 이미지의 일부를 가리고 나머지를 예측하거나, 문장의 일부 단어를 마스킹하고 이를 예측하는 방식이다.
• 표현 학습: 모델은 이러한 프리텍스트 작업을 통해 데이터의 내재된 구조를 학습하고, 이를 기반으로 유용한 표현을 생성한다. 이 표현은 이후 다양한 작업에 활용될 수 있다.

주요 알고리즘 및 기법

1. BERT (Bidirectional Encoder Representations from Transformers)

BERT는 문맥을 이해하기 위해 양방향으로 텍스트를 처리하는 모델로, 마스킹된 단어를 예측하는 프리텍스트 작업을 사용한다. 이를 통해 자연어 처리에서 뛰어난 성능을 발휘한다.

2. DeBERTa

DeBERTa는 BERT의 발전된 형태로, 대규모 텍스트 코퍼스를 사전 학습하여 다양한 자연어 이해 작업에 적용할 수 있는 보편적인 언어 표현을 학습한다.

3. SimCLR

SimCLR은 이미지 데이터에서 자기 지도 학습을 수행하는 방법으로, 데이터 증강을 통해 다양한 변형을 생성하고, 이들 간의 유사성을 학습한다.

비지도 학습의 최근 개발 동향

새로운 방법론의 제안 - 이상 감지 및 소량 데이터 처리

출처: 패스트 캠퍼스

최근 연구에서는 샘플 수가 극히 적은 경우에도 효과적으로 작동할 수 있는 비지도 학습 방법론이 제안되고 있다. 이는 특히 이상 감지와 같은 분야에서 큰 비중을 차지하고 있다.

이상 감지 및 소량 데이터 처리에 대한 최근 연구는 다양한 알고리즘과 기술을 통해 데이터의 이상 징후를 효과적으로 탐지하고, 소량의 데이터에서도 유의미한 결과를 도출하는 데 중점을 두고 있다.

이상 탐지 알고리즘

PatchCore

출처: https://www.lgresearch.ai/blog/view?seq=401

LG AI 연구원에서 개발한 PatchCore는 이미지 기반의 이상 탐지 알고리즘으로, 컴퓨터 비전 분야에서 주목받고 있다. 이 알고리즘은 패치 단위로 이미지를 분석하여 이상 징후를 효과적으로 탐지한다. 특히, 소량의 데이터에서도 높은 성능을 발휘할 수 있도록 설계되었다.

예측 유지보수와 이상 탐지

최근 연구에서는 예측 유지보수 기술의 일환으로 이상 탐지의 중요성이 강조되고 있다. 이 기술은 기계의 상태를 모니터링하고, 고장이 발생하기 전에 이상 징후를 탐지하여 유지보수를 수행하는 데 도움을 준다. 예를 들어, 항공기 상태 모니터링에 이상 탐지 기술이 활용되고 있다.

소량 데이터 처리 기술

소량 데이터에서의 이상 감지: 소량의 데이터로도 효과적으로 이상을 탐지할 수 있는 방법론이 연구되고 있다. 이는 특히 데이터 수집이 어려운 환경에서 유용하며, 기존의 대량 데이터 기반 모델에 비해 더 적은 자원으로도 유의미한 결과를 도출할 수 있다.