전처리
PCB특징 추출 및 transform test image
SURF(이걸로)
- Scale Invariant Feature Transform (SIFT) 알고리즘의 개선된 버전으로, 계산 복잡성이 적고 SIFT에 비해 빠르게 실행
- SURF와 SIFT로 선택된 특징점은 모두 안정적이며 회전, 스케일, 밝기에 불변
SIFT
- SIFT는 스케일과 회전 변환에 있어서 더 나은 매칭 효과를 가지지만, 밝기 변화에 있어서는 SURF가 더 나은 매칭 효과를 가지므로, 실제 응용 시나리오를 고려하여 PCB 등록에는 SURF가 선택
⇒ 템플릿과 테스트 이미지의 SURF 특징점을 얻은 후,
매칭 포인트를 통해 2차원 기하학적 변환을 추정하고,
테스트 이미지를 기하학적 변환으로 회복
이진화
: 바이너리 맵을 사용하면 PCB의 윤곽과 모양을 흑백으로만 표현하여 비교하기가 더 편리합니다.
: 그레이스케일 이미지를 이진 이미지로 변환하여 결함의 위치를 얻는 것
이진화 방법
적응적 임계값 분할 알고리즘
: 전역 값으로 임계값을 사용하는 대신 이미지의 작은 영역에 대해 임계값을 계산합니다. PCB 이미지는 다양한 영역에서 다른 조명 조건을 가질 수 있기 때문
결함의 위치 찾기
: 결함의 위치를 찾기 위해 먼저 템플릿과 테스트 이미지의 XOR 이진 이미지를 얻습니다.
dst(I) = src1(I) ⊕ src2(I)
여기서 dst(I)는 결과 이진 이미지이고, src1(I), src2(I)는 각각 템플릿과 테스트의 이진 맵입니다. XOR 연산은 템플릿과 테스트 이미지의 해당 위치의 픽셀 값이 동일한 경우, 결과 이미지에서 해당 위치의 픽셀 값이 1이 되며, 그렇지 않은 경우에는 0이 됩니다.
가짜 결함 걸러내기
: 많은 노이즈와 원치 않는 가짜 결함이 포함될 수 있습니다. 실제 결함을 얻기 위해 중앙값 필터링과 수학적 형태학 처리를 사용합니다.
중앙값 필터링
: 이미지의 작은 노이즈 점을 제거하는 비선형 필터링 기술입니다.
: 기본 아이디어는 픽셀 점 (x, y)의 이웃 픽셀 값들을 정렬한 후 중간 값으로 원래 픽셀의 값을 대체하는 것
수학적 형태학 처리
: 기하학적 구조의 분석과 처리를 위한 이론과 기법으로, 기본 형태학 연산자로는 침식, 팽창, 개방, 폐쇄가 있음.
침식 (Erosion):
A ⨁ B = {z | Bz ⊆ A}
팽창 (Dilation):
A ⊕ B = z | (B)z ∩ A 6= ∅
개방 (Opening):
A ◦ B = (A ⨁ B) ⊕ B
폐쇄 (Closing):
A • B = (A ⊕ B) ⨁ B
본 논문에서는 XOR 연산의 결과 이미지를 먼저 5×5 커널로 필터링하여 작은 독립 점을 제거하고, 15×15 직사각형 요소로 클로징 연산을 수행하여 결함의 지역 부분을 연결하고 강화
→ 3×3 직사각형 요소로 개방 연산을 수행.
→ 이진 이미지에서 주요 객체가 강조되고 연속적으로 클로징과 개방 연산을 수행함으로써 결함의 위치를 찾습니다.
너무 작은 점을 제거하기 위해 면적 임계값을 설정하고, 인접한 중복 후보 영역을 제거하기 위해 비 최대값 억제(NMS)를 설정
결론) 참조 비교 기반 방법을 기반으로 하여, 우리는 결함을 분류하기 위해 엔드-투-엔드 컨볼루션 신경망 모델을 소개했습니다. 이 모델은 상대적으로 적은 레이어로 높은 정확도를 달성하기 위해 Densenet에서 영감을 받은 밀집한 단축 경로(dense shortcuts)를 사용합니다. 이 모델은 우리의 데이터셋에서 높은 성능을 달성했습니다.