2023 딥러닝 19

[Time-series 논문 리뷰] Forecasting with Sparse but Informative Variables: A Case Study in Predicting Blood Glucose (AAAI, 2023)

1. Introduction SIV(희소하지만 정보를 제공)의 효과적 활용 위해, 이 논문의 독자적인 접근방식이 rMSE면에서 기준선 접근방식보다 뛰어남 SIV가 손상되면 논문의 독자적 접근방식도 성능 낮아질것 결론*) 논문의 접근방식은 예측에서 SIV를 더 효과적 사용가능 내재+외재 = 예측정확도 향상 But 혈당과 같은 생리학적 변수의 예측에서는 내재+외재에서 예측 정확도가 향상되는 경우 없을수있음 보조신호와 대상 신호간의 비제로값이 상대적 불일치 때문 보조신호(외재)가 대상 신호(내재)에 영향 미치는데 매우 희소( 희소하지만 정보를 제공하는 변수(SIV) =⇒ 희소성에도 불구하고 SIV를 활용하여 전반적인 예측 개선 SIV문제 언제 발생) 부가변수가 시간에 따라 대상 변수의 크기를 증가시키거나 감소..

[Time-series 논문 리뷰] Are Transformers Effective for Time Series Forecasting? (AAAI, 2023) (NLinear, DLinear)

0. Abstract LTSF해결위한 Transformer based 해결책의 급증 Transformer는 의미론적인 상관관계를 잘 해결함 순서가 있는 연속적인 point에서 시간적 관계추출해야됨 Transformer에서 encoding, token이용하면서 정보를 순서대로 놓아도, self attention매커니즘의 순서가 변하지 않는 것은 일시적 정보손실을 반드시 낳는다* LTSF-Linear가 기존의 정교한 Transformer-based LTSF 를 넘어서 좋은 성능 보여줌 1. Introduction 시계열 시계열 문제는 data기반 세계에 만연함 시계열 문제 해결 변천사 : 머신러닝 → 딥러닝 Transformer Transformer 장점: 순서기반 모델, 병렬적이지 않은 해결, 다양한 적용..

[Manufacturing 논문 리뷰] PCB Defect Detection Using Denoising Convolutional Autoencoders (2020)

0. 전반적인 흐름 결함찾기+불량 PCB복구 네트워크 구조 결함 탐지 ->입력으로부터 복구된 PCB를 예측 복구시킨다음에, 복구시킨것과 입력의 차이 구해서 불량 판별 구조적 유사성 더 정확한 차이를 계산하기 위해 구조적 유사성을 활용 특이점 학습 전 noise추가 normal PCB넣어서 초기가중치 추출 후, 본격 학습 1. 실험 절차 데이터셋 DeepPCB 데이터셋을 사용하여 실험을 진행 : 1500개의 불량 PCB와 해당 정상 PCB의 이미지 쌍이 포함되어 있으며, 총 6 종류의 결함을 포함 : 불량과 정상 PCB의 이미지 쌍으로 훈련되었으며, 더 나은 결과를 얻기 위해 불량 PCB에 노이즈를 추가 훈련 절차 (이렇게 해도 ㄱㅊ을지 물어보기) 제안된 노이즈 제거 자기 인코더를 훈련하기 전에, 먼저 정..

[Manufacturing 논문 리뷰] ONLINE PCB DEFECT DETECTOR ON A NEW PCB DEFECT DATASET (2019)

0. 요약 데이터셋 DeepPCB :6가지 유형의 PCB 결함의 위치와 클래스에 대한 1,500개의 템플릿과 테스트 이미지 쌍을 포함(대부분 다 이걸로 사용하는듯) 장점: 정렬 - 템플릿 이미지와 테스트 이미지는 템플릿 매칭 방법을 사용하여 정렬되므로 이미지 전처리에 큰 노력을 줄임 deep model PCB결함 감지기의 딜레마 정확도와 효율성 사이에서 딜레마에 직면합니다. 높은 정확도를 위해서는 더 많은 층을 갖는 수십 개 또는 수백 개의 레이어로 더 깊은 모델이 필요합니다. 반면, 높은 효율성을 위해서는 많은 파라미터와 덜 깊은 구조가 필요 위의 딜레마 극복 방법(결함 감지능력 향상) 그룹 피라미드 풀링(GPP): GPP는 그룹화된 풀링과 업샘플링을 통해 다양한 해상도의 특성을 병합합니다. GPP의 ..

[Manufacturing 논문 리뷰] A PCB Dataset for Defects Detection and Classification

전처리 PCB특징 추출 및 transform test image SURF(이걸로) Scale Invariant Feature Transform (SIFT) 알고리즘의 개선된 버전으로, 계산 복잡성이 적고 SIFT에 비해 빠르게 실행 SURF와 SIFT로 선택된 특징점은 모두 안정적이며 회전, 스케일, 밝기에 불변 SIFT SIFT는 스케일과 회전 변환에 있어서 더 나은 매칭 효과를 가지지만, 밝기 변화에 있어서는 SURF가 더 나은 매칭 효과를 가지므로, 실제 응용 시나리오를 고려하여 PCB 등록에는 SURF가 선택 ⇒ 템플릿과 테스트 이미지의 SURF 특징점을 얻은 후, 매칭 포인트를 통해 2차원 기하학적 변환을 추정하고, 테스트 이미지를 기하학적 변환으로 회복 이진화 : 바이너리 맵을 사용하면 PCB..

[논문 리뷰] Attention Is All You Need (NIPS, 2017)

0. Abstract Transformer 제안 RNN, CNN모두 생략 오로지 어텐션 기반 병렬적으로 작동이 가능해서 학습 속도가 빨랐음 1. Introduction RNN기반 모델들은 그동안 대표적인 시퀀스 모델링, 시퀀스 변환모델 언어모델, 인코더-디코더 구조의 경계를 넓히려고 많이 노력했음 문제점) RNN기반 모델의 본질적인 순서 위치는 긴 시퀀스에서 치명적 (병렬적으로 작동X) 계산적 발전 이루었음에도 제약 여전히 발생 어텐션: input과 ouput시퀀스의 길이와 상관없이 다양한 task에서 시퀀스 모델링과 시퀀스 변환에서 짱됨 일부 RNN은 어텐션과 함께 쓰이기도 함 Transformer제안: recurrent한 특징 제외하고, 어텐션 통해 입력과 출력 사이에 종속성 유지 병렬화 가능 짧은 ..

[서베이 정리] Visual Anomaly Detection for Images: A Survey

지도 비지도 시각적 탐지 세부 수준 이미지 수준: 전체 이미지가 정상인지 비정상인지에 대한 질문에 초점 픽셀 수준: 이미지 내의 비정상적인 영역을 감지하거나 위치를 파악 점차 딥 컨볼루션 네트워크의 강력한 표현 능력을 시각적 이상 탐지 문제와 결합하는 문제에 주목하고, 최종적으로 종단 감지 접근 방식을 개발 III. IMAGE-LEVEL VISUAL ANOMALY DETECTION 비지도 이미지 수준 이상 탐지 방법 A. 밀도 추정 먼저 정상 이미지나 특징의 확률 분포 모델을 추정한 후, 새로 관찰된 이미지가 이상인지 정상인지를 확인하고 식별하기 위해 설정된 분포에 대해 테스트 테스트 이미지나 이미지 특징이 정상 이미지 샘플로 추정된 확률 분포 모델과 일치하지 않는 경우, 이를 이상으로 분류 가우시안 모..

[EECS 498-007 / 598-005] 13강: Attention

📌 본 내용은 Michigan University의 'Deep Learning for Computer Vision' 강의를 듣고 개인적으로 필기한 내용입니다. 내용에 오류나 피드백이 있으면 말씀해주시면 감사히 반영하겠습니다. (Stanford의 cs231n과 내용이 거의 유사하니 참고하시면 도움 되실 것 같습니다)📌 (📁 아래에 똑같이 제가 정리해놓은 블로그 참고..! 벨로그에 있는게 더 상세히 정리 잘 되어있습니다) https://velog.io/@ha_yoonji99/Michigan-DLcs231n-13%EA%B0%95-Attention [Michigan DL/cs231n] 13강: Attention 🔥Michigan University Deep Learning 13강🔥 velog.io

[EECS 498-007 / 598-005] 12강: Recurrent Neural Networks

📌 본 내용은 Michigan University의 'Deep Learning for Computer Vision' 강의를 듣고 개인적으로 필기한 내용입니다. 내용에 오류나 피드백이 있으면 말씀해주시면 감사히 반영하겠습니다. (Stanford의 cs231n과 내용이 거의 유사하니 참고하시면 도움 되실 것 같습니다)📌 (📁 아래에 똑같이 제가 정리해놓은 블로그 참고..! 벨로그에 있는게 더 상세히 정리 잘 되어있습니다) https://velog.io/@ha_yoonji99/Michigan-DLcs231n-12%EA%B0%95-Recurrent-Neural-Networks [Michigan DL/cs231n] 12강: Recurrent Neural Networks 🔥Michigan University Dee..