윤지

공식 코드 https://github.com/ngruver/llmtime GitHub - ngruver/llmtime Contribute to ngruver/llmtime development by creating an account on GitHub. github.com 0. Abstract LLM + 시계열 성공이유 multimodal distributions를 표현할 수 있는 능력 단순성과 반복에 대한 편향이 결합되어 있기 때문 이는 많은 시계열에서 두드러지는 특징들(=반복되는 계절적 추세와 일치) LLM + 시계열 사용 이점 LLM들이 비수치적 텍스트를 통해 보정 없이 결측 데이터를 자연스럽게 처리가능 텍스트 측면 정보를 수용하며, 예측을 설명하는 데 도움이 되는 질문에 답할 수 있음 1. Int..

Abstract SelfMatch (이 논문에서 제시한 모델 !!) 목적: 시계열 분류 (TSC) TSC를 위한 특징 추출기인 ResNet–LSTMaN을 설계하여 특징 및 관계 추출을 담당 방법: supervised + unsupervised + self distillation unsupervised: (pseudo labeling 적용) label data에 대한 feature extract (레이블이 지정된 데이터와 지정되지 않은 데이터 간의 연결을 탐색) 약하게 증가된 시퀀스는 같은 시퀀스의 Timecut-증가된 버전의 예측을 안내하는 목표 (= 어떤 데이터 시퀀스의 변화를 이해하고 이를 기반으로 미래의 변화를 예측) self distillation: 높은 수준에서 낮은 수준으로의 지식흐름 → 낮은..

Abstract 퓨샷 학습 과제를 위한 심층 신경망의 표현 능력을 개선하는 간단한 접근 방법을 제안 첫 번째로, self-supervised auxiliary loss을 사용하여 특징 임베딩의 엔트로피를 최대화함으로써 최적의 출력 매니폴드를 생성하는 신경망을 훈련합니다. 두 번째 단계에서는 self-supervised 쌍을 함께 묶어 특징 임베딩의 엔트로피를 최소화하고, 학생-교사 간의 교류(KD)를 통해 매니폴드를 제한 Introduction 정리 기존 FSL 연구들 주로 메타 학습을 사용하여 새로운 과제에 대한 기본 학습자를 적응시키거나, 메트릭 학습을 통해 마진을 최대화하는 제약을 적용함으로써 FSL을 접근합 한계 클래스 내 다양성의 중요성을 무시 본 논문의 연구 관점 클래스 내 변화에 불변하는 표..

0. Abstract IoT 데이터에 이상 감지 기술을 적용할 때 마주칠 수 있는 도전에 대한 배경을 제공하며, 문헌에서 가져온 IoT 이상 감지의 응용 예를 들어 설명합니다. 우리는 IoT에만 국한되지 않고 다양한 분야에서 개발된 다양한 접근 방법을 논의합니다 이상 감지 분야에서 현재 직면하고 있는 도전을 요약하고, 향후 잠재적인 연구 기회를 식별하는 데 중점 I. Introduction 현재 많은 이상 감지 방법은 이러한 시스템을 활성화하고 생성된 데이터를 추출하고 해석하는 데 상당한 인간 상호작용을 필요로 합니다. 전문가가 시스템 상태를 나타내는 작은 데이터 부분을 보고 수동으로 관심 있는 추세와 패턴을 식별하는 것이 상대적으로 쉽습니다. 하지만 시스템이 작더라도 이러한 추세를 수동으로 식별하기 어..

(pdf정리본으로 대체합니다. 옮겨적기 귀찮아서 아님..)

0. Abstract Unsupervised Continual Learning 우리는 학습된 특성 표현을 분석하는 체계적인 연구를 수행하고, 비약적인 잊혀짐(catastrophic forgetting)에 대한 더 뛰어난 내구성을 갖고 일관되게 더 나은 성능을 달성하며, 분포 외 작업에 대해 더 나은 일반화를 시키는 것을 보여줍니다. Lifelong Unsupervised Mixup (LUMP) 간단하지만 효과적인 기술을 제안하며 현재 작업과 이전 작업의 인스턴스 사이를 보간하여 비약적인 잊혀짐을 완화 1. Introduction UCL 구현 방법 기존의 SCL 전략을 비지도 지속 학습 프레임워크로 확장하고 현재의 최첨단 표현 학습 기술인 SimSiam (Chen & He, 2021)과 BarlowTwin..

0. Abstract Continual Learning 순차 학습 CURL (비지도 continual learning) 비지도 표현을 학습하는 것 과제 간에 급격한 변화가 있을 때(=한 과제에서 다른 과제로 부드럽게 전환될 때) 데이터가 섞일 때와 같은 시나리오를 탐구 모델 내에서 직접 과제 추론을 수행 새로운 개념을 포착하기 위해 동적으로 확장 기존 정보 유지 위해 추가적인 리허설 기반 기술을 통합 1. Introduction Catastrophic forgetting 학습 알고리즘은 종종 독립 동일 분포 가정을 충족시키기 위해 입력 샘플을 섞어야 함 순차적 데이터로 훈련될 때, 새로운 과제나 개념이 오래된 것을 덮어쓰면서 성능 저하 따라서 현재 정보로 과거 or 미래 정보 성능 개선 가능 ⇒ But,..

(pdf정리본으로 대체합니다. 옮겨적기 귀찮아서 아님..)

0. Abstract 거의 모든 머신 러닝 알고리즘의 성능을 향상시키는 매우 간단한 방법은 같은 데이터에 대해 여러 다른 모델을 훈련시킨 후 그들의 예측을 평균내는 것 한계점: 모델 전체의 앙상블을 사용하여 예측을 하는 것은 번거롭고, 개별 모델이 큰 신경망인 경우 특히 많은 사용자에게 배포하는 데 너무 많은 계산 비용이 들 수 있습니다. Caruana와 그의 동료들은 앙상블의 지식을 단일 모델에 압축하여 훨씬 쉽게 배포할 수 있음을 보여주었고, 우리는 다른 압축 기술을 사용하여 이 접근 방식을 더 발전시킵니다. 우리는 MNIST에서 몇 가지 놀라운 결과를 달성하고, 앙상블의 모델들의 지식을 단일 모델에 증류함으로써 많이 사용되는 상업 시스템의 음향 모델을 크게 개선할 수 있음을 보여줍니다. 또한, 하나..

0. Abstract 기존 NN에서 accuracy 향상 방법 깊거나 더 확장된 네트워크 이 논문에서 NN에서 accuracy 향상 방법 : Self-distillation 기존 Knowledge distillation student network를 pretrain된 teacher모델의 softmax layer output에 근사하도록 함 self distillation 자기 자신의 네트워크에서 정보 증류 방법 여러 section으로 나눔 더 깊은 네트워크의 지식을 낮은 곳으로 squeeze해줌 1. Introduction [1] 예측 정확도 향상 & 반응 시간/컴퓨터 자원 감소 필요함 기존에 시도된 모델들 ResNet 150, ResNet1000 : 성능 조금 향상 & 엄청 거대한 자원량 (모델 경량화..