AI

Time Series Data Augmentation for Deep Learning: A Survey

"Time Series Data Augmentation for Deep Learning: A Survey"는 딥러닝에서 시계열 데이터 증강에 대한 연구 동향과 적용 가능한 기법들을 상세히 조사한 논문입니다. 아래는 논문 내용의 상세한 설명입니다.1. Introduction1) paper Information30th International Joint Conference on Artifical Intelligence(IJCAI 2021) Accepted PaperDeep Learning 시계열 데이터 분석 전반에 사용될 수 있는 Data Augmentation 기법들을 정리한 논문글 작성 시점 (2024. 05. 06) 기준으로 681회 인용된 논문2) Backgrounds딥러닝은 컴퓨터 비전, 자연어 처..

학습률 웜업(Learning Rate WarmUp)에 대한 이해

소개딥러닝 모델을 효과적으로 학습시키기 위해서는 적절한 학습률(learning rate)을 설정하는 것이 매우 중요합니다. 학습률은 모델이 가중치를 업데이트하는 속도를 조절하는 매개변수로, 너무 높거나 낮으면 학습이 제대로 이루어지지 않을 수 있습니다. 이 중에서도 학습률을 초기에 적절히 설정하는 것이 중요한데, 이를 위해 사용되는 기법 중 하나가 학습률 웜업(Learning Rate WarmUp)입니다.학습률 웜업이란?학습률 웜업은 딥러닝 모델의 초기 학습 단계에서 학습률을 서서히 증가시키는 기법입니다. 이는 모델이 초기에는 불안정하고 예측이 부정확할 수 있으며, 학습률을 너무 높게 설정하면 그러한 불안정성이 더욱 심해질 수 있기 때문에 사용됩니다. 학습률 웜업을 통해 모델이 초기에 안정성을 유지하면서..

[Tensorflow/keras] Tensorflow용 DataLoader 만들기

딥러닝 모델을 훈련시키기 위해서는 종종 대규모 데이터셋이 필요합니다. 그러나 모든 데이터를 메모리에 로드하고 유지하는 것은 실용적이지 않을 수 있습니다. 이런 경우에는 데이터를 실시간으로 생성하여 모델에 제공할 수 있는 데이터 생성기를 사용하는 것이 좋습니다.PyTorch의 DataLoader는 데이터셋을 미니 배치로 나누어 모델에 공급하는 역할을 합니다. 이는 데이터를 반복하고 전처리하는 작업을 추상화하여 사용자가 모델 학습에 집중할 수 있도록 합니다.Keras에서 데이터 생성기를 사용하는 방법은 메모리에 맞지 않는 대규모 데이터셋을 효율적으로 처리하는 강력한 방법입니다. Keras는 사용자 정의 데이터 생성기를 만들기 위한 기반 클래스로 Sequence 클래스를 제공합니다.단계 1: 사용자 정의 데이..

[PyTorch] DataLoader 멀티프로세싱하기

PyTorch의 DataLoader는 데이터셋을 미니 배치로 나누어 모델에 공급하는 역할을 합니다. 이는 데이터를 반복하고 전처리하는 작업을 추상화하여 사용자가 모델 학습에 집중할 수 있도록 합니다.DataLoader의 주요 기능미니 배치 처리: DataLoader는 데이터셋을 지정된 배치 크기로 나누어 모델에 제공합니다. 이는 GPU와 같은 가속기를 통해 병렬 처리를 가능하게 합니다.데이터 셔플링: 학습 데이터의 순서를 무작위로 섞음으로써 모델의 일반화 성능을 향상시킵니다.병렬 처리: DataLoader는 여러 작업자(worker)를 사용하여 데이터를 병렬로 로드할 수 있습니다. 이를 통해 데이터 로딩 과정을 가속화할 수 있습니다.데이터 변환(Transform): DataLoader는 데이터를 로드하기..

[Numpy] Serise clip() 함수 - 값 범위 제한하기

NumPy는 파이썬에서 과학 및 수학적 계산을 위한 핵심 라이브러리 중 하나입니다. NumPy의 다양한 함수와 메서드는 데이터 조작 및 분석을 쉽게 할 수 있도록 도와줍니다. 여기에는 데이터의 값을 제한하고 특정 범위 내에 값을 유지하는 데 유용한 clip() 함수가 있습니다. 이번 글에서는 NumPy의 clip() 함수를 소개하고 활용하는 방법에 대해 알아보겠습니다. numpy.clip() 함수란? numpy.clip() 함수는 주어진 배열의 값을 지정된 최소값과 최대값 사이로 제한합니다. 이 함수를 사용하면 데이터의 범위를 제한하고 이상치를 처리하는 데 유용합니다. numpy.clip()의 구문은 다음과 같습니다. numpy.clip(a, a_min, a_max, out=None) 여기서: a: 값을..

Google-Colab 에서 LightGBM GPU 사용하기

Kaggle Notebook에선 lightGBM gpu 버전을 쉽게 사용할 수 있다. 하지만 Google CoLab 에선 별도로 설치가 필요하다. 아래 코드를 CoLab 노트북 셀에서 실행하여 설치한 후 사용해본다. !git clone --recursive https://github.com/Microsoft/LightGBM %cd LightGBM !mkdir build %cd build !cmake ../../LightGBM -DUSE_GPU=1 !make -j4 %cd ../python-package !python3 setup.py install --gpu