DATA101

👨‍💻 들어가며KoNLPy와 Mecab 패키지는 기본적으로 설치되어 있다고 가정합니다. 혹시나 설치되어 있지 않다면 아래 포스팅을 참고해 주세요.https://heytech.tistory.com/3 [Python/NLP] KoNLPy 설치하는 방법에 대해 알아보자!오늘은 한국어 자연어처리(NLP)를 위한 파이썬 라이브러리 KoNLPy를 설치하는 방법을 공유합니다. 1. 터미널/커맨드라인 오픈 가장 먼저, 터미널/커맨드라인을 열어줍니다. 2. KoNLPy 패키지 설치 pip iheytech.tistory.comMecab 설치방법bash 본격적으로 에러 해결방법을 다룹니다.🤖 에러 상황from konlpy.tag import MecabMecab().nouns("헤이 테크 블로그입니다.")Mecab 형태..

📚 목차1. 프로젝트 개요 2. 개발환경 3. Pretrained 언어 모델 4. 경제 뉴스 기사 감정 데이터셋 5. 전체 소스코드 6. 코드 설명1. 프로젝트 개요Pretrained 언어 모델인 KLUE BERT-base 위에 경제 뉴스 기사의 감정이 라벨링 된 데이터셋 한국어 버전의 Finance Phrase Bank을 활용하여 파인튜닝한 감정 분류 프로젝트2. 개발환경Google Colab Pro / GPU3. Pretrained 언어 모델KLUE(Korean Language Understanding Evaluation) BERT base학습한 데이터셋연합뉴스의 뉴스 헤드라인우키피디아위키뉴스위키트리정치뉴스ParaKQC(Parallel dataset of Korean Questions and Com..

👨‍💻 들어가며 본 포스팅에서는 딥러닝 분야에서 하이퍼파라미터 최적화 방법 3가지인 Grid Search, Random Search, Bayesian Optimization에 대해 알아봅니다. 📚 목차 1. Grid Search 2. Random Search 3. Bayesian Optimization 1. Grid Search 그리드 서치(Grid Search)는 하이퍼파라미터를 일정한 간격으로 변경하며 최적의 파라미터를 찾아가는 기법입니다. 아래의 그림 1처럼 가로축이 하이퍼파라미터이고 세로축이 목표함수일 때, 목표함수 값이 최대가 되는 하이퍼파라미터를 찾는 문제를 풀어야 한다고 가정해 보겠습니다. 그리드 서치는 특정 범위 내에서 하이퍼파라미터를 일정 값만큼 일일이 변경하며 출력값을 비교하는 방식으로..

📚 목차1. 기울기 소실의 의미2. 기울기 소실의 원인3. 기울기 소실의 해결방법1. 기울기 소실의 의미딥러닝 분야에서 Layer를 많이 쌓을수록 데이터 표현력이 증가하기 때문에 학습이 잘 될 것 같지만, 실제로는 Layer가 많아질수록 학습이 잘 되지 않습니다. 바로 기울기 소실(Vanishing Gradient) 현상때문입니다. 기울기 소실이란 역전파(Backpropagation) 과정에서 출력층에서 멀어질수록 Gradient 값이 매우 작아지는 현상을 말합니다(그림 1 참고). 그렇다면 왜 이런 기울기 소실 문제가 발생할까요? 이어지는 섹션에서 자세히 알아봅니다. 2. 기울기 소실의 원인기울기 소실의 발생 원인은 활성화 함수(Activation Function)의 기울기와 관련이 깊습니다..

📚 목차 1. 경사 하강법 개념 2. 경사 하강법 종류 2.1. 배치 경사 하강법 2.2. 확률적 경사 하강법 2.3. 미니 배치 경사 하강법 1. 경사 하강법 개념 경사 하강법(Gradient Descent)이란 딥러닝 알고리즘 학습 시 사용되는 최적화 방법(Optimizer) 중 하나입니다. 딥러닝 알고리즘 학습 시 목표는 예측값과 정답값 간의 차이인 손실 함수의 크기를 최소화시키는 파라미터를 찾는 것입니다. 학습 데이터 입력을 변경할 수 없기 때문에, 손실 함수 값의 변화에 따라 가중치(weight) 혹은 편향(bias)을 업데이트해야 합니다. 그럼 어떻게 최적의 가중치나 편향을 찾을 수 있을까요? 최적의 가중치를 찾는 과정을 소개합니다. 최적의 편향을 찾는 과정 역시 절차는 동일합니다. 아래의 그..

📚 목차 1. Batch Size 2. Iteration 3. Epoch 1. Batch Size Batch 크기는 모델 학습 중 parameter를 업데이트할 때 사용할 데이터 개수를 의미합니다. 사람이 문제 풀이를 통해 학습해 나가는 과정을 예로 들어보겠습니다. Batch 크기는 몇 개의 문제를 한 번에 쭉 풀고 채점할지를 결정하는 것과 같습니다. 예를 들어, 총 100개의 문제가 있을 때, 20개씩 풀고 채점한다면 Batch 크기는 20입니다. 사람은 문제를 풀고 채점을 하면서 문제를 틀린 이유나 맞춘 원리를 학습하죠. 딥러닝 모델 역시 마찬가지입니다. Batch 크기만큼 데이터를 활용해 모델이 예측한 값과 실제 정답 간의 오차(conf. 손실함수)를 계산하여 Optimizer가 parameter를..

1. 개념Adaptive Moment Estimation(Adam)은 딥러닝 최적화 기법 중 하나로써 Momentum과 RMSProp의 장점을 결합한 알고리즘입니다. 즉, 학습의 방향과 크기(=Learning rate)를 모두 개선한 기법으로 딥러닝에서 가장 많이 사용되어 "오던" 최적화 기법으로 알려져 있습니다. 최근에는 RAdam, AdamW과 같이 더욱 우수한 성능을 보이는 최적화 기법이 제안되었지만, 본 포스팅에서는 딥러닝 분야 전반을 공부하는 마음가짐으로 Adam에 대해 알아봅니다.2. 수식수식과 함께 Adam에 대해 자세히 알아보겠습니다. $$ m_{t} = \beta_{1} m_{t-1} + (1 - \beta_{1}) \nabla f(x_{t-1}) $$$$ g_{t} = \beta_{..

1. 개념RMSProp는 딥러닝 최적화 기법 중 하나로써 Root Mean Sqaure Propagation의 약자로, 알엠에스프롭(R.M.S.Prop)이라고 읽습니다.✋등장배경최적화 기법 중 하나인 AdaGrad는 학습이 진행될 때 학습률(Learning rate)이 꾸준히 감소하다 나중에는 \(0\)으로 수렴하여 학습이 더 이상 진행되지 않는다는 한계가 있습니다. RMSProp은 이러한 한계점을 보완한 최적화 기법으로써 제프리 힌튼 교수가 Coursea 강의 중에 발표한 알고리즘입니다.🛠 원리RMSProp은 AdaGrad와 마찬가지로 변수(feature)별로 학습률을 조절하되 기울기 업데이트 방식에서 차이가 있습니다. 이전 time step에서의 기울기를 단순히 같은 비율로 누적하지 않고 지수이동..