DATA101

📚 목차 1. Example-based Evaluation 1.1. Exact-Match Ratio(EMR) 1.2. Accuracy 1.3. Precision 1.4. Recall 1.5. F1 Score 1.6. Hamming Loss 2. Label-based Evaluation 2.1. Macro average 2.2. Mico average 2.3. Weighted average 👨‍💻 들어가며 Multi-label Classification 모델 평가지표를 라벨(lael)을 기준으로 계산하는지 혹은 test example을 기준으로 계산하는지에 따라 평가 방법은 크게 2가지로 나뉩니다. 1) Example-based Evaluation 2) Label-based Evaluation 각각에 대해..

1. ROC Curve Receiver Operating Characteristic 곡선의 약자 (그림 1) \(x\)축: FPR(False Positive Rate), \(y\)축: TPR(True Positive Rate) FPR: 전체 경우 중 모델이 Positive로 예측했으나 실제 정답이 Negative인 비율로, 전체 경우에서 TNR(True Negatvie Rate)를 뺀 값과 같음 $$ FPR = 1 - TNR = 1 - \frac{TN}{FP+TN}=\frac{FP}{FP+TN} $$ TPR: 전체 경우 중 모델이 Positive로 예측했는데 실제 정답이 Positive인 비율(Recall과 동일) $$ TPR = Recall = \frac{TP}{TP+FN} $$ 그림 1에서 Refer..

📚 목차 1. Confusion Matrix 2. Accuracy 3. Precision 4. Recall 5. F1 Score 6. Average Precision 👨‍💻 들어가며 본 포스팅에서는 Binary Classification 및 Multi-class Classification에서 기본적으로 다루는 평가지표인 Confusion Matrix, Accuracy, Precision, Recall, F1 Score, Average Precision에 대해 다룹니다. Multi-label Classification에서 사용되는 평가지표는 아래의 포스팅을 참고해 주세요. https://heytech.tistory.com/434 1. Confusion Matrix '혼동 행렬' 또는 '오차 행렬'이라도 부..

📚 목차1. Perplexity 개념2. Perplexity 값의 의미3. Perplexity 계산방법1. Perplexity 개념1.1. 개요Perplexity(PPL)는 텍스트 생성(Text Generation) 언어 모델의 성능 평가지표 중 하나입니다. Perplexity는 '펄플렉서티'라고 읽으며, '(무언가를 이해할 수 없어) 당혹스러운 정도' 또는 '헷갈리는 정도'로 이해하시면 됩니다(cf., 네이버 영어사전). 일반적으로 테스트 데이터셋이 충분히 신뢰할 만할 때 Perplexity 값이 낮을수록 언어 모델이 우수하다고 평가합니다. 이에 대한 내용은 이어지는 '2. Perplexity 값의 의미' 섹션에서 더욱 자세히 다룹니다.1.2. 분기계수Perplexity는 곧 언어 모델의 ..