๊ด€๋ฆฌ ๋ฉ”๋‰ด

๋ชฉ๋กํ™œ์„ฑํ™”ํ•จ์ˆ˜ (2)

DATA101

[Deep Learning] Activation Function ๊ฐœ๋… ๋ฐ ์ข…๋ฅ˜: sign, tanh, sigmoid, softmax, ReLU, Leaky ReLU

๐Ÿ“š ๋ชฉ์ฐจ 1. ํ™œ์„ฑํ™” ํ•จ์ˆ˜์˜ ๊ฐœ๋… 2. ํ™œ์„ฑํ™” ํ•จ์ˆ˜์˜ ์ข…๋ฅ˜ 2.1. Sign ํ•จ์ˆ˜ 2.2. Sigmoid ํ•จ์ˆ˜ 2.3. Tanh ํ•จ์ˆ˜ 2.4. Softmax ํ•จ์ˆ˜ 2.5. ReLU ํ•จ์ˆ˜ 2.6. Leaky ReLU ํ•จ์ˆ˜ 1. ํ™œ์„ฑํ™” ํ•จ์ˆ˜์˜ ๊ฐœ๋… ํ™œ์„ฑํ™” ํ•จ์ˆ˜(Activation Function)๋ž€ ํผ์…‰ํŠธ๋ก (Perceptron)์˜ ์ถœ๋ ฅ๊ฐ’์„ ๊ฒฐ์ •ํ•˜๋Š” ๋น„์„ ํ˜•(non-linear) ํ•จ์ˆ˜์ž…๋‹ˆ๋‹ค. ์ฆ‰, ํ™œ์„ฑํ™” ํ•จ์ˆ˜๋Š” ํผ์…‰ํŠธ๋ก ์—์„œ ์ž…๋ ฅ๊ฐ’์˜ ์ดํ•ฉ์„ ์ถœ๋ ฅํ• ์ง€ ๋ง์ง€ ๊ฒฐ์ •ํ•˜๊ณ , ์ถœ๋ ฅํ•œ๋‹ค๋ฉด ์–ด๋–ค ๊ฐ’์œผ๋กœ ๋ณ€ํ™˜ํ•˜์—ฌ ์ถœ๋ ฅํ• ์ง€ ๊ฒฐ์ •ํ•˜๋Š” ํ•จ์ˆ˜์ž…๋‹ˆ๋‹ค. ํผ์…‰ํŠธ๋ก ์— ๋Œ€ํ•œ ์ž์„ธํ•œ ๋‚ด์šฉ์€ ์ด๊ณณ์„ ์ฐธ๊ณ ํ•ด ์ฃผ์„ธ์š”. ์•„๋ž˜ ๊ทธ๋ฆผ 1์— ๋…ธ๋ž€์ƒ‰์œผ๋กœ ์ƒ‰์น ํ•œ ๋ถ€๋ถ„์ด ํผ์…‰ํŠธ๋ก ์˜ ํ™œ์„ฑํ™” ํ•จ์ˆ˜ ๋ถ€๋ถ„์ž…๋‹ˆ๋‹ค. 2. ํ™œ์„ฑํ™” ํ•จ์ˆ˜์˜ ์ข…๋ฅ˜ 2.1. Sign ํ•จ์ˆ˜ ์œ„์˜ ํผ์…‰..

[Deep Learning] ํผ์…‰ํŠธ๋ก (Perceptron) ๊ฐœ๋… ์ดํ•ด

๋ณธ ํฌ์ŠคํŒ…์—์„œ๋Š” ์ธ๊ณต์‹ ๊ฒฝ๋ง์˜ ์ดˆ๊ธฐ ํ˜•ํƒœ์ด์ž ๊ตฌ์„ฑ ์š”์†Œ์ธ ํผ์…‰ํŠธ๋ก (Perceptron)์˜ ๊ฐœ๋…์— ๋Œ€ํ•ด ์•Œ์•„๋ด…๋‹ˆ๋‹ค.๐Ÿ“š ๋ชฉ์ฐจ1. ํผ์…‰ํŠธ๋ก  ๊ฐœ์š” 2. ์ƒ๋ฌผํ•™ ๋‰ด๋Ÿฐ์˜ ์—ญํ• ๊ณผ ๋™์ž‘๊ณผ์ • 3. ํผ์…‰ํŠธ๋ก ์˜ ์—ญํ• ๊ณผ ๋™์ž‘๊ณผ์ •4. ํผ์…‰ํŠธ๋ก ์˜ ์ข…๋ฅ˜ 4.1. ๋‹จ์ธต ํผ์…‰ํŠธ๋ก  4.2. ๋‹ค์ธต ํผ์…‰ํŠธ๋ก 1. ํผ์…‰ํŠธ๋ก (Perceptron) ๊ฐœ์š”ํผ์…‰ํŠธ๋ก (Perceptron)์€ ์ธ๊ณต ์‹ ๊ฒฝ๋ง(Aritificial Neural Network, ANN)์˜ ๊ตฌ์„ฑ ์š”์†Œ(unit)๋กœ์„œ ๋‹ค์ˆ˜์˜ ๊ฐ’์„ ์ž…๋ ฅ๋ฐ›์•„ ํ•˜๋‚˜์˜ ๊ฐ’์œผ๋กœ ์ถœ๋ ฅํ•˜๋Š” ์•Œ๊ณ ๋ฆฌ์ฆ˜์ž…๋‹ˆ๋‹ค. Perceptron์€ perception๊ณผ neuron์˜ ํ•ฉ์„ฑ์–ด์ด๋ฉฐ ์ธ๊ณต ๋‰ด๋Ÿฐ์ด๋ผ๊ณ ๋„ ๋ถ€๋ฆ…๋‹ˆ๋‹ค. ์ฆ‰, ํผ์…‰ํŠธ๋ก ์€ ์ƒ๋ฌผํ•™์ ์ธ ์‹ ๊ฒฝ๊ณ„(Neual Network)์˜ ๊ธฐ๋ณธ ๋‹จ์œ„์ธ ์‹ ๊ฒฝ์„ธํฌ(=๋‰ด๋Ÿฐ)์˜ ๋™์ž‘..