๋ฐ์ํ
250x250
Notice
Recent Posts
Recent Comments
| ์ผ | ์ | ํ | ์ | ๋ชฉ | ๊ธ | ํ |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | 6 | 7 |
| 8 | 9 | 10 | 11 | 12 | 13 | 14 |
| 15 | 16 | 17 | 18 | 19 | 20 | 21 |
| 22 | 23 | 24 | 25 | 26 | 27 | 28 |
| 29 | 30 | 31 |
Tags
- abap
- DFS
- AI
- Git
- github
- ๋น ๋ฐ์ดํฐ
- ์ฝ๋ฉํ ์คํธ
- ๋ฐ์ดํฐ๋ถ์
- ํ ์คํธ๋ถ์
- ํ ์คํธ๋ง์ด๋
- ๋ฆฌ์กํธ
- erp
- ๋ฅ๋ฌ๋
- ์ธ๊ณต์ง๋ฅ
- tableau
- ์๋ฐ์คํฌ๋ฆฝํธ
- ํ๋ธ๋ก
- ์๊ณ ๋ฆฌ์ฆ
- ํ์ด์ฌ
- ํ๋ธ๋ฃจ
- ๋ฐ์ดํฐ ๋ถ์
- ์ฝํ
- sap
- ๋ฐฑ์ค
- ์์ฐ์ด์ฒ๋ฆฌ
- react
- ๊นํ๋ธ
- ์๋ง์กด์น์๋น์ค
- AWS
- nlp
Archives
- Today
- Total
๋ชฉ๋ก2022/05/20 (1)
DATA101
[Deep Learning] ์ต์ ํ(Optimizer): (2) AdaGrad
๐ ๋ชฉ์ฐจ 1. ๊ฐ๋ 2. ์ฅ์ 3. ๋จ์ 1. ๊ฐ๋ AdaGrad๋ ๋ฅ๋ฌ๋ ์ต์ ํ ๊ธฐ๋ฒ ์ค ํ๋๋ก์จ Adaptive Gradient์ ์ฝ์์ด๊ณ , ์ ์์ ๊ธฐ์ธ๊ธฐ๋ผ๊ณ ๋ถ๋ฆ ๋๋ค. Feature๋ง๋ค ์ค์๋, ํฌ๊ธฐ ๋ฑ์ด ์ ๊ฐ๊ฐ์ด๊ธฐ ๋๋ฌธ์ ๋ชจ๋ Feature๋ง๋ค ๋์ผํ ํ์ต๋ฅ ์ ์ ์ฉํ๋ ๊ฒ์ ๋นํจ์จ์ ์ ๋๋ค. ์ด๋ฌํ ๊ด์ ์์ AdaGrad ๊ธฐ๋ฒ์ด ์ ์๋์์ต๋๋ค. AdaGrad๋ Feature๋ณ๋ก ํ์ต๋ฅ (Learning rate)์ Adaptiveํ๊ฒ, ์ฆ ๋ค๋ฅด๊ฒ ์กฐ์ ํ๋ ๊ฒ์ด ํน์ง์ ๋๋ค. AdaGrad๋ฅผ ์์์ผ๋ก ๋ํ๋ด๋ฉด ์๋์ ๊ฐ์ต๋๋ค. $$ g_{t} = g_{t-1} + (\nabla f(x_{t-1}))^{2} $$ $$ x_{t} = x_{t-1} - \frac{\eta}{\sqrt{g_{t} + \epsi..
AI & ๋น
๋ฐ์ดํฐ/๋จธ์ ๋ฌ๋·๋ฅ๋ฌ๋
2022. 5. 20. 14:47