- Today
- Total
๋ชฉ๋กAI (16)
DATA101

์๋ ํ์ธ์, AI/๋น ๋ฐ์ดํฐ๋ถ์ ์ฐ๊ตฌ๊ฐ๋ฐ ์ ๋ฌธ๋ฒ์ธ DATA101 ํ์ ๋๋ค๐ ๐ DATA101 ํ์์ ์์ธ ์งํ์ฒ ๋ฌด์์น์ฐจ Data๋ฅผ ํตํด ์๋ฏผ์ฐธ์ฌ, ์ด๋, ์ํ ํจํด์ ๋ถ์ํ ์ธ์ฌ์ดํธ๋ฅผ ํ์ธํด ๋ณด์ธ์! ๐ ์๋ฏผ์ฐธ์ฌ – ์งํ์ ๋ชจ์์ด ์ด๋ฆฌ๋ ๋ , ์งํ์ฒ Data๋ ๋ชฉ์๋ฆฌ๊ฐ ๋ชจ์ด๋ ํ์ ๋ณด์ฌ์ค๋๋ค.๐ถ ์ด๋ – ๋ ธ๋ ์ธต์ ์ผ์์ ๋ฐ๊ฑธ์์ ์์ฅ๊ณผ ๊ณจ๋ชฉ์ ์๊ณ , ๋์์ ๋ฐ๋ปํ ์ํ์์ ๊ธฐ๋กํฉ๋๋ค.๐ค ์ํ ํจํด – ์ซ์ ์์๋ ๋จ์ํ ์ด๋์ด ์๋๋ผ ์ถ์ ํ์ ๊ณผ ์ฐ๊ฒฐ์ด ๋ด๊ฒจ ์์ต๋๋ค. Data๋ ๋์์ ๋ฏผ๋ฏ์ ๋น์ถ๋ ๊ฑฐ์ธ์ด์, ๋ฏธ๋๋ฅผ ์ฝ๋ ์ธ์ฌ์ดํธ๊ฐ ๋ฉ๋๋ค.๋ค์์ ๋ ์ด๋ค ์์ง์์ ๋ด์๋ผ๊น์? ํ์ Data ๋ถ์์ ํตํด ์ฌ๋ฌ๋ถ์ด ์์๋ณด๊ณ ์ถ์๋ ์ด์๊ฐ ์๋ค๋ฉด ๋๊ธ๋ก ๋จ๊ฒจ์ฃผ์ธ์๐DATA101 ํ์ด ํฅ๋ฏธ๋ก์ด ์ฃผ..

์๋ ํ์ธ์, AI/๋น ๋ฐ์ดํฐ๋ถ์ ์ฐ๊ตฌ๊ฐ๋ฐ ์ ๋ฌธ๋ฒ์ธ DATA101 ํ์ ๋๋ค๐ ์ค๋์ ์ ํฌ DATA101์์ ๋ํ๋ฏผ๊ตญ No.1 ์๋์ฐจ Youtube '๊นํ์ฉ์ MOCAR' ์ฑ๋์ ์ฌ์ธต ๋ถ์ํ ์ฌ๋ก๋ฅผ ์๊ฐํด ๋๋ฆฝ๋๋ค๐จ๐ป์ด๋ฒ ์ฌ๋กzip ์ญ์ ์ ํฌ DATA101 ์ค๋ฌด์ง์ด ์ง์ ๋ฐ์ดํฐ ์์ง๋ถํฐ ๊ฐ๊ณต, ์๊ฐํ, ๋ฆฌํฌํธ ์์ฑ๊น์ง ์งํํ ํ๋ก์ ํธ์ ๋๋ค. ๋ณธ ํ๋ก์ ํธ์ ํ์ฉํ ๋ฐ์ดํฐ๋ 2024๋ 1๊ฐ๋ ์น๋ฅผ ์ง์ ์์งํ์ฌ ๋ถ์ํ ์ ์ฐธ๊ณ ํด ์ฃผ์๊ธธ ๋ฐ๋๋๋ค๐ํน์ ๋ธ๋๋, ํน์ ์ฃผ์ ์ ๋์ฑ ์ฌ์ธต์ ์ธ ๋ถ์ ์๋ฃ๊ฐ ํ์ํ์ ๋ถ๋ค๊ป์๋ ๋๊ธ / ์ด๋ฉ์ผ / ์นดํก ์ค ํธํ ๋ฐฉ๋ฒ์ผ๋ก ๋ฌธ์ํด ์ฃผ์ธ์๐ [ Contact Point ]๐ฌ ๋ฉ์ผ) contact@uf5.io๐ก ์นดํก) DATA101 (ํ๋ฌ์ค์น๊ตฌ)๐ด ์ ํ๋ธ) DAT..

๐ 2025๋ 8์, AI/๋น ๋ฐ์ดํฐ ์ฐ๊ตฌ๊ฐ๋ฐ ์ ๋ฌธ๋ฒ์ธ DATA101 ํ์์ ์๋กญ๊ฒ ์ถ์ํ'Youtube ๋๊ธ ๋ฐ์ดํฐ ๋ถ์ ํ๋ซํผ'์ ์๊ฐํฉ๋๋ค. ๐ Youtube ์ฝํ ์ธ ๋ง๋ค ๊ตฌ๋ ์๋ค์ ์ฐ ๋ฐ์์ ๋๊ธ ๋น ๋ฐ์ดํฐ ๋ถ์์ ํตํด ํ์ธํด ๋ณด์ธ์! ๋ณธ ํ๋ซํผ์ Youtube ์ฝํ ์ธ ์ ๋ฌ๋ฆฐ ๋๊ธ์ ๋ถ์ํ์ฌ ๊ตฌ๋ ์๋ค์ ๋ฐ์์ด ๊ธ์ ์ ์ด์๋์ง ํน์ ๋ถ์ ์ ์ด์๋์ง, ์ด๋ค ํค์๋์ ์๊ฒฌ์ ๋ง์ด ์ธ๊ธํ๋์ง ์ฌ์ธต์ ์ผ๋ก ๋ถ์ํ ๋ฆฌํฌํธ๋ฅผ ์ ๊ณตํฉ๋๋ค๐จ๐ป ๐ป ์ด๋ค ์ฝํ ์ธ ๊ฑด Youtube ์์ URL๋ง ๋ณต์ฌ+๋ถ์ฌ๋ฃ๊ธฐํ๋ฉด ๋๊ตฌ๋ ๋ฌด๋ฃ๋ก ๋ถ์ ๋ฆฌํฌํธ๋ฅผ ๋ฐ์ ๋ณด์ค ์ ์์ด์!๐ ์ง๊ธ ๋ฐ๋ก ๊ตฌ๋ ์๋ค์ด ์ปจํ ์ธ ๋ง๋ค ์ด๋ค ๋ฐ์๊ณผ ๋์ฆ๋ฅผ ๋ณด์๋์ง, ๊ฐ์ ํ ์ ์ ์๋์ง Data๋ก ํ์ธํด ๋ณด์ธ์! * ๋ณธ ํ๋ซํผ์ AI/๋น ๋ฐ์ดํฐ ์ฐ๊ตฌ๊ฐ๋ฐ ์ ..

๐ ์ง๋ 2์, ๋ฐ์ดํฐ์๋์ ํ์ AI/๋น ๋ฐ์ดํฐ๋ถ์ ์๋ฃจ์ ์ด No.1 ํ๋ฆฌ๋์ ๋ง์ผ ํฌ๋ชฝ์์ ์์ ํ ์์ 2% ์ ๋ฌธ๊ฐ ์๋น์ค์ธ prime์ ์ ์ ๋์์ต๋๋ค. ๐ prime์ 100๋ง ๊ฑด ์ด์์ ํฌ๋ชฝ ๊ฑฐ๋ Data๋ฅผ ๋ถ์ํ๊ณ ์๋น์ค ๋ง์กฑ๋ 99% ์ด์์ธ ์ ๋ฌธ๊ฐ ์ธํฐ๋ทฐ ๋ฐ ๋ ํผ๋ฐ์ค ์ฒดํฌ๋ฅผ ํตํด ์์ ๋ 300์ฌ ๋ช ์ ์์ ์ ๋ฌธ๊ฐ์๊ฒ๋ง ์ฃผ์ด์ง๋ ์๋น์ค์ ๋๋ค. ๐ค ์ฃผ๋ก Prime ์ ๋ฌธ๊ฐ๋ ๋๊ธฐ์ ๋ถํฐ ์คํํธ์ , ์ ๋ถ๊ธฐ๊ด๊น์ง B2B ๊ณ ๊ฐ์ ์ฃผ ํ๊ฒ์ผ๋ก ๊ฑฐ๋ํ๋ ํ์ง๋ณด์ฅ ์ ์ฒด๋ค๋ก ๊ตฌ์ฑ๋์ด ์์ต๋๋ค. ๐จ๐ป ํ์ฌ ์ ํฌ ๋ฐ์ดํฐ์๋์ ํ์ AI๋ฅผ ํ์ฉํ ๋น ๋ฐ์ดํฐ๋ถ์ ์๋ฃจ์ ๊ตฌ์ถ๋ถํฐ ๋ค์ํ ์ฐ์ ๊ตฐ์ ๋น ๋ฐ์ดํฐ ๋ถ์ ๊ณผ์ ์ํ์ ์ง์ํด ๋๋ฆฌ๊ณ ์์ต๋๋ค. ๐ AI ๊ธฐ์ ์ ํ์ฉํ SW ์ธํ๋ผ ๊ตฌ์ถ์ด๋ ๋น ๋ฐ์ดํฐ ๋ถ์..

๐จ๐ป ๋ค์ด๊ฐ๋ฉฐ ๋ณธ ํฌ์คํ ์์๋ ๋ฅ๋ฌ๋ ๋ถ์ผ์์ ํ์ดํผํ๋ผ๋ฏธํฐ ์ต์ ํ ๋ฐฉ๋ฒ 3๊ฐ์ง์ธ Grid Search, Random Search, Bayesian Optimization์ ๋ํด ์์๋ด ๋๋ค. ๐ ๋ชฉ์ฐจ 1. Grid Search 2. Random Search 3. Bayesian Optimization 1. Grid Search ๊ทธ๋ฆฌ๋ ์์น(Grid Search)๋ ํ์ดํผํ๋ผ๋ฏธํฐ๋ฅผ ์ผ์ ํ ๊ฐ๊ฒฉ์ผ๋ก ๋ณ๊ฒฝํ๋ฉฐ ์ต์ ์ ํ๋ผ๋ฏธํฐ๋ฅผ ์ฐพ์๊ฐ๋ ๊ธฐ๋ฒ์ ๋๋ค. ์๋์ ๊ทธ๋ฆผ 1์ฒ๋ผ ๊ฐ๋ก์ถ์ด ํ์ดํผํ๋ผ๋ฏธํฐ์ด๊ณ ์ธ๋ก์ถ์ด ๋ชฉํํจ์์ผ ๋, ๋ชฉํํจ์ ๊ฐ์ด ์ต๋๊ฐ ๋๋ ํ์ดํผํ๋ผ๋ฏธํฐ๋ฅผ ์ฐพ๋ ๋ฌธ์ ๋ฅผ ํ์ด์ผ ํ๋ค๊ณ ๊ฐ์ ํด ๋ณด๊ฒ ์ต๋๋ค. ๊ทธ๋ฆฌ๋ ์์น๋ ํน์ ๋ฒ์ ๋ด์์ ํ์ดํผํ๋ผ๋ฏธํฐ๋ฅผ ์ผ์ ๊ฐ๋งํผ ์ผ์ผ์ด ๋ณ๊ฒฝํ๋ฉฐ ์ถ๋ ฅ๊ฐ์ ๋น๊ตํ๋ ๋ฐฉ์์ผ๋ก..

๐ ๋ชฉ์ฐจ 1. ๊ฒฝ์ฌ ํ๊ฐ๋ฒ ๊ฐ๋ 2. ๊ฒฝ์ฌ ํ๊ฐ๋ฒ ์ข ๋ฅ 2.1. ๋ฐฐ์น ๊ฒฝ์ฌ ํ๊ฐ๋ฒ 2.2. ํ๋ฅ ์ ๊ฒฝ์ฌ ํ๊ฐ๋ฒ 2.3. ๋ฏธ๋ ๋ฐฐ์น ๊ฒฝ์ฌ ํ๊ฐ๋ฒ 1. ๊ฒฝ์ฌ ํ๊ฐ๋ฒ ๊ฐ๋ ๊ฒฝ์ฌ ํ๊ฐ๋ฒ(Gradient Descent)์ด๋ ๋ฅ๋ฌ๋ ์๊ณ ๋ฆฌ์ฆ ํ์ต ์ ์ฌ์ฉ๋๋ ์ต์ ํ ๋ฐฉ๋ฒ(Optimizer) ์ค ํ๋์ ๋๋ค. ๋ฅ๋ฌ๋ ์๊ณ ๋ฆฌ์ฆ ํ์ต ์ ๋ชฉํ๋ ์์ธก๊ฐ๊ณผ ์ ๋ต๊ฐ ๊ฐ์ ์ฐจ์ด์ธ ์์ค ํจ์์ ํฌ๊ธฐ๋ฅผ ์ต์ํ์ํค๋ ํ๋ผ๋ฏธํฐ๋ฅผ ์ฐพ๋ ๊ฒ์ ๋๋ค. ํ์ต ๋ฐ์ดํฐ ์ ๋ ฅ์ ๋ณ๊ฒฝํ ์ ์๊ธฐ ๋๋ฌธ์, ์์ค ํจ์ ๊ฐ์ ๋ณํ์ ๋ฐ๋ผ ๊ฐ์ค์น(weight) ํน์ ํธํฅ(bias)์ ์ ๋ฐ์ดํธํด์ผ ํฉ๋๋ค. ๊ทธ๋ผ ์ด๋ป๊ฒ ์ต์ ์ ๊ฐ์ค์น๋ ํธํฅ์ ์ฐพ์ ์ ์์๊น์? ์ต์ ์ ๊ฐ์ค์น๋ฅผ ์ฐพ๋ ๊ณผ์ ์ ์๊ฐํฉ๋๋ค. ์ต์ ์ ํธํฅ์ ์ฐพ๋ ๊ณผ์ ์ญ์ ์ ์ฐจ๋ ๋์ผํฉ๋๋ค. ์๋์ ๊ทธ..

๐ ๋ชฉ์ฐจ 1. Batch Size 2. Iteration 3. Epoch 1. Batch Size Batch ํฌ๊ธฐ๋ ๋ชจ๋ธ ํ์ต ์ค parameter๋ฅผ ์ ๋ฐ์ดํธํ ๋ ์ฌ์ฉํ ๋ฐ์ดํฐ ๊ฐ์๋ฅผ ์๋ฏธํฉ๋๋ค. ์ฌ๋์ด ๋ฌธ์ ํ์ด๋ฅผ ํตํด ํ์ตํด ๋๊ฐ๋ ๊ณผ์ ์ ์๋ก ๋ค์ด๋ณด๊ฒ ์ต๋๋ค. Batch ํฌ๊ธฐ๋ ๋ช ๊ฐ์ ๋ฌธ์ ๋ฅผ ํ ๋ฒ์ ์ญ ํ๊ณ ์ฑ์ ํ ์ง๋ฅผ ๊ฒฐ์ ํ๋ ๊ฒ๊ณผ ๊ฐ์ต๋๋ค. ์๋ฅผ ๋ค์ด, ์ด 100๊ฐ์ ๋ฌธ์ ๊ฐ ์์ ๋, 20๊ฐ์ฉ ํ๊ณ ์ฑ์ ํ๋ค๋ฉด Batch ํฌ๊ธฐ๋ 20์ ๋๋ค. ์ฌ๋์ ๋ฌธ์ ๋ฅผ ํ๊ณ ์ฑ์ ์ ํ๋ฉด์ ๋ฌธ์ ๋ฅผ ํ๋ฆฐ ์ด์ ๋ ๋ง์ถ ์๋ฆฌ๋ฅผ ํ์ตํ์ฃ . ๋ฅ๋ฌ๋ ๋ชจ๋ธ ์ญ์ ๋ง์ฐฌ๊ฐ์ง์ ๋๋ค. Batch ํฌ๊ธฐ๋งํผ ๋ฐ์ดํฐ๋ฅผ ํ์ฉํด ๋ชจ๋ธ์ด ์์ธกํ ๊ฐ๊ณผ ์ค์ ์ ๋ต ๊ฐ์ ์ค์ฐจ(conf. ์์คํจ์)๋ฅผ ๊ณ์ฐํ์ฌ Optimizer๊ฐ parameter๋ฅผ..

1. ๊ฐ๋ Adaptive Moment Estimation(Adam)์ ๋ฅ๋ฌ๋ ์ต์ ํ ๊ธฐ๋ฒ ์ค ํ๋๋ก์จ Momentum๊ณผ RMSProp์ ์ฅ์ ์ ๊ฒฐํฉํ ์๊ณ ๋ฆฌ์ฆ์ ๋๋ค. ์ฆ, ํ์ต์ ๋ฐฉํฅ๊ณผ ํฌ๊ธฐ(=Learning rate)๋ฅผ ๋ชจ๋ ๊ฐ์ ํ ๊ธฐ๋ฒ์ผ๋ก ๋ฅ๋ฌ๋์์ ๊ฐ์ฅ ๋ง์ด ์ฌ์ฉ๋์ด "์ค๋" ์ต์ ํ ๊ธฐ๋ฒ์ผ๋ก ์๋ ค์ ธ ์์ต๋๋ค. ์ต๊ทผ์๋ RAdam, AdamW๊ณผ ๊ฐ์ด ๋์ฑ ์ฐ์ํ ์ฑ๋ฅ์ ๋ณด์ด๋ ์ต์ ํ ๊ธฐ๋ฒ์ด ์ ์๋์์ง๋ง, ๋ณธ ํฌ์คํ ์์๋ ๋ฅ๋ฌ๋ ๋ถ์ผ ์ ๋ฐ์ ๊ณต๋ถํ๋ ๋ง์๊ฐ์ง์ผ๋ก Adam์ ๋ํด ์์๋ด ๋๋ค.2. ์์์์๊ณผ ํจ๊ป Adam์ ๋ํด ์์ธํ ์์๋ณด๊ฒ ์ต๋๋ค. $$ m_{t} = \beta_{1} m_{t-1} + (1 - \beta_{1}) \nabla f(x_{t-1}) $$$$ g_{t} = \beta_{..