- Today
- Total
๋ชฉ๋กํ ์คํธ๋ง์ด๋ (5)
DATA101

์๋ ํ์ธ์, AI/๋น ๋ฐ์ดํฐ๋ถ์ ์ฐ๊ตฌ๊ฐ๋ฐ ์ ๋ฌธ๋ฒ์ธ DATA101 ํ์ ๋๋ค๐ ์ค๋์ ์ ํฌ DATA101์์ ๋ํ๋ฏผ๊ตญ No.1 ์๋์ฐจ Youtube '๊นํ์ฉ์ MOCAR' ์ฑ๋์ ์ฌ์ธต ๋ถ์ํ ์ฌ๋ก๋ฅผ ์๊ฐํด ๋๋ฆฝ๋๋ค๐จ๐ป์ด๋ฒ ์ฌ๋กzip ์ญ์ ์ ํฌ DATA101 ์ค๋ฌด์ง์ด ์ง์ ๋ฐ์ดํฐ ์์ง๋ถํฐ ๊ฐ๊ณต, ์๊ฐํ, ๋ฆฌํฌํธ ์์ฑ๊น์ง ์งํํ ํ๋ก์ ํธ์ ๋๋ค. ๋ณธ ํ๋ก์ ํธ์ ํ์ฉํ ๋ฐ์ดํฐ๋ 2024๋ 1๊ฐ๋ ์น๋ฅผ ์ง์ ์์งํ์ฌ ๋ถ์ํ ์ ์ฐธ๊ณ ํด ์ฃผ์๊ธธ ๋ฐ๋๋๋ค๐ํน์ ๋ธ๋๋, ํน์ ์ฃผ์ ์ ๋์ฑ ์ฌ์ธต์ ์ธ ๋ถ์ ์๋ฃ๊ฐ ํ์ํ์ ๋ถ๋ค๊ป์๋ ๋๊ธ / ์ด๋ฉ์ผ / ์นดํก ์ค ํธํ ๋ฐฉ๋ฒ์ผ๋ก ๋ฌธ์ํด ์ฃผ์ธ์๐ [ Contact Point ]๐ฌ ๋ฉ์ผ) contact@uf5.io๐ก ์นดํก) DATA101 (ํ๋ฌ์ค์น๊ตฌ)๐ด ์ ํ๋ธ) DAT..

๐ ์ง๋ 2์, ๋ฐ์ดํฐ์๋์ ํ์ AI/๋น ๋ฐ์ดํฐ๋ถ์ ์๋ฃจ์ ์ด No.1 ํ๋ฆฌ๋์ ๋ง์ผ ํฌ๋ชฝ์์ ์์ ํ ์์ 2% ์ ๋ฌธ๊ฐ ์๋น์ค์ธ prime์ ์ ์ ๋์์ต๋๋ค. ๐ prime์ 100๋ง ๊ฑด ์ด์์ ํฌ๋ชฝ ๊ฑฐ๋ Data๋ฅผ ๋ถ์ํ๊ณ ์๋น์ค ๋ง์กฑ๋ 99% ์ด์์ธ ์ ๋ฌธ๊ฐ ์ธํฐ๋ทฐ ๋ฐ ๋ ํผ๋ฐ์ค ์ฒดํฌ๋ฅผ ํตํด ์์ ๋ 300์ฌ ๋ช ์ ์์ ์ ๋ฌธ๊ฐ์๊ฒ๋ง ์ฃผ์ด์ง๋ ์๋น์ค์ ๋๋ค. ๐ค ์ฃผ๋ก Prime ์ ๋ฌธ๊ฐ๋ ๋๊ธฐ์ ๋ถํฐ ์คํํธ์ , ์ ๋ถ๊ธฐ๊ด๊น์ง B2B ๊ณ ๊ฐ์ ์ฃผ ํ๊ฒ์ผ๋ก ๊ฑฐ๋ํ๋ ํ์ง๋ณด์ฅ ์ ์ฒด๋ค๋ก ๊ตฌ์ฑ๋์ด ์์ต๋๋ค. ๐จ๐ป ํ์ฌ ์ ํฌ ๋ฐ์ดํฐ์๋์ ํ์ AI๋ฅผ ํ์ฉํ ๋น ๋ฐ์ดํฐ๋ถ์ ์๋ฃจ์ ๊ตฌ์ถ๋ถํฐ ๋ค์ํ ์ฐ์ ๊ตฐ์ ๋น ๋ฐ์ดํฐ ๋ถ์ ๊ณผ์ ์ํ์ ์ง์ํด ๋๋ฆฌ๊ณ ์์ต๋๋ค. ๐ AI ๊ธฐ์ ์ ํ์ฉํ SW ์ธํ๋ผ ๊ตฌ์ถ์ด๋ ๋น ๋ฐ์ดํฐ ๋ถ์..

๐ ๋ชฉ์ฐจ1. ๊ฐ์ 2. ๋ฐ์ดํฐ์ 3. LDA ํ ํฝ ๋ชจ๋ธ๋ง ๊ฐ๋ 4. LDA ํ ํฝ ๋ชจ๋ธ๋ง ์๊ฐํ 5. ์ ์ฒด ์ฝ๋ 6. ์ฝ๋ ์ค๋ช 7. ๊ฒฐ๊ณผ ํด์๋ฐฉ๋ฒ 8. ์ธ์ฌ์ดํธ ๋์ถ1. ๊ฐ์๋ณธ ํ๋ก์ ํธ์์๋ ๊ฑด๊ฐ๊ด๋ฆฌ ์ฑ ๋ฆฌ๋ทฐ ํ ์คํธ๋ง์ด๋์ ํตํด ๊ณ ๊ฐ์ ๋์ฆ๋ฅผ ๋ถ์ํ๊ณ , ์ด๋ฅผ ๋ฐํ์ผ๋ก ๊ฑด๊ฐ๊ด๋ฆฌ ์ฑ์ ๋์์ธ ์ ๋ต์ ์ ์ํฉ๋๋ค. ๊ตญ๋ด ๊ตฌ๊ธ ํ๋ ์ด ์คํ ์ด์์ ๊ฑด๊ฐ๊ด๋ฆฌ ์ฑ 424๊ฐ์์ ๋ฆฌ๋ทฐ 54๋ง ๊ฑด์ ์์งํ์์ผ๋ฉฐ, LDA ํ ํฝ ๋ชจ๋ธ๋ง์ ํตํด ์ฌ์ธต์ ์ผ๋ก ๊ณ ๊ฐ์ ๋์ฆ๋ฅผ ๋ถ์ํ์์ต๋๋ค. ์ ์ฒด ์ฝ๋ ๋ฐ ๋ฐ์ดํฐ์ ์ Github์ ์ ๋ก๋ํด ๋์์ต๋๋ค.2. ๋ฐ์ดํฐ์ 2.1. ์ฌ์ฉ์ ๋ฆฌ๋ทฐํ๊ตญ ๊ตฌ๊ธ ํ๋ ์ด ์คํ ์ด ๋ด ๊ฑด๊ฐ๊ด๋ฆฌ ์ฑ 424๊ฐ์์ ๋ฆฌ๋ทฐ 54๋ง ๊ฑด ์์ง(์๋ณธ: Github)๋ฐ์ดํฐ ์์ง ๋ฐฉ๋ฒ: ๊ตฌ๊ธ ํ๋ ์ด ์คํ ์ด ๋ฆฌ๋ทฐ ์์ง ํฌ๋กค๋ฌ ์์ฒด..

๐ ๋ชฉ์ฐจ1. ํ๋ก์ ํธ ๊ฐ์ 2. ๊ฐ๋ฐํ๊ฒฝ 3. Pretrained ์ธ์ด ๋ชจ๋ธ 4. ๊ฒฝ์ ๋ด์ค ๊ธฐ์ฌ ๊ฐ์ ๋ฐ์ดํฐ์ 5. ์ ์ฒด ์์ค์ฝ๋ 6. ์ฝ๋ ์ค๋ช 1. ํ๋ก์ ํธ ๊ฐ์Pretrained ์ธ์ด ๋ชจ๋ธ์ธ KLUE BERT-base ์์ ๊ฒฝ์ ๋ด์ค ๊ธฐ์ฌ์ ๊ฐ์ ์ด ๋ผ๋ฒจ๋ง ๋ ๋ฐ์ดํฐ์ ํ๊ตญ์ด ๋ฒ์ ์ Finance Phrase Bank์ ํ์ฉํ์ฌ ํ์ธํ๋ํ ๊ฐ์ ๋ถ๋ฅ ํ๋ก์ ํธ2. ๊ฐ๋ฐํ๊ฒฝGoogle Colab Pro / GPU3. Pretrained ์ธ์ด ๋ชจ๋ธKLUE(Korean Language Understanding Evaluation) BERT baseํ์ตํ ๋ฐ์ดํฐ์ ์ฐํฉ๋ด์ค์ ๋ด์ค ํค๋๋ผ์ธ์ฐํคํผ๋์์ํค๋ด์ค์ํคํธ๋ฆฌ์ ์น๋ด์คParaKQC(Parallel dataset of Korean Questions and Com..

์ค๋์ ๋ชจ๋ฐ์ผ ๋ฑ ํน App ๋ฆฌ๋ทฐ ํ ์คํธ๋ง์ด๋ ๊ด๋ จ ๋ ผ๋ฌธ์ ๋ฐฉ๋ฒ๋ก ์์ฃผ๋ก ๋น ๋ฅด๊ฒ ๋ฆฌ๋ทฐํด ๋ณด๊ฒ ์ต๋๋ค.๊ทธ๋ผ ๋ฐ๋ก ์์ํ์ฃ !๐ ๋ ผ๋ฌธ ์ถ์ฒ APALeem, B. H., & Eum, S. W. (2021). Using text mining to measure mobile banking service quality. Industrial Management & Data Systems.๐ก ์์ฝ์นด์นด์ค๋ฑ ํฌ ์ฑ ๋ฆฌ๋ทฐ ํ ์คํธ๋ง์ด๋์(ํค์๋ ์ถ์ถ, ํ ํฝ ๋ชจ๋ธ๋ง, ๊ฐ์ ๋ถ์) ํตํด ๋ชจ๋ฐ์ผ ๋ฑ ํน ์ฑ ์๋น์ค ํ๋ฆฌํฐ ํ๊ฐํ ๋ ผ๋ฌธ1. ๋ฐ์ดํฐ ์์ง ๋ฐ ์ ์ฒ๋ฆฌ1.1. Data collection- ๋ฐ์ดํฐ: ์นด์นด์ค ๋ฑ ํฌ ๊ณ ๊ฐ ๋ฆฌ๋ทฐ 3,900๊ฑด- ์์ง ์ถ์ฒ: ๊ตฌ๊ธ ํ๋ ์ด ์คํ ์ด- ์์ง ๋ฐฉ๋ฒ: WebHarvy ์น ํฌ๋กค๋ง ์๋ฃจ์ ํ์ฉ- ์์ง์ผ..