๊ด€๋ฆฌ ๋ฉ”๋‰ด

๋ชฉ๋กUnigram (1)

DATA101

[NLP] N-gram ์–ธ์–ด ๋ชจ๋ธ์˜ ๊ฐœ๋…, ์ข…๋ฅ˜, ํ•œ๊ณ„์ 

๐Ÿ“š ๋ชฉ์ฐจ1. N-gram ๊ฐœ๋…2. N-gram ๋“ฑ์žฅ ๋ฐฐ๊ฒฝ3. N-gram ์ข…๋ฅ˜ 4. N-gram ๊ธฐ๋ฐ˜ ๋‹จ์–ด ์˜ˆ์ธก 5. N-gram์˜ ํ•œ๊ณ„์ 1. N-gram ๊ฐœ๋…์–ธ์–ด ๋ชจ๋ธ(Language Model)์€ ๋ฌธ์žฅ ๋‚ด ์•ž์„œ ๋“ฑ์žฅํ•œ ๋‹จ์–ด๋ฅผ ๊ธฐ๋ฐ˜์œผ๋กœ ์ด์–ด์„œ ๋“ฑ์žฅํ•  ์ ์ ˆํ•œ ๋‹จ์–ด๋ฅผ ์˜ˆ์ธกํ•˜๋Š” ๋ชจ๋ธ์ž…๋‹ˆ๋‹ค. ์–ธ์–ด ๋ชจ๋ธ์€ ํฌ๊ฒŒ ํ†ต๊ณ„ํ•™ ๊ธฐ๋ฐ˜์˜ ์–ธ์–ด ๋ชจ๋ธ(Statistical Language Model, SLM)๊ณผ ์ธ๊ณต์‹ ๊ฒฝ๋ง(Artificial Neural Network, ANN) ๊ธฐ๋ฐ˜์˜ ์–ธ์–ด ๋ชจ๋ธ์ด ์žˆ์Šต๋‹ˆ๋‹ค. N-gram์€ ํ†ต๊ณ„ํ•™ ๊ธฐ๋ฐ˜์˜ ์–ธ์–ด ๋ชจ๋ธ ์ค‘ ํ•˜๋‚˜์ž…๋‹ˆ๋‹ค. N-gram ์–ธ์–ด ๋ชจ๋ธ์€ ์ด์ฒ˜๋Ÿผ ๋‹ค์Œ ๋‹จ์–ด๋ฅผ ์˜ˆ์ธกํ•  ๋•Œ ๋ฌธ์žฅ ๋‚ด ๋ชจ๋“  ๋‹จ์–ด๋ฅผ ๊ณ ๋ คํ•˜์ง€ ์•Š๊ณ  ํŠน์ • ๋‹จ์–ด์˜ ๊ฐœ์ˆ˜(\(N\))๋งŒ ๊ณ ๋ คํ•ฉ๋‹ˆ๋‹ค. ์ฆ‰, N-gram์€ \(N\)..