๊ด€๋ฆฌ ๋ฉ”๋‰ด

๋ชฉ๋ก์ „์ฒด ๊ธ€ (350)

DATA101

[NLP] ๋ฌธ์„œ ๋‹จ์–ด ํ–‰๋ ฌ(DTM) ๊ฐœ๋… ์ดํ•ด

๋ณธ ํฌ์ŠคํŒ…์—์„œ๋Š” ์นด์šดํŠธ ๊ธฐ๋ฐ˜์˜ ๋‹จ์–ด ํ‘œํ˜„๋ฐฉ๋ฒ• ์ค‘ ํ•˜๋‚˜์ธ ๋ฌธ์„œ ๋‹จ์–ด ํ–‰๋ ฌ(DTM)์˜ ๊ฐœ๋…์— ๋Œ€ํ•ด ์•Œ์•„๋ด…๋‹ˆ๋‹ค.๐Ÿ“š ๋ชฉ์ฐจ1. DTM ๊ฐœ๋… 2. DTM ์˜ˆ์‹œ 3. DTM ํ•œ๊ณ„์ 1. DTM ๊ฐœ๋…๋ฌธ์„œ ๋‹จ์–ด ํ–‰๋ ฌ(Document-Term Maxtrix, DTM)์€ ๋‹ค์ˆ˜์˜ ๋ฌธ์„œ ๋ฐ์ดํ„ฐ(=Corpus)์—์„œ ๋“ฑ์žฅํ•œ ๋ชจ๋“  ๋‹จ์–ด์˜ ์ถœํ˜„ ๋นˆ๋„์ˆ˜(frequency)๋ฅผ ํ–‰๋ ฌ๋กœ ํ‘œํ˜„ํ•œ ๊ฒƒ์ž…๋‹ˆ๋‹ค. ์ฆ‰, DTM์€ ๋‹ค์ˆ˜์˜ ๋ฌธ์„œ ๋ฐ์ดํ„ฐ์— ๋Œ€ํ•œ Bag of Words(BoW)๋ฅผ ํ–‰๋ ฌ๋กœ ํ‘œํ˜„ํ•œ ๊ฒƒ์ž…๋‹ˆ๋‹ค. DTM์€ ๊ตญ์†Œ ํ‘œํ˜„(Local Representation) ๋˜๋Š” ์ด์‚ฐ ํ‘œํ˜„(Discrete Representation)์˜ ์ผ์ข…์œผ๋กœ ์นด์šดํŠธ ๊ธฐ๋ฐ˜์˜ ๋‹จ์–ด ํ‘œํ˜„๋ฐฉ๋ฒ•์ž…๋‹ˆ๋‹ค.2. DTM ์˜ˆ์‹œDTM ์˜ˆ์‹œ๋ฅผ ๋“ค์–ด๋ณด๊ฒ ์Šต๋‹ˆ๋‹ค. ์•„๋ž˜์™€ ๊ฐ™์ด 4๊ฐœ์˜ ๋ฌธ์„œ๊ฐ€ ์žˆ๋‹ค..

[NLP] Bag of Words(BoW) ๊ฐœ๋… ๋ฐ ์‹ค์Šต

๋ณธ ํฌ์ŠคํŒ…์—์„œ๋Š” ์นด์šดํŠธ ๊ธฐ๋ฐ˜์˜ ๋‹จ์–ด ํ‘œํ˜„ ๋ฐฉ๋ฒ•์ธ Bag of Words(BoW) ๊ฐœ๋…๊ณผ ์ƒ์„ฑ ๋ฐฉ๋ฒ•์„ ์•Œ์•„๋ด…๋‹ˆ๋‹ค.๐Ÿ“š ๋ชฉ์ฐจ1. BoW ๊ฐœ๋…2. BoW ํŠน์ง•3. BoW ์ƒ์„ฑ ์ ˆ์ฐจ4. BoW ์ƒ์„ฑ ์‹ค์Šต1. BoW ๊ฐœ๋…Bag of Words(BoW)๋Š” ๋‹จ์–ด๋ฅผ ์ˆ˜์น˜ํ™”ํ•˜๋Š” ๋ฐฉ๋ฒ• ์ค‘ ํ•˜๋‚˜๋กœ, ๋ฌธ์„œ ๋‚ด ๋‹จ์–ด์˜ ์ˆœ์„œ์™€ ์˜๋ฏธ๋Š” ๊ณ ๋ คํ•˜์ง€ ์•Š๊ณ  ์˜ค์ง ์ถœํ˜„ ๋นˆ๋„(frequency)๋งŒ ๊ณ ๋ คํ•˜์—ฌ ๋‹จ์–ด๋ฅผ ํ‘œํ˜„ํ•˜๋Š” ๋ฐฉ๋ฒ•์ž…๋‹ˆ๋‹ค. BoW๋Š” ๊ตญ์†Œ ํ‘œํ˜„๋ฐฉ๋ฒ•(Local Representation) ๋˜๋Š” ์ด์‚ฐ ํ‘œํ˜„๋ฐฉ๋ฒ•(Discrete Representation)์˜ ์ผ์ข…์œผ๋กœ ์นด์šดํŠธ ๊ธฐ๋ฐ˜์˜ ๋‹จ์–ด ํ‘œํ˜„๋ฐฉ๋ฒ•(Count-based Word Representation)์ด๋ผ๊ณ  ๋ถ€๋ฆ…๋‹ˆ๋‹ค(๊ทธ๋ฆผ 1 ์ฐธ๊ณ ).2. BoW ํŠน์ง•BoW๋Š” ์–ด๋–ค ๋‹จ์–ด๋“ค์ด ๋ช‡ ํšŒ..

[Deep Learning] ํผ์…‰ํŠธ๋ก (Perceptron) ํ•™์Šต๋ฐฉ๋ฒ• ๋ฐ ์ ˆ์ฐจ

๋ณธ ํฌ์ŠคํŒ…์—์„œ๋Š” ํผ์…‰ํŠธ๋ก (Perceptron) ํ•™์Šต(train)์˜ ์˜๋ฏธ์™€ ์ ˆ์ฐจ์— ๋Œ€ํ•ด ์•Œ์•„๋ด…๋‹ˆ๋‹ค. ๐Ÿ“š ๋ชฉ์ฐจ 1. ํผ์…‰ํŠธ๋ก ์˜ ๊ฐœ๋… 2. ํผ์…‰ํŠธ๋ก  ํ•™์Šต์˜ ์˜๋ฏธ 3. ํผ์…‰ํŠธ๋ก  ํ•™์Šต ๋ฐฉ๋ฒ• 4. ํผ์…‰ํŠธ๋ก  ํ•™์Šต ์ ˆ์ฐจ 1. ํผ์…‰ํŠธ๋ก ์˜ ๊ฐœ๋… ํผ์…‰ํŠธ๋ก ์˜ ํ•™์Šต ์ ˆ์ฐจ๋ฅผ ์•Œ์•„๋ณด๊ธฐ ์ „์— ํผ์…‰ํŠธ๋ก  ๊ฐœ๋…์— ๋Œ€ํ•ด ์•Œ์•„๋ด…๋‹ˆ๋‹ค. ํผ์…‰ํŠธ๋ก ์€ ์ด์ง„ ๋ถ„๋ฅ˜(Binary Classification) ๋ชจ๋ธ์„ ํ•™์Šตํ•˜๊ธฐ ์œ„ํ•œ ์ง€๋„ํ•™์Šต(Supervised Learning) ๊ธฐ๋ฐ˜์˜ ์•Œ๊ณ ๋ฆฌ์ฆ˜์ž…๋‹ˆ๋‹ค. ์ด์ง„๋ถ„๋ฅ˜๋ž€ ์˜ˆ๋ฅผ ๋“ค์–ด ์ธ๊ณต์ง€๋Šฅ(AI)์—๊ฒŒ ๋ฌด์ž‘์œ„๋กœ ๋™๋ฌผ ์‚ฌ์ง„์„ ๋ณด์—ฌ์ฃผ์—ˆ์„ ๋•Œ ๊ณ ์–‘์ด ์‚ฌ์ง„์ธ์ง€, ๊ฐ•์•„์ง€ ์‚ฌ์ง„์ธ์ง€ ๋ถ„๋ฅ˜ํ•˜๋Š” ๋ฌธ์ œ์ž…๋‹ˆ๋‹ค. ์—ฌ๊ธฐ์„œ ๊ณ ์–‘์ด, ๊ฐ•์•„์ง€์™€ ๊ฐ™์€ ์„ ํƒ์ง€๋ฅผ ํด๋ž˜์Šค(Class)๋ผ๊ณ  ๋ถ€๋ฅด๊ณ  ์„ ํƒ์ง€๊ฐ€ 2๊ฐœ์ธ ๊ฒฝ์šฐ๋ฅผ ์ด์ง„ ๋ถ„๋ฅ˜๋ผ๊ณ  ํ•ฉ๋‹ˆ๋‹ค. ์ˆ˜ํ•™์ ์ธ ์ธก..

[Deep Learning] ํผ์…‰ํŠธ๋ก (Perceptron) ๊ฐœ๋… ์ดํ•ด

๋ณธ ํฌ์ŠคํŒ…์—์„œ๋Š” ์ธ๊ณต์‹ ๊ฒฝ๋ง์˜ ์ดˆ๊ธฐ ํ˜•ํƒœ์ด์ž ๊ตฌ์„ฑ ์š”์†Œ์ธ ํผ์…‰ํŠธ๋ก (Perceptron)์˜ ๊ฐœ๋…์— ๋Œ€ํ•ด ์•Œ์•„๋ด…๋‹ˆ๋‹ค.๐Ÿ“š ๋ชฉ์ฐจ1. ํผ์…‰ํŠธ๋ก  ๊ฐœ์š” 2. ์ƒ๋ฌผํ•™ ๋‰ด๋Ÿฐ์˜ ์—ญํ• ๊ณผ ๋™์ž‘๊ณผ์ • 3. ํผ์…‰ํŠธ๋ก ์˜ ์—ญํ• ๊ณผ ๋™์ž‘๊ณผ์ •4. ํผ์…‰ํŠธ๋ก ์˜ ์ข…๋ฅ˜ 4.1. ๋‹จ์ธต ํผ์…‰ํŠธ๋ก  4.2. ๋‹ค์ธต ํผ์…‰ํŠธ๋ก 1. ํผ์…‰ํŠธ๋ก (Perceptron) ๊ฐœ์š”ํผ์…‰ํŠธ๋ก (Perceptron)์€ ์ธ๊ณต ์‹ ๊ฒฝ๋ง(Aritificial Neural Network, ANN)์˜ ๊ตฌ์„ฑ ์š”์†Œ(unit)๋กœ์„œ ๋‹ค์ˆ˜์˜ ๊ฐ’์„ ์ž…๋ ฅ๋ฐ›์•„ ํ•˜๋‚˜์˜ ๊ฐ’์œผ๋กœ ์ถœ๋ ฅํ•˜๋Š” ์•Œ๊ณ ๋ฆฌ์ฆ˜์ž…๋‹ˆ๋‹ค. Perceptron์€ perception๊ณผ neuron์˜ ํ•ฉ์„ฑ์–ด์ด๋ฉฐ ์ธ๊ณต ๋‰ด๋Ÿฐ์ด๋ผ๊ณ ๋„ ๋ถ€๋ฆ…๋‹ˆ๋‹ค. ์ฆ‰, ํผ์…‰ํŠธ๋ก ์€ ์ƒ๋ฌผํ•™์ ์ธ ์‹ ๊ฒฝ๊ณ„(Neual Network)์˜ ๊ธฐ๋ณธ ๋‹จ์œ„์ธ ์‹ ๊ฒฝ์„ธํฌ(=๋‰ด๋Ÿฐ)์˜ ๋™์ž‘..

[SAP/ABAP] ๊ตฌ๊ตฌ๋‹จ ํ”„๋กœ๊ทธ๋žจ ๋งŒ๋“ค๊ธฐ(Internal Table, ๋ฐ˜๋ณต๋ฌธ ํ™œ์šฉ)

๋ณธ ํฌ์ŠคํŒ…์—์„œ๋Š” SAP(ABAP)์—์„œ ๊ตฌ๊ตฌ๋‹จ์„ ํ…Œ์ด๋ธ”์— ์ €์žฅํ•˜๊ณ  ์ถœ๋ ฅํ•˜๋Š” ์˜ˆ์ œ ์ฝ”๋“œ๋ฅผ ๊ณต์œ ํ•ฉ๋‹ˆ๋‹ค. ๐Ÿ“š ๋ชฉ์ฐจ 1. ์‹คํ–‰๊ฒฐ๊ณผ 2. ํ…Œ์ด๋ธ” Fields 3. ์ „์ฒด ์ฝ”๋“œ 4. ์ฝ”๋“œ ์„ค๋ช… 5. ์‹คํ–‰๊ฒฐ๊ณผ 1. ์‹คํ–‰๊ฒฐ๊ณผ ์‹คํ–‰๊ฒฐ๊ณผ ๋จผ์ € ๊ณต์œ ํ•ฉ๋‹ˆ๋‹ค. ์œ„์™€ ๊ฐ™์ด 1๋‹จ๋ถ€ํ„ฐ 9๋‹จ๊นŒ์ง€์˜ ๊ตฌ๊ตฌ๋‹จ์„ ์ถœ๋ ฅํ•˜๋Š” ํ”„๋กœ๊ทธ๋žจ์„ ๋งŒ๋“ค๊ณ ์ž ํ•ฉ๋‹ˆ๋‹ค. ๋ณธ ํ”„๋กœ๊ทธ๋žจ์€ ๊ฐ ์ž๋ฆฟ์ˆ˜์˜ ๊ฐ’๊ณผ ์—ฐ์‚ฐ์ž(*), ๊ทธ๋ฆฌ๊ณ  ๊ฒฐ๊ด๊ฐ’๊นŒ์ง€๋ฅผ ๋ชจ๋‘ Internal Table์— ์ €์žฅํ•˜๋Š” ํ”„๋กœ์„ธ์Šค๋ฅผ ๋ฐ˜๋ณตํ•ฉ๋‹ˆ๋‹ค. ๋˜ํ•œ, ํ…Œ์ด๋ธ” ๋‚ด ํ–‰(ROW) ๋ฐ์ดํ„ฐ๋ฅผ ํ•˜๋‚˜์”ฉ ์ ‘๊ทผํ•˜์—ฌ ์ถœ๋ ฅํ•˜๋„๋ก ๋ฐ˜๋ณตํ•ฉ๋‹ˆ๋‹ค. ์ด์–ด์ง€๋Š” ์„น์…˜์—์„œ ํ•ด๋‹น ํ”„๋กœ๊ทธ๋žจ ๊ตฌํ˜„์„ ์œ„ํ•œ ๊ธฐ๋ณธ์ ์ธ ์„ธํŒ…๋ฐฉ๋ฒ•๊ณผ ์ฝ”๋“œ๋ฅผ ๊ณต์œ ํ•ฉ๋‹ˆ๋‹ค. 2. ํ…Œ์ด๋ธ” Fields ํ…Œ์ด๋ธ” Fields๋Š” ์œ„์™€ ๊ฐ™์ด ๊ตฌ์„ฑํ•˜์˜€์Šต๋‹ˆ๋‹ค. ๊ตฌ๊ตฌ๋‹จ์—์„œ ์ฒซ ๋ฒˆ์งธ ์ˆซ์ž๋ฅผ STR..

SW ๊ฐœ๋ฐœ/ABAP(SAP) 2022. 3. 16. 11:09
[SAP/ABAP] ๊ตฌ์กฐ์ฒด ๊ฐœ๋…, ์ƒ์„ฑ๋ฐฉ๋ฒ•, ํ…Œ์ด๋ธ” ๋‚ด ๊ตฌ์กฐ์ฒด ์—ฐ๊ฒฐ ๋ฐฉ๋ฒ•

๋ณธ ํฌ์ŠคํŒ…์—์„œ๋Š” ๊ตฌ์กฐ์ฒด์˜ ๊ฐœ๋…๋ถ€ํ„ฐ ์ƒ์„ฑ ๋ฐฉ๋ฒ•, ํ…Œ์ด๋ธ”์— ๊ตฌ์กฐ์ฒด๋ฅผ ์—ฐ๊ฒฐํ•˜๋Š” ๋ฐฉ๋ฒ•๊นŒ์ง€ ์•Œ์•„๋ด…๋‹ˆ๋‹ค. 1. ๊ตฌ์กฐ์ฒด๋ž€? ๊ตฌ์กฐ์ฒด๋Š” ํ…Œ์ด๋ธ”๊ณผ ๋™์ผํ•˜๊ฒŒ ํ•„๋“œ๋กœ ๊ตฌ์„ฑ๋˜์ง€๋งŒ, ์ž์ฒด์ ์œผ๋กœ ๋ฐ์ดํ„ฐ๋ฅผ ์ €์žฅํ•  ์ˆ˜ ์—†๋Š” ๊ฐ์ฒด ์ข…๋ฅ˜์ž…๋‹ˆ๋‹ค. ๊ตฌ์กฐ์ฒด๋Š” ํŠน์ • ์šฉ๋„์˜ ๊ตฌ์กฐ๋ฅผ ์žฌํ™œ์šฉํ•  ์ˆ˜ ์žˆ๊ธฐ ๋•Œ๋ฌธ์— ์ƒ์‚ฐ์„ฑ ํ–ฅ์ƒ์— ํฐ ๋„์›€์ด ๋ฉ๋‹ˆ๋‹ค. ํ…Œ์ด๋ธ”์—์„œ ๊ตฌ์กฐ์ฒด๋Š” INCLUDE๋ฅผ ํ†ตํ•ด ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ์œผ๋ฉฐ, ์‹ค์ œ DB์— ์ƒ์„ฑ๋˜์ง€ ์•Š๊ณ  ABAP Dictionary์—๋งŒ ์กด์žฌํ•ฉ๋‹ˆ๋‹ค. 2. ๊ตฌ์กฐ์ฒด ์ƒ์„ฑ ์•„๋ž˜์™€ ๊ฐ™์€ ์ˆœ์„œ๋กœ ๊ตฌ์กฐ์ฒด ์ƒ์„ฑ ์ฐฝ์„ ์˜คํ”ˆํ•ฉ๋‹ˆ๋‹ค. 1) T-CODE SE80 ์ด๋™ 2) ํŒจํ‚ค์ง€ ์ด๋ฆ„ ๋งˆ์šฐ์Šค ์šฐ์ธก ํด๋ฆญ 3) Create 4) Dictionary Object 5) Structure ๊ตฌ์กฐ์ฒด ์ด๋ฆ„์„ ์ž…๋ ฅํ•ฉ๋‹ˆ๋‹ค. Short Description์„ ์ž‘์„ฑํ•ฉ..

SW ๊ฐœ๋ฐœ/ABAP(SAP) 2022. 3. 14. 08:23
LDA ํ† ํ”ฝ ๋ชจ๋ธ๋ง ๊ฐœ๋… ์„ค๋ช…

๐Ÿ‘จ‍๐Ÿ’ป ๋“ค์–ด๊ฐ€๋ฉฐ๋ณธ ํฌ์ŠคํŒ…์—์„œ๋Š” LDA ํ† ํ”ฝ ๋ชจ๋ธ๋ง์˜ ๊ฐœ๋…, ๊ฐ€์ •, ์•Œ๊ณ ๋ฆฌ์ฆ˜ ํ”„๋กœ์„ธ์Šค์— ๋Œ€ํ•ด ์•Œ์•„๋ด…๋‹ˆ๋‹ค. ํŠนํžˆ, ์ˆ˜ํ•™์ ์ธ ์ˆ˜์‹ ์—†์ด LDA ํ† ํ”ฝ ๋ชจ๋ธ๋ง์˜ ๋ฉ”์ปค๋‹ˆ์ฆ˜์„ ์‰ฌ์šด ์˜ˆ์‹œ์™€ ํ•จ๊ป˜ ๋น ๋ฅด๊ฒŒ ์ดํ•ดํ•˜๋Š” ๋ฐ ์ดˆ์ ์„ ๋‘ก๋‹ˆ๋‹ค. LDA ํ† ํ”ฝ ๋ชจ๋ธ๋ง ๊ด€๋ จ ์‹ค์Šต์€ ์•„๋ž˜ ํฌ์ŠคํŒ…์„ ์ฐธ๊ณ ํ•ด ์ฃผ์‹œ๊ธธ ๋ฐ”๋ž๋‹ˆ๋‹ค.https://heytech.tistory.com/401 [NLP] LDA ํ† ํ”ฝ ๋ชจ๋ธ๋ง์„ ํ™œ์šฉํ•œ ์•ฑ ๋ฆฌ๋ทฐ ๋ถ„์„ ํ”„๋กœ์ ํŠธ๐Ÿ“š ๋ชฉ์ฐจ 1. ๊ฐœ์š” 2. ๋ฐ์ดํ„ฐ์…‹ 3. LDA ํ† ํ”ฝ ๋ชจ๋ธ๋ง ๊ฐœ๋… 4. LDA ํ† ํ”ฝ ๋ชจ๋ธ๋ง ์‹œ๊ฐํ™” 5. ์ „์ฒด ์ฝ”๋“œ 6. ์ฝ”๋“œ ์„ค๋ช… 7. ๊ฒฐ๊ณผ ํ•ด์„๋ฐฉ๋ฒ• 8. ์ธ์‚ฌ์ดํŠธ ๋„์ถœ 1. ๊ฐœ์š” ๋ณธ ํ”„๋กœ์ ํŠธ๋Š” ๊ฑด๊ฐ•๊ด€๋ฆฌ ์•ฑ ๋ฆฌ๋ทฐ ํ…์ŠคํŠธ๋งˆ์ด๋‹heytech.tistory.com๐Ÿ“ ๋ชฉ์ฐจ 1. LDA ํ† ํ”ฝ ๋ชจ๋ธ๋ง์˜ ๊ฐœ๋… 2...