๋ณธ๋ฌธ ๋ฐ”๋กœ๊ฐ€๊ธฐ

apache spark DataFrame1

์ŠคํŒŒํฌ ๋ฐ์ดํ„ฐ ํ”„๋ ˆ์ž„(์ƒ์„ฑ, ์Šคํ‚ค๋งˆ) ์•ˆ๋…•ํ•˜์„ธ์š” ํฌ๋ฆฌ๋„ฅ์Šค์„๋ผ์Šค์ž…๋‹ˆ๋‹ค. ์˜ค๋Š˜์€ ์ŠคํŒŒํฌ์˜ ๋ฐ์ดํ„ฐ ํ”„๋ ˆ์ž„์„ ์ƒ์„ฑํ•˜๋Š” ๋ฒ•๊ณผ ์Šคํ‚ค๋งˆ์— ๋Œ€ํ•ด์„œ ์ •๋ฆฌํ•ด๋ณด๋ ค๊ณ  ํ•ฉ๋‹ˆ๋‹ค. ๋ฐ์ดํ„ฐ ํ”„๋ ˆ์ž„ ์ƒ์„ฑ ๋จผ์ € ๋ฐ์ดํ„ฐ ํ”„๋ ˆ์ž„์„ ์ƒ์„ฑํ•˜๋Š” ๋ฐฉ๋ฒ•์ž…๋‹ˆ๋‹ค. ๊ฐ„๋‹จํ•˜๊ฒŒ ํ˜„์žฌ EPL ๋“์  ์ˆœ์œ„ ์ƒ์œ„ 5๋ช…์— ๋Œ€ํ•œ ์ •๋ณด๋กœ ๋งŒ๋“ค์–ด ๋ณด๊ฒ ์Šต๋‹ˆ๋‹ค. ๋จผ์ € ์Šค์นผ๋ผ์—์„œ ๋ฐ์ดํ„ฐ ํ”„๋ ˆ์ž„์„ ๋งŒ๋“ค ๋•Œ๋Š” Sequence ํด๋ž˜์Šค๋ฅผ ์‚ฌ์šฉํ•ด ๋‹ค์Œ๊ณผ ๊ฐ™์ด ์ž‘์„ฑํ•˜๋ฉด ๋ฉ๋‹ˆ๋‹ค. ์ƒ์„ฑํ•˜๋ฉด ์ปฌ๋Ÿผ ์ด๋ฆ„์ด ์—†๊ธฐ ๋•Œ๋ฌธ์— ๋’ค์— toDF() ๋ช…๋ น์–ด๋กœ ์ปฌ๋Ÿผ๋ช…์„ ์ง€์ •ํ•ด์ฃผ์‹œ๋ฉด ์ปฌ๋Ÿผ๋ช…์ด ์ถ”๊ฐ€๋ฉ๋‹ˆ๋‹ค. # ๋ฐ์ดํ„ฐ ํ”„๋ ˆ์ž„ ์ƒ์„ฑ(์ปฌ๋Ÿผ๋ช… X) val self_df = spark.createDataFrame(Seq(("์—˜๋ง ํ™€๋ž€๋“œ", 21), ("ํ•ด๋ฆฌ ์ผ€์ธ", 15), ("์ด๋ฐ˜ ํ† ๋‹ˆ", 12), ("๋ฏธํŠธ๋กœ๋น„์น˜", 11), ("๋ชจ๋ ˆ๋…ธ", 10))) # ๋ฐ.. 2023. 1. 14.