2019/0521 [๋ฆฌ๋ ์ค] ํ์ผ ์ด๋ฆ ์ฌ๋ฌ๊ฐ ๋์์ ๋ณ๊ฒฝ ๋น์ทํ ๊ท์น์ ํ์ผ๋ช ๋์์ ์ผ๊ด ๋ณ๊ฒฝํ๋ ๋ฐฉ๋ฒ์ ๋๋ค. rename '๊ณตํต๋ด์ฉ' '๋ณ๊ฒฝํ ๊ณตํต๋ด์ฉ' '๋ณ๊ฒฝ๋์' ex) rename .txt test.txt * 2019. 5. 31. Java Date ์ ๊ท์ ์๋ฐ date(๋ ์ง) ํฌ๋งท ๋ณ ์ ๊ท์์ ๋๋ค. public static final String YYYYMMDD = "(19|20)\\d{2}(0[1-9]|1[012])(0[1-9]|[12][0-9]|3[01])"; public static final String YYYYMMDDHH = "(19|20)\\d{2}(0[1-9]|1[012])(0[1-9]|[12][0-9]|3[01])(0[0-9]|1[0-9]|2[0-3])"; public static final String YYYYMMDDHHMI = "(19|20)\\d{2}(0[1-9]|1[012])(0[1-9]|[12][0-9]|3[01])(0[0-9]|1[0-9]|2[0-3])([0-5][0-9])"; public static final String YY.. 2019. 5. 31. [๋ฆฌ๋ ์ค] jar ํ์ผ ์์ฑ ๋ฐ ์คํ ๋ฐฉ๋ฒ ์ดํด๋ฆฝ์ค๋ก jar ํ์ผ ์์ฑํ์ฌ ๋ฆฌ๋ ์ค์์์ jar ํ์ผ ์คํํ๋ ๋ฐฉ๋ฒ์ ๋๋ค. ์๋ฐ์ฝ๋๋ ๋ฉ์ธํจ์๋ก ์ ๋ ฅ๋๋ ๊ฐ์ ์ถ๋ ฅํ๋ ๊ฐ๋จํ ์ฝ๋๋ก ์์ฑํ์ต๋๋ค. public class test{ public static void main(String[] args){ for(String arg:args){ System.out.println(arg); } } } 1. eclipse๋ก jar ํ์ผ ์์ฑ ๋ฉ์ธ ํด๋์ค๋ฅผ ์ง์ ํด์ฃผ์ง ์์ผ๋ฉด no main manifest attribute, in test.jar ์๋ฌ๊ฐ ๋ฐ์ํฉ๋๋ค. 2. ์์ฑํ jar ํ์ผ์ ๋ฆฌ๋ ์ค ์๋ฒ๋ก ์ด๋์ํค๊ณ ์๋ ๋ช ๋ น์ด๋ฅผ ์คํ java -jar test.jar TEST [์คํ ๊ฒฐ๊ณผ] TEST 2019. 5. 29. [Hadoop] missing block ์ฐพ๋ ๋ฐฉ๋ฒ โพ missing block error msg cannot obtain block length for LocatedBlock, Could not find CoarseGrainedScheduler or it has been stopped. โพ check corrupt file hdfs fsck -list-corruptfileblocks hdfs fsck /{path} -openforwrite 2019. 5. 29. [Hive] parquet ์์ถ ์ค์ CREATE TABLE test(a int, b string) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS PARQUET TBLPROPERTIES ("parquet.compression"="SNAPPY"); 2019. 5. 29. [Hive] ์ฟผ๋ฆฌ๊ฒฐ๊ณผ ํ์ผ ์ถ์ถ โพ hive -e ๋ช ๋ น์ด ์ฌ์ฉํ์ฌ ํ์ผ ์ ์ฅํ๋ ๋ฐฉ๋ฒ - beeline์ผ๋ก select ๊ฒฐ๊ณผ๋ฅผ ์ถ๋ ฅํ ๊ฒฝ์ฐ ์ปฌ๋ผ๋ช ๊ณผ ํ ์ด๋ธ ํํ๋ ๊ฐ์ด ๋์ค๊ธฐ ๋๋ฌธ์, outputformat=tsv2 ์ต์ ์ผ๋ก ์ ๊ฑฐํ ์ ์์ต๋๋ค. hive --outputformat=tsv2 -e "select * from db.tb" > /local_path/test.dat โพ delimiter ๋ณ๊ฒฝํ์ฌ ํ์ผ ์ ์ฅํ๋ ๋ฐฉ๋ฒ (hive to file) - ์๋๋ด์ฉ์์ ์ ์ฅํ ํ์ผ์ ๋๋ ํ ๋ฆฌ ์์น์ ์ํ๋ ๊ตฌ๋ถ์, ์ฟผ๋ฆฌ ์ค์ ํ hql ํ์ผ ์ ์ฅ INSERT OVERWRITE LOCAL DIRECTORY './directory_name' ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' STORED AS .. 2019. 5. 29. [์ดํด๋ฆฝ์ค] Synchronize ํญ ํ๋จ์ ๊ณ ์ ํ๊ธฐ ์ดํด๋ฆฝ์ค์์ Synchronize ์ฌ์ฉํ ๋ ์ด๊ธฐ ์ค์ ์ด ํ๋ฉด ์ ํ๋๋๋ก ์ค์ ๋์ด ์๋๋ฐ ์์ ํ๋ค ๋ณด๋ฉด ์๋นํ ๋ถํธํฉ๋๋ค. ์๋ ์ต์ ์ ์ฉํด ์ฃผ๋ฉด ์๋ ์์ญ์ ๊ณ ์ ๋ผ์ ํ๋ฉด ์ ํ๋์ง ์์ต๋๋ค. Window > Preferences > Team > Open the associated perspective when a synchronize operation completes > Never ํด๋ฆญ [์ค์ ํ ์ ์ฉ ํ๋ฉด] 2019. 5. 24. [์ดํด๋ฆฝ์ค] ๊ธ๊ผด ๋ฐ ํฌ๊ธฐ ๋ณ๊ฒฝ ๋ฐฉ๋ฒ eclipse ๊ธ๊ผด ๋ฐ ํฌ๊ธฐ ๋ณ๊ฒฝ ๋ฐฉ๋ฒ์ ๋๋ค. 1. Window -> Prefernces 2. General -> Appearance -> Colors and Fonts ->Basic -> Text Font -> Edit 3. ์ํ๋ ๊ธ๊ผด ๋ฐ ํฌ๊ธฐ ์ ํ 4. Apply and Close ํด๋ฆญํ๋ฉด ๋ณ๊ฒฝ ์๋ฃ 2019. 5. 24. ์ด์ 1 2 3 ๋ค์