본문 바로가기

💻Tech/🐝HIVE17

[Hive] beeline 계정,패스워드 없이 자동 로그인 설정 hive 3.0 같은 경우 모든 hive 접속을 beeline으로 수행해야하는데 매번 계정,패스워드 입력하는 불편함과 쉘 작성할 경우 보안문제가 있는데 아래 xml 파일을 ~/.beeline/ 밑에 생성해주면 자동 로그인이 가능합니다. 💡 LDAP 자동 인증 방법 vi /home/admin/.beeline/beeline-hs2-connection.xml --------------------------------------------------------------- beeline.hs2.connection.user hive beeline.hs2.connection.password hive_password --------------------------------------------------------.. 2019. 9. 23.

[Hive] parquet 압축 설정 CREATE TABLE test(a int, b string) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS PARQUET TBLPROPERTIES ("parquet.compression"="SNAPPY"); 2019. 5. 29.

[Hive] 쿼리결과 파일 추출 ◾ hive -e 명령어 사용하여 파일 저장하는 방법 - beeline으로 select 결과를 출력할 경우 컬럼명과 테이블 형태도 같이 나오기 때문에, outputformat=tsv2 옵션으로 제거할 수 있습니다. hive --outputformat=tsv2 -e "select * from db.tb" > /local_path/test.dat ◾ delimiter 변경하여 파일 저장하는 방법 (hive to file) - 아래내용에서 저장할 파일의 디렉토리 위치와 원하는 구분자, 쿼리 설정 후 hql 파일 저장 INSERT OVERWRITE LOCAL DIRECTORY './directory_name' ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' STORED AS .. 2019. 5. 29.

[Hive] header 제거 옵션 hive에서 데이터 조회 시 파일에 헤더가 있는 경우 파일에서 직접 헤더를 제거하지 않고 아래 옵션으로 대체 가능합니다. 스키마 마지막 줄에 아래 옵션 추가 하거나 ALTER TABLE 명령어로 적용해 줍니다. ◾ 헤더 제거 옵션 설정 1번째 라인 제거하고 데이터 조회 됩니다. ALTER TABLE db_nm.tb_nm set tblproperties("skip.header.line.count"="1"); ◾ 추가한 옵션 제거 ALTER TABLE db_nm.tb_nm UNSET TBLPROPERTIES('skip.header.line.count'); 2019. 5. 16.

Hive 명령어 정리 ◾ 데이터베이스 생성 CREATE DATABASE IF NOT EXISTS db_nm; ◾ 테이블 생성 External : hive에서 테이블 drop할 경우 hdfs 경로 및 파일 보존 HDFS 경로의 데이터 뿐만 아니라 Amazon, Azure 등의 클라우드 스토리지로 지정 가능 Managed : hive에서 테이블 drop할 경우 hdfs 경로 및 파일 삭제 -- External Table CREATE EXTERNAL TABLE IF NOT EXISTS db_nm.table_nm ( a string comment 'a', b string comment 'b', c string comment 'c' ) comment 'table comment' PARTITIONED BY (DT STRING) ROW .. 2017. 2. 15.

[HIVE] Delimiter \u001E \u001E -> \036 [record seperator] ROW FORMAT DELIMITED FIELDS TERMINATED BY '\036' 으로 설정 후 Desc 조회하면 \u001E 헥사값으로 나옵니다. 아래 site 아스키표 참고하면 hive 딜리미터 관련하여 이해하기 쉽습니다. 2016. 11. 30.

[Hive] 테이블 삭제하지 않고 drop database 하는 방법 temp 데이터 베이스로 테이블 명을 변경하고 삭제해주면 됩니다. CREATE DATABASE temp; USE targetDB; ALTER TABLE targetTable RENAME TO temp.targetTable ; DROP DATABASE targetDB; 2016. 10. 18.

[Hive] 데이터베이스 스키마 전체 추출 ◾ hive에서 데이터베이스 스키마를 통째로(하위 테이블들까지) 생성하는 shell script #!/bin/bash OPTION="--showHeader=false --outputformat=tsv2" DATABASE_NM=`hive ${OPTION} -e "show databases;"` for database in $DATABASE_NM do TABLE_NM=`hive ${OPTION} -e "use ${database}; show tables;"` for table in $TABLE_NM do hive ${OPTION} -e "show create table ${database}.${table}" >> ${database}_schema.hql echo ";" >> ${database}_schema.. 2016. 10. 4.

이전 1 2 3 다음

티스토리툴바