본문 바로가기

💻Tech/🐝HIVE17

[Hive,Impala] sql파일 실행할 때 변수 넘기는 방법 ◾ Hive hive 3.0부터는 hiveconf 사용이 안 돼서 hivevar를 사용합니다. -hivevar 사용 hive --hivevar dt=20190923 -f hive.sql -hive.sql 파일 내에서 변수 받는 방법 (파티션 생성 예제) ALTER TABLE dbnm.tblnm ADD PARTITION(dt='${hivevar:dt}'); ◾ Impala impala-shell -k --var="dt=20230821" -f impala.sql 2023. 8. 21.

hive/impala udf 등록 방법 hdfs 파일 업로드 후 impala, hive SQL에서 각각 function 생성해주고, function이 db 기준으로 생성되기 때문에, db명시를 해줘야 합니다. ◾ Impala create function default.count_date(string) returns string location 'hdfs:///user/hive/udf/udf-0.1.0.jar' symbol='udf.count_date'; ◾ Hive create function default.count_date as 'udf.count_date' using jar 'hdfs:///user/hive/udf/udf-0.1.0.jar'; 2023. 1. 16.

[Hive] multi delimiter 테이블 DDL create external table txt_test( a string, b string, c string, d string, e string ) ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.MultiDelimitSerDe' WITH SERDEPROPERTIES ("field.delim"="|\001|") LOCATION 'hdfs://name/tmp/test'; 2023. 1. 11.

[Hive] sequence 컬럼 생성 방법 🙆‍♂️ ROW_NUMBER() OVER() 구문을 사용해서 seq 번호를 저장 ## 기존 테이블에서 seq 컬럼을 추가한 테이블 생성 CREATE TABLE new_table( seq int, code string, description string, total_emp int, salary int ) STORE AS parquet; ## 기존 테이블에 ROW_NUMBER() OVER() 합수 사용해서 seq 컬럼 추가한 데이터 insert insert overwrite table new_table select * from ( select ROW_NUMBER() OVER() as RNUM, * from old_table) a where a.RNUM 2021. 4. 28.

[Hive] metastore 스키마 버전 업그레이드 사용 중이던 hive 버전을 올렸을 때 metastore 스키마가 변경된 경우 스키마도 업그레이드 필요합니다. 업그레이드하지 않으면 hive 서비스 실행할 때 아래와 같이 해당 컬럼을 찾을 수 없다는 에러가 발생합니다. java.sql.BatchUpdateException: Unknown column 'DB_MANAGED_LOCATION_URI' in 'field list' 💹 업그레이드 방법 hive에서 지원하는 schemaTool을 사용하여 업그레이드 진행해 줍니다. ◾ 버전 확인 명령어 hive --service schemaTool -url jdbc:mysql://[HOSTNAME]:3306/metastore -userName hive --passWord hive -dbType mysql -info.. 2020. 6. 2.

[Hive] 테이블 JSON 포맷 사용 방법 1. JSON 데이터 확인 2. Hive 데이터베이스/테이블 생성 json 중첩 객체가 존재할 경우 string으로 처리 json 컬럼 type 주의 (arrary) - 컬럼 List type을 String으로 설정해서 아래 에러가 발생함. org.apache.hadoop.hive.serde2.SerDeException: java.io.IOException: Field name expected CREATE DATABASE IF NOT EXISTS db_nm; CREATE EXTERNAL TABLE IF NOT EXISTS db_nm.tb_nm ( repotype string, repo string, requser string, tags array ) PARTITIONED BY (dt string) ROW.. 2020. 3. 27.

[Hive] 접속 session timeout 설정 hive.server2.idle.operation.timeout = 2h hive.server2.idle.session.timeout = 3h hive.server2.session.check.interval = 3600000 (1h) 2019. 11. 21.

[Hive] 쿼리 조회시 파티션 필수 입력 옵션 hive 쿼리 실행 시 파티션 조건을 주지 않고 실행할 경우 YARN 자원을 많이 사용하기 때문에 클러스터에 부하를 줍니다. 이러한 문제를 예방하기 위해 hive 파티션 테이블 경우 where 구문 필수 입력 조건을 설정할 수 있습니다 set hive.mapred.mode=strict 2019. 9. 30.

이전 1 2 3 다음

티스토리툴바