CREATE DATABASE IF NOT EXISTS db_nm;

DROP TABLE IF EXISTS db_nm.table_nm;

CREATE EXTERNAL TABLE IF NOT EXISTS db_nm.table_nm ( 
a string comment 'a',
b string comment 'b',
c string comment 'c'
) 
comment 'table comment'
PARTITIONED BY (DT STRING) 
ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' 
LINES TERMINATED BY '\n' 
NULL DEFINED AS '' 
STORED AS TEXTFILE 
LOCATION 'hdfs://' 
;

 

블로그 이미지

Heum's

IT 관련 지식 공유

hive에서 데이터 조회 시 파일에 헤더가 있는경우 파일에서 직접 헤더를 제거하지 않고

아래 옵션으로 대체 가능합니다.

 

스키마 마지막 줄에 아래 옵션 추가 합니다.

 

tblproperties("skip.header.line.count"="1");

1번째 라인 제거하고 데이터 조회 됩니다.

블로그 이미지

Heum's

IT 관련 지식 공유

Mysql Workbench 작업 시 탭을 닫고 재시작 했을 때 계속해서 이전에 작업한 탭이 열리는 경우가 있는데요 아래 설정 적용하시면 됩니다.


Edit -> Preferences -> SQL Editor -> Save snapshot of open editors on close (체크 해제)



블로그 이미지

Heum's

IT 관련 지식 공유


* hadoop 명령어 수행 중 GC overhead limit exceeded 와 같은 에러 발생될 경우

- hadoop-env.sh 설정파일 에서 export HADOOP_CLIENT_OPTS="-XX:-UseGCOverheadLimit -Xmx1024m" 메모리 변경 



블로그 이미지

Heum's

IT 관련 지식 공유

ALTER TABLE table_nm

set serde 'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe'

WITH SERDEPROPERTIES ('field.delim' = ',');


'field.delim' = 원하는 구분자로 변경하시면 됩니다.


블로그 이미지

Heum's

IT 관련 지식 공유

*hive 테이블 이름 변경하는 방법


ALTER TABLE table_name RENAME TO new_table_name;


파티션 재생성 할 필요 없습니다.

블로그 이미지

Heum's

IT 관련 지식 공유

* hive 스키마 Locaion 변경하는 방법


ALTER TABLE table_nm SET LOCATION "hdfs://want/location"; 


파티션 존재하는 경우 파티션 모두 drop 해주고 다시 msck repair table로 파티션 생성 해주세요.

그래야 다시 조회 가능합니다.

블로그 이미지

Heum's

IT 관련 지식 공유

이클립스에서 svn commit 안되면서 java is out of date disable 와 같은 에러가 날 경우


프로젝트 오른쪽 버튼 > Team > CleanUP



블로그 이미지

Heum's

IT 관련 지식 공유


My problem

Caused by: javax.jms.JMSException: Failed to build body from content. Serializable class not available to broker. Reason: java.lang.ClassNotFoundException: Forbidden class java.util.ArrayList! This class is not trusted to be serialized as ObjectMessage payload. Please take a look at http://activemq.apache.org/objectmessage.html for more information on how to configure trusted classes.



My solution

System.setProperty("org.apache.activemq.SERIALIZABLE_PACKAGES", "java.lang,javax.security,java.util,org.apache.activemq,com")


Add System property => java.util


Refernece site => http://activemq.apache.org/objectmessage.html

블로그 이미지

Heum's

IT 관련 지식 공유

[HIVE] Delimiter \u001E

etc 2016.11.30 17:49

\u001E -> \036 [record seperator]


ROW FORMAT DELIMITED FIELDS TERMINATED BY '\036' 으로 설정 후 

Desc 조회하면 \u001E로 나옵니다.


블로그 이미지

Heum's

IT 관련 지식 공유