본문 바로가기

💻Tech162

[리눅스] ulimit 설정하여 성능 제한 해제 open file과 process 생성 제한 관련 예외 발생을 방지하기 위해 설정해줍니다. ◾ limit values 수정 vi /etc/security/limits.conf ------------------------------ * - nofile 65536 * - nproc 65536 ------------------------------ (- : soft, hard 동일하게 적용) ◾ ulimit 조회 명령어 ulimit -a ----------------------------------------- open files (-n) 65536 max user processes (-u) 65536 2023. 8. 21.

[리눅스] ssh 패스워드 입력없이 접속 (passwordless) 리눅스에서 패스워드 입력 없이 ssh 접속하는 2가지 방법 정리합니다. 1. 패스워드 입력 없이 접속할 서버에 암호화 키를 등록하여 자동로그인을 합니다. ◾ rsa 키 생성이 안되있을 경우 생성해 줍니다. ssh-keygen -t rsa Enter file in which to save the key (/home/hadoop/.ssh/id_rsa): ## ()괄호 위치로 사용할 거면 Enter Enter passphrase (empty for no passphrase): ## 패스워드 없이 사용할 거면 Enter Enter same passphrase again: ## Enter ◾ authorized_keys 파일이 없으면 생성하면 됩니다. chmod 700 ~/.ssh ## 700으로 권한 변경 cd.. 2023. 8. 21.

MySQL, MariaDB 한글 깨짐 현상 해결(Hive Metastore) Hive에서 desc로 테이블 조회 시 한글 comment가 깨지는 경우가 있는데, metastore DB 한글 설정이 안 돼서 그렇습니다. 아래 조치 방법입니다. MySQL 1. my.cnf 수정 my.cnf 파일 열어서 아래내용에서 없는것들을 추가해 주세요. [root@localhost]$ vi /etc/my.cnf ---------------------------------------------------------- [client] character-sets-dir = utf8 [mysqld] init_connect=SET collation_connection = utf8_general_ci init_connect=SET NAMES utf8 character-set-server = utf8 col.. 2023. 8. 21.

[Hive,Impala] sql파일 실행할 때 변수 넘기는 방법 ◾ Hive hive 3.0부터는 hiveconf 사용이 안 돼서 hivevar를 사용합니다. -hivevar 사용 hive --hivevar dt=20190923 -f hive.sql -hive.sql 파일 내에서 변수 받는 방법 (파티션 생성 예제) ALTER TABLE dbnm.tblnm ADD PARTITION(dt='${hivevar:dt}'); ◾ Impala impala-shell -k --var="dt=20230821" -f impala.sql 2023. 8. 21.

[NiFi] FlowFile "Details" 값 attribute 추출 방법 Details 탭에서 Filename, File Size 라는 값을 attribute로 추출하는 방법입니다. UdateAttribute 프로세서를 생성하고 아래와 같이 설정해주면 해당 값을 가져올 수 있습니다. 속성이름: my_file_name 속성값: ${filename} 속성이름: my_file_size 속성값: ${fileSize} 2023. 4. 21.

[리눅스] JupyterHub 설치 방법 리눅스 환경 (CentOS 7, Python3.8)에서 JupyterHub 설치 방법 공유합니다. 설치 전 Jupyter 용어 관련하여 간략하게 정리 하겠습니다. Jupyter Notebook 대화형 Python Interpreter로 웹 환경에서 Python 코드 작성 및 실행하는 개발 환경(tool) Jupyter Lab Jupyter Notebook의 차세대 버전으로 사용자 편의 기능들이 추가됨 다중창 지원, csv/pdf 등 파일도 열 수 있어서 대시보드처럼 사용 가능 JupyterHub 멀티 사용자 환경에서 Jupyter Notebook/Lab을 사용 📖 설치 방법 1. os 패키지 설치 yum install –y nodejs yum install openssl 2. nodejs 패키지 설치 ◾.. 2023. 4. 13.

[python] pysqlite3 설치 오류 해결 🚫 ERROR src/connection.h:34:21: fatal error: sqlite3.h: No such file or directory #include "sqlite3.h" compilation terminated. error: command 'gcc' failed with exit status 1 💡 SOLVED $ yum install -y libsqlite3x-devel $ pip3 install pysqlite3 2023. 4. 12.

[python] sasl 설치 오류 해결 sasl 라이브러리 설치 과정에서 아래와 같은 오류 해결 방법들입니다. 리눅스 패키지 설치가 필요하네요. 결과적으로 아래 명령어 수행하여 패키지 설치해주면 됩니다. 🚫 ERROR gcc: error trying to exec 'cc1plus': execvp: No such file or directory sasl/saslwrapper.h:22:23: fatal error: sasl/sasl.h: No such file or directory 💡 SOLVED $ yum install -y gcc-c++ cyrus-sasl-devel $ pip3 install sasl 2023. 3. 22.

이전 1 2 3 4 5 6 ··· 21 다음

티스토리툴바