๐ปTech159 [SOLVED] datanode denied communication with namenode because hostname cannot be resolved ๐ซ ERROR datanode denied communication with namenode because hostname cannot be resolved ๐ก SOLVED DNS ์ค์ ์ผ๋ก ๋ณ๋๋ก /etc/hosts ์์ ์ ์ํ๊ณ , ํ์ธํด๋ณด๋ ์ญ๋ฐฉํฅ DNS ๋ฑ๋ก์ด ์๋ผ์ ๋ฐ์ํ ๋ฌธ์ /etc/hosts์ FQDN ๋ฑ๋ก ์์ ์ผ๋ก ๋ฐ๋ก ๋ฌธ์ ํด๊ฒฐ 2023. 9. 27. [Java] ํ๋ก๊ทธ๋๋จธ์ค ๋คํธ์ํฌ ๐ ๋ฌธ์ ๋คํธ์ํฌ ๐ก ํ์ด DFS(๊น์ด ์ฐ์ ํ์) ์๊ณ ๋ฆฌ์ฆ์ ์ฌ์ฉํ์ฌ ๋คํธ์ํฌ๋ฅผ ํ์ํ๊ณ , ์ฐ๊ฒฐ๋ ๊ทธ๋ฃน์ ์ฐพ์ answer ๋ณ์์ ์ ์ฅํ ํ ๋ฐํํฉ๋๋ค. class Solution { public int solution(int n, int[][] computers) { boolean[] visited = new boolean[n]; // ์ปดํจํฐ ๋ฐฉ๋ฌธ ์ฌ๋ถ๋ฅผ ์ ์ฅํ๋ ๋ฐฐ์ด int answer = 0; // ๋คํธ์ํฌ ๊ฐ์๋ฅผ ์ธ๋ ๋ณ์ for (int i = 0; i < n; i++) { if (!visited[i]) { // ์์ง ๋ฐฉ๋ฌธํ์ง ์์ ์ปดํจํฐ๋ผ๋ฉด dfs(i, computers, visited); // DFS๋ก ์ฐ๊ฒฐ๋ ๋ชจ๋ ์ปดํจํฐ๋ฅผ ๋ฐฉ๋ฌธ answer++; // ๋คํธ์ํฌ ๊ฐ์ ์ฆ๊ฐ } } return.. 2023. 9. 26. [Java] ํ๋ก๊ทธ๋๋จธ์ค ํ๊ฒ ๋๋ฒ ๐ ๋ฌธ์ ํ๊ฒ ๋๋ฒ ๐ก ํ์ด ๊น์ด ์ฐ์ ํ์ (DFS)์ ํ์ฉํ์ฌ ์ฃผ์ด์ง ์ซ์ ๋ฐฐ์ด์์ ๊ฐ ์ซ์๋ฅผ ๋ํ๊ฑฐ๋ ๋นผ์ ํน์ ๋ชฉํ ์ซ์(target)๋ฅผ ๋ง๋ค ์ ์๋ ๊ฒฝ์ฐ์ ์๋ฅผ ๊ณ์ฐํ๋ ๋ฐฉ์์ ๋๋ค. class Solution { private int answer = 0; public int solution(int[] numbers, int target) { dfs(numbers, target, 0, 0); return answer; } private void dfs(int[] numbers, int target, int index, int currentSum) { if (index == numbers.length) { // ๋ฐฐ์ด์ ๋๊น์ง ๋๋ฌํ ๊ฒฝ์ฐ, ํ์ฌ ํฉ์ด ํ๊ฒ๊ณผ ์ผ์นํ๋์ง ํ์ธํ๊ณ answer๋ฅผ ์ ๋ฐ์ด.. 2023. 9. 25. Apache Ranger ์ฌ์ฉ๋ฒ Ranger Web UI ๊ฐ ๊ธฐ๋ฅ๋ค ์ฌ์ฉ๋ฐฉ๋ฒ์ ๋๋ค. Ranger๋? ํ๋ก ์ ์ฒด ์๋น์ค์ ๋ํ ๋ณด์ ์ ์ฑ ์ ์ ์ฉํ ์ ์๊ณ ๊ด๋ฆฌ ๋ฐ ์ด์ํ ์ ์๋ Hadoop Component ํ๋ก์ ๋ณด์ ๊ด๋ จ ์กฐ์น๋ ๋๋ถ๋ถ Ranger์์ ์ฒ๋ฆฌ ๊ฐ๋ฅํ๋ค๊ณ ๋ณด์๋ฉด ๋ฉ๋๋ค. Ranger Architecture Ranger๋ Hadoop์ ์ ์ฒด ์ปดํฌ๋ํธ์ ๋ํ Ranger ํ๋ฌ๊ทธ์ธ์ ํ์ฑํํ์ฌ ๋ชจ๋ ์ก์ธ์ค๋ฅผ ์ ์ดํ ์ ์์ต๋๋ค. Ranger ํ๋ฌ๊ทธ์ธ๊ณผ Ranger policy server ๊ฐ์๋ ์๋ฐฉํฅ ํต์ ์ด ์ด๋ฃจ์ด์ง๋ฉฐ, Ranger ํ๋ฌ๊ทธ์ธ์ ์ ๊ธฐ์ ์ผ๋ก(30์ด) Ranger Policy Server๋ฅผ ํธ์ถํ์ฌ ์๋ก์ด ์ ์ฑ ์ด ์ ์๋์๋์ง ํ์ธํฉ๋๋ค. ๐ https://doc.hcs.huawei.com/productdesc/.. 2023. 8. 23. [NiFi] ExecuteSQLRecord postgresql ์ฌ์ฉ์ ์ฃผ์ auto commit ์ต์ ์ด default๋ก true์ธ๋ฐ postgresql ๊ฐ์ ๊ฒฝ์ฐ true๋ก ์ฌ์ฉ ์, Heavy Query ์ผ ๊ฒฝ์ฐ ๋ชจ๋ ๋ฉ๋ชจ๋ฆฌ์ ์ฌ๋ ค์ ๊ฐ์ ธ์ค๊ธฐ ๋๋ฌธ์ nifi ์ฅ์ ๋ฐ์๋จ (nifi ํ๋ก์ธ์ค kill ํด์ค์ผ ํจ) ๊ฒฐ๋ก ์ postgresql์ auto commit ์ต์ ์ false๋ก ์ค์ ํ๊ณ fetch ์ฌ์ด์ฆ๋ฅผ ํ ๋นํด์ ๋ฉ๋ชจ๋ฆฌ ์ด์๋ฅผ ์๋ฐฉํ ์ ์์ 2023. 8. 22. [๋ฆฌ๋ ์ค] ulimit ์ค์ ํ์ฌ ์ฑ๋ฅ ์ ํ ํด์ open file๊ณผ process ์์ฑ ์ ํ ๊ด๋ จ ์์ธ ๋ฐ์์ ๋ฐฉ์งํ๊ธฐ ์ํด ์ค์ ํด์ค๋๋ค. โพ limit values ์์ vi /etc/security/limits.conf ------------------------------ * - nofile 65536 * - nproc 65536 ------------------------------ (- : soft, hard ๋์ผํ๊ฒ ์ ์ฉ) โพ ulimit ์กฐํ ๋ช ๋ น์ด ulimit -a ----------------------------------------- open files (-n) 65536 max user processes (-u) 65536 2023. 8. 21. [๋ฆฌ๋ ์ค] ssh ํจ์ค์๋ ์ ๋ ฅ์์ด ์ ์ (passwordless) ๋ฆฌ๋ ์ค์์ ํจ์ค์๋ ์ ๋ ฅ ์์ด ssh ์ ์ํ๋ 2๊ฐ์ง ๋ฐฉ๋ฒ ์ ๋ฆฌํฉ๋๋ค. 1. ํจ์ค์๋ ์ ๋ ฅ ์์ด ์ ์ํ ์๋ฒ์ ์ํธํ ํค๋ฅผ ๋ฑ๋กํ์ฌ ์๋๋ก๊ทธ์ธ์ ํฉ๋๋ค. โพ rsa ํค ์์ฑ์ด ์๋์์ ๊ฒฝ์ฐ ์์ฑํด ์ค๋๋ค. ssh-keygen -t rsa Enter file in which to save the key (/home/hadoop/.ssh/id_rsa): ## ()๊ดํธ ์์น๋ก ์ฌ์ฉํ ๊ฑฐ๋ฉด Enter Enter passphrase (empty for no passphrase): ## ํจ์ค์๋ ์์ด ์ฌ์ฉํ ๊ฑฐ๋ฉด Enter Enter same passphrase again: ## Enter โพ authorized_keys ํ์ผ์ด ์์ผ๋ฉด ์์ฑํ๋ฉด ๋ฉ๋๋ค. chmod 700 ~/.ssh ## 700์ผ๋ก ๊ถํ ๋ณ๊ฒฝ cd.. 2023. 8. 21. MySQL, MariaDB ํ๊ธ ๊นจ์ง ํ์ ํด๊ฒฐ(Hive Metastore) Hive์์ desc๋ก ํ ์ด๋ธ ์กฐํ ์ ํ๊ธ comment๊ฐ ๊นจ์ง๋ ๊ฒฝ์ฐ๊ฐ ์๋๋ฐ, metastore DB ํ๊ธ ์ค์ ์ด ์ ๋ผ์ ๊ทธ๋ ์ต๋๋ค. ์๋ ์กฐ์น ๋ฐฉ๋ฒ์ ๋๋ค. MySQL 1. my.cnf ์์ my.cnf ํ์ผ ์ด์ด์ ์๋๋ด์ฉ์์ ์๋๊ฒ๋ค์ ์ถ๊ฐํด ์ฃผ์ธ์. [root@localhost]$ vi /etc/my.cnf ---------------------------------------------------------- [client] character-sets-dir = utf8 [mysqld] init_connect=SET collation_connection = utf8_general_ci init_connect=SET NAMES utf8 character-set-server = utf8 col.. 2023. 8. 21. ์ด์ 1 2 3 4 5 ยทยทยท 20 ๋ค์