본문 바로가기

ALL159

쿠버네티스 개념 Kubernetes Concept Kubernetes 컨테이너화된 애플리케이션의 배포, 확장 및 관리를 자동화하기 위한 오픈소스 오케스트레이션 시스템 사용 이유 서버 자원을 효율적으로 사용하면 대규모 서비스를 운영하는 기업들은 큰 비용 절감 효과 여러 서비스에서 서버 자원을 공유해서 사용 가능 VM vs Container VM 가상화는 별도의 Guest OS를 가지고 실행함 컨테이너는 Host OS의 커널을 공유하기 때문에 가볍고 VM보다 더 높은 성능을 제공 Container Runtime 컨테이너를 실행하고 관리하는데 사용되는 소프트웨어 (Docker, containerd, CRI-O) k8s에서는 v1.23까지만 Docker를 지원하고 그 이후 버전에서 deprecated, 도커보다 간결한 아키텍처.. 2024. 4. 7.
zeppelin notebook execute REST API ◾ curl 명령어로 zeppelin 노트북 실행 방법 #!/bin/bash kinit -kt /opt/cloudera/security/user.keytab userid curl -X POST -H "accept: application/json" --negotiate -u : \ https://zeppelin-server-url:8886/api/notebook/run/$1/$2 $1 : paragraph $2 : notebook index name 확인 : zeppelin > notebook > wheel icon 2023. 11. 22.
[리눅스] resolv.conf 원복 현상 조치방법 서버가 재기동 되면서 /etc/resolv.conf 파일의 변경 내용이 원복되는 현상에 대한 조치 방법입니다. 파일의 변경 내용이 서버 재기동 후에 원복되는 현상은 주로 네트워크 관리 도구나 서비스에 의해 파일이 자동으로 관리되기 때문에 발생합니다. ◾ /etc/resolv.conf 수정, 삭제 제한 직접 편집하지 못하도록 chattr +i 명령을 사용하여 파일을 잠금 ## 잠금 chattr +i /etc/resolv.conf ## 잠금 해제 chattr -i /etc/resolv.conf 2023. 11. 21.
[리눅스] LVM 설정 방법 리눅스의 LVM(Logical Volume Manager)은 스토리지를 관리의 유연한 방법을 제공합니다. LVM을 사용하면 여러 디스크를 하나의 큰 디스크처럼 사용하거나, 필요에 따라 스토리지 크기를 조정할 수 있습니다. LVM 주요 구성 요소 PV (Physical Volume): 실제 디스크 파티션으로, LVM에서 사용됩니다. 예를 들어, 하드 드라이브의 파티션이나 전체 드라이브가 될 수 있습니다. VG (Volume Group): 하나 이상의 PV를 결합하여 생성된 저장소의 논리적 그룹입니다. VG는 하나 이상의 LV를 포함할 수 있습니다. LV (Logical Volume): VG 내에서 생성되는 논리적 단위로, 실제 파일 시스템이 생성되는 부분입니다. LV는 필요에 따라 크기를 조정할 수 있습니.. 2023. 11. 20.
CS 정리 빅데이터 빅데이터 기존 DB 관리도구의 수집,저장,관리,분석 역량을 넘어서는 데이터 특징 - 3V (크기,다양성,속도) , 5V(가치,정확성) 정형 - 데이터베이스,CSV,엑셀 반정형 - XML,HTML,JSON 비정형 - 동영상,사진,오디오 빅데이터 처리단계 수집 > 정제 > 적재 > 분석 > 시각화 Hadoop 등장 배경 및 필요성 웹 로그등의 비정형 데이터를 RDBMS에 저장하기에는 데이터의 크기가 너무 크고 비용도 부담이었다. 하둡은 x86 리눅스 서버라면 어떤 수준의 장비든 상관 없고 데이터 용량이 커지면 노드 확장(scale-out)이 가능, 분산 저장 및 처리로 성능도 향상 Avro Avro는 JSON 형식으로 스키마를 정의하고, 데이터는 바이너리 형태로 직렬화됩니다. 스키마가 데이터와 함께.. 2023. 10. 13.
[Impala] resource pool 생성 및 적용 방법 Impala에서 그룹명을 기준으로 resource pool을 생성하여, 각 그룹별 리소스를 분할한 방법입니다. 1. Impala Admission Control Configuration 접속 CM > Cluster Menu > Impala Admission Control Configuration 2. 그룹명 기준으로 pool 생성 Impala Admission Control Configuration > Create Resource Pool 버튼 클릭 Max memory 설정하여 그룹별 리소스 제한 clone 기능 사용하면 기존 default pool에 적용한 옵션 모두 복사 가능 3. placement rule 추가 Impala Admission Control Configuration > Placemen.. 2023. 10. 5.
[Java] 프로그래머스 단어 변환 📄 문제 단어 변환 💡 풀이 BFS(너비 우선 탐색) 알고리즘을 사용하여 "begin" 문자열에서 "target" 문자열로 변환하는데 필요한 최소 단계 수를 계산합니다. import java.util.*; class Solution { public int solution(String begin, String target, String[] words) { int answer = 0; // 최소 단계 수를 저장할 변수 boolean[] visited = new boolean[words.length]; // 단어 방문 여부를 추적하는 배열 Queue queue = new LinkedList(); // BFS 탐색을 위한 큐 queue.offer(begin); // 시작 단어를 큐에 추가 while (!queu.. 2023. 10. 4.
[Java] 프로그래머스 게임 맵 최단거리 📄 문제 게임 맵 최단거리 💡 풀이 BFS(너비 우선 탐색) 알고리즘을 사용하여 맵을 통과 가능한 방안들을 탐색하고, 최단 거리를 찾아 answer 변수에 저장한 후 반환합니다. import java.util.*; class Solution { public int solution(int[][] maps) { int answer = 0; int n = maps.length; int m = maps[0].length; // 이동 가능한 방향 (상,하,우,좌) int[][] directions = {{1, 0}, {-1, 0}, {0, 1}, {0, -1}}; Queue queue = new LinkedList(); queue.offer(new int[]{0, 0, 1}); // 시작 위치 (0, 0)에서 출.. 2023. 9. 28.

티스토리툴바