본문 바로가기

💻Tech/👨‍💻etc14

CS 정리 빅데이터 빅데이터 기존 DB 관리도구의 수집,저장,관리,분석 역량을 넘어서는 데이터 특징 - 3V (크기,다양성,속도) , 5V(가치,정확성) 정형 - 데이터베이스,CSV,엑셀 반정형 - XML,HTML,JSON 비정형 - 동영상,사진,오디오 빅데이터 처리단계 수집 > 정제 > 적재 > 분석 > 시각화 Hadoop 등장 배경 및 필요성 웹 로그등의 비정형 데이터를 RDBMS에 저장하기에는 데이터의 크기가 너무 크고 비용도 부담이었다. 하둡은 x86 리눅스 서버라면 어떤 수준의 장비든 상관 없고 데이터 용량이 커지면 노드 확장(scale-out)이 가능, 분산 저장 및 처리로 성능도 향상 Avro Avro는 JSON 형식으로 스키마를 정의하고, 데이터는 바이너리 형태로 직렬화됩니다. 스키마가 데이터와 함께.. 2023. 10. 13.

[Microsoft] AZ-900 합격 후기 (5시간 공부) 요즘 여러 기업에서 Cloud 요건들이 많아지고 있어 취업이나 이직시 Cloud 자격증 한 개쯤 가지고 있으면 도움이 많이 될 겁니다. 그래서 짧은 시간 투자해서 쉽게 취득할 수 있는 Microsoft AZ-900 자격을 추천드려요. 시험도 무료로 볼 수 있어 시간만 투자하면 됩니다. 저는 2021/12에 시험을 봤었습니다. 결론부터 말씀드리면 아래 링크의 덤프에서 90프로 이상 문제가 동일하게 나옵니다. 문제랑 답 위주로 공부하시면 충분합니다. 저 같은 경우는 이틀 동안 5시간 정도 투자해서 합격했습니다. 아래 사이트 접속하면 문제가 230개 정도 되는데 1번만 정독하는데도 시간이 꽤 많이 소요됩니다. 그래서 저는 100문제까지만 반복하여 보면서 눈에 익히도록 3번 회독했습니다. (이틀 동안 2시간, .. 2022. 5. 28.

conda keyerror 'channels' is not in the 'channels' key of the config file conda config --remove channel 실행시 아래 에러 발생할 경우 조치 방법입니다. 🚫 ERROR conda keyerror 'channels' is not in the 'channels' key of the config file 💡 SOLVED 1. conda config --show channels 2. conda config --remove channel CHANNEL_NAME 2021. 7. 16.

Git clone/push LDAP 인증 문제 (http 500 에러) 🚫 ERROR fatal: unable to access 'https://localhost:8800/admin1/init_test.git/': The requested URL returned error: 500 💡 SOLVED 1. 아래 git 설정 해줘야 clone/push 인증 할 때 AD 계정 인증 됩니다. ## 설정 적용 $ vi /etc/gitlab/gitlab.rb -------------------------------- encryption = 'plain' -------------------------------- 2. 설정 후 재기동 $ gitlab-ctl reconfigure 🔎 참고 https://forum.gitlab.com/t/unable-to-clone-in-https-using.. 2021. 7. 9.

CDSW jobs api 호출 Python 코드 ◾ start import sys, requests if len(sys.argv) > 1: job_id = sys.argv[1] else : print ("Please Input Job ID") exit() url = "http://cdsw.local.com/api/v1/projects/admin/python-example/jobs/" + job_id + "/start" user = "ua64c7h1ghddrbyexf5rf9svbbwhnsl1" password = "" headers = {'Content-Type': 'application/json; charset=utf-8'} r = requests.post(url, auth=(user,password), headers=headers) if r.stat.. 2021. 2. 19.

Websocket connection failed ws:// err_name_not_resolved 🚫 ERROR Websocket connection failed ws://ex.websocket.com err_name_not_resolved 💡 SOLVED 접속하는 PC의 hosts 파일에 해당 호스트명과 IP를 입력해줍니다. C:\Windows\System32\drivers\etc\hosts 파일 열어서 아래 내용 입력 128.x.x.1 ex.websocket.com 2020. 9. 10.

[SOLVED] CDSW docker daemons fail to start CDSW docker daemons fail to start with the following error: Error starting daemon: error initializing graphdriver: devmapper: Unable to take ownership of thin-pool (docker-thinpool) that already has used data blocks. or Non existing device docker-thinpool This issue occurs when the block devices you specified for the Docker Block Device field already have data on them. This is a safeguard to pre.. 2020. 1. 17.

Unable to issue query: the Host Monitor is not running 🚫 ERROR Unable to issue query: the Host Monitor is not running 💡 SOLVED you can install Cloudera Management Serviceor or CM -> Cloudera Management Services -> Instances -> Select the Host Monitor instance and click restart from the actions for selected instances blue button above the instances table. 2020. 1. 7.

이전 1 2 다음

티스토리툴바