본문 바로가기

전체 글

(17)
알고리즘 도감 CHAPTER 0 알고리즘의 기본 0-1 알고리즘이란? 0-2 계산 시간을 측정하는 방법 CHAPTER 1 데이터 구조 1-1 데이터 구조란? 1-2 리스트 1-3 배열 1-4 스택 1-5 큐 1-6 해시 테이블 1-7 힙 1-8 이진 탐색 트리 CHAPTER 2 정렬 2-1 정렬이란? 2-2 버블 정렬 2-3 선택 정렬 2-4 삽입 정렬 2-5 힙 정렬 2-6 병합 정렬 2-7 퀵 정렬 CHAPTER 3 배열의 탐색 3-1 선형 탐색 3-2 이진 탐색 CHAPTER 4 그래프 탐색 4-1 그래프란? 4-2 너비 우선 탐색 4-3 깊이 우선 탐색 4-4 벨먼-포드 알고리즘 4-5 다익스트라 알고리즘 4-6 A* CHAPTER 5 보안 알고리즘 5-1 보안과 알고리즘 5-2 암호의 기본 5-3 해시 함수 ..
제2장 컨테이너 가상화 기술과 Docker 제2장 컨테이너 가상화 기술과 Docker가상화 기술은 인프라 구축 아키텍쳐 (하드웨어, 네트워크) 및 운영 방식을 크게 변화시켰다. Docker는 컨테이너 가상화 기술을 사용하여 애플리케이션 실행 환경을 구축 및 운영하기 위한 플랫폼이다. 2-1 가상화 기술가상 환경Windosw 개발환경에서 개발한 애플리케이션을 Linux로 된 운영환경에서 실행하면 실행 환경이 바뀌면서 제대로 동작하지 않을 수 있다.따라서 운영환경과 동일한 조건의 개발환경에서 시스템을 개발하는 것이 정석이다.하지만 데이터센터 건설에는 많이 비용과 시간이 필요하다. 이를 해결하기 위해 가상환경을 사용한다. 대표적인 가상화 기술 세가지호스트 가상화하이퍼바이저 가상화컨테이너 가상화 호스트 가상화구조 : 하드웨어 -> 호스트OS -> 가상화..
PostgreSQL PostgreSQL 계정계정 생성CREATE ROLE 계정명;계정 패스워드 설정ALTER ROLE 계정명 LOGIN PASSWORD '비밀번호';계정 삭제DROP ROLE 계정명;계정 목록 조회\du 데이터베이스데이터베이스 생성CREATE DATABASE 데이터베이스명;데이터베이스 삭제DROP DATABASE 데이터베이스명;데이터베이스 목록 조회\list 또는 \ㅣ데이터베이스 소유자 변경ALTER DATABASE 데이터베이스명 OWNER TO 계정명; 테이블 목록 조회\dt 현재 데이터베이스의 테이블 리스트 조회select * from pg_tables where tableowner='username';해당 user 소유의 테이블 리스트 조회 SQL 참고 : https://zetawiki.com/wiki..
02. 하둡 개발 준비 SSH(Secure Shell) : SSH로 다른 서버에 접근할 때 IP혹은 호스트명으로 접속 가능
01. 하둡 살펴보기 01. 하둡 살펴보기1.1 빅데이터의 시대1.1.1 빅데이터의 개념-빅데이터의 3대 요소 (3V) : 크기(Volume), 속도(Velocity), 다양성(Variety)1.1.2 빅데이터의 출현 배경 1.2 하둡이란?-대용량 데이터를 분산 처리할 수 있는 자바 기반의 오픈소스 프레임워크-하둡의 탄생 : GFS(Google File System) + Mapreduce (더그커팅)-HDFS : 하둡 분산 파일 시스템-Mapreduce : 분산 처리 시스템으로 데이터 처리1.2.1 왜 하둡인가?1. 웹 로그 같은 비정형 데이터를 저장하기 위함.2. 오슨소스 프로젝트로 라이선스 부담이 없음3. 데이터 복제본을 저장하여 제이터 유실이나 장애에 복구 가능4. 여러 대의 서버에 데이터를 저장하고, 데이터가 저장된 ..
02. RDD RDD 2.1 RDDRDD - 기본 데이터 모델 2.1.1 들어가기에 앞서1. 스파크 클러스터 - 대량의 데이터를 여러 서버로 나누어 병렬로 처리2. 분산 데이터로서의 RDD (Resilient Distributed Datasets) - 데이터 일부에 문제가 생겨도 스스로 복구3. RDD의 불변성 - 스파크가 RDD를 만들어 내는 방법을 기억하고 있어 데이터를 다시 만들어 복구4. 파티션 - 분할된 데이터를 파티션 단위로 관리5. HDFS6. Job과 Executor - 하나의 job은 클러스터에서 병렬로 처리, 서버마다 executor 라는 프로세스가 생성7. 드라이버 프로그램 - 메인 함수를 가지고 있는 프로그램, 스파크컨텍스트를 생성하고 그 인스턴스를 포함하고 있는 프로그램8. 트랜스포메이션과 액션..
uber jar uber jar-자바 어플리케이션의 모든 패키지와 그와 의존관계에 있는 패키지 라이브러리까지 모두 하나의 jar에 묶는것-어플리케이션 배포시 의존관계를 생각할 필요가 없다.-maven-shade-plugin-라이브러리, 클래스 등 필요한 것들만 패키징 할 수 있다.-Resource Transformer-서로다른 artifacts들로부터 uber jar를 생성할때, class 및 resources 파일들을 중복없이 패키징 할 수 있다.-ManifestResourcesTransformer : main class 지정 -configuration - pom.xml-artifactSet/includes-생성할 jar 파일에 포함시킬 의존 대상을 지정-outputFile-생성할 jar 파일 (finalName과 차..
시간의 모서리 * 사는 동안 몇 권이나 읽을 수 있을까 p.18- 오늘은 우리 그저 책이나 읽다 돌아가자고 - 좋은 사람과 좋은 문장을 함께 나누는 일. *사월의 마지막 날 p.21- 무거운 마음 내려놓기연연해 하지 않기소탈하게 웃고조급하게 생각하지 않기무엇보다 애써 감정을 저울질 하지 않기 *그 순간에 p.51- 오늘 아니라고 해서 그날의 감정이 틀린 것이 아니며, 지금 아니라고 해서 언제까지나 아닌 것으로 있을 이유도 없는 것 같아요.사랑은 불가능한 사유가 아니라 그저 불가항력의 감정일 뿐이지요.애쓴다고 되는 일도 아니고, 외면한다고 해서 사라지는 것도 아니지요. *마음과 행동이 비례하는 일 p.59 *오직, 나만의 것 p.61- 당신의 이별은 오직 당신만의 것.다른 이들은 모른다.나의 눈물은 오직 나만의 것.아무..