본문 바로가기
728x90
반응형
SMALL

Data-driven Methodology98

[Hadoop] 주키퍼 및 스파크 설정 주키퍼 설정 zoo.cfg 파일을 편집한다. cd /usr/local/zookeepercp ./conf/zoo_sample.cfg ./conf/zoo.cfg vim ./conf/zoo.cfgdataDir=/usr/local/zookeeper/datadataLogDir=/usr/local/zookeeper/logsmaxClientCnxns=0maxSessionTimeout=180000server.1=master1:2888:3888server.2=master2:2888:3888server.3=master3:2888:3888 myid을 설정한다. mkdir -p /usr/local/zookeeper/datamkdir -p /usr/local/zookeeper/logsvim /usr/local/zookeeper.. 2024. 6. 21.
[Hadoop] 하둡 설정 hadoop-env.sh vim $HADOOP_HOME/etc/hadoop/hadoop-env.sh# Javaexport JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64# Hadoopexport HADOOP_HOME=/usr/local/hadoopexport HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_HOME}/lib/nativeexport HADOOP_OPTS="${HADOOP_OPTS} -Djava.library.path=$HADOOP_HOME/lib/native"# For PID# hadoop-USER-datanode.pid (DataNode)# hadoop-USER-journalnode.pid (JournalNode)# hadoop-USER-.. 2024. 6. 21.
[Hadoop] 하둡 에코시스템 베이스 이미지 설치 하둡 에코시스템 베이스 이미지 설치 # 하둡에서 사용하는 snappy native library 설치sudo apt install libsnappy-dev -y# Hive에서 사용하는 Metastore로 Mariadb 사용sudo apt-get install -y mariadb-client# Python3 설치 및 라이브러리 설치sudo apt-get install -y python3-pip Anaconda 설치 mkdir ~/downloads && cd downloadswget https://repo.anaconda.com/archive/Anaconda3-2023.03-Linux-x86_64.shbash Anaconda3-2023.03-Linux-x86_64.sh conda : command not f.. 2024. 6. 20.
[DataBase] Constraint, CREATE USE ALTER DROP (DDL) Constraint 데이터베이스의 테이블을 생성할때 각 컬럼은 각각의 제약 조건을 갖는다. NOT NULLNULL 값 (비어있는 값)을 저장할 수 없음UNIQUE같은 값을 저장할 수 없음PRIMARY KEYNOT NULL과 UNIQUE 의 제약 조건을 동시에 만족그러므로 컬럼에 비어 있는 값과 동일한 값을 저장할 수 없음하나의 테이블에 하나의 컬럼만 조건을 설정할 수 있음FOREIGN KEY다른 테이블과 연결되는 값이 저장DEFAULT데이터를 저장할 때 해당 컬럼에 별도의 저장값이 없으면 DEFAULT로 설정된 값이 저장AUTO_INCREMENT주로 테이블의 PRIMARY KEY 데이터를 저장할때 자동으로 숫자를 1씩 증가시켜 주는 기능으로 사용CREATE database test;USE test;CRE.. 2024. 5. 21.
[DataBase] MySQL DATATYPE DATATYPE 데이터 타입은 컴퓨터의 자원을 효율적으로 사용하기 위해 사용되는 방법이다. 많이 사용되는 데이터 타입의 종류는 숫자형, 문자형, 날짜형 등이 있다. 저장할 데이터의 타입을 지정하면 저장 공간의 할당을 효율적으로 할수 있어 DBMS의 성능을 증가 시킬수 있는 장점이 있다. (https://dev.mysql.com/doc/refman/5.7/en/data-types.html) Numberic (숫자형 데이터) : 정수 (integer) 타입 TINYINT 테이블을 생성해서 해당 범위의 값이 들어가는지 확인한다. CREATE TABLE number1(data TINYINT); 지정된 데이터 타입이 표현할수 있는 숫자의 범위를 벗어났기 때문에 데이터가 입력되지 않는다. INSERT INTO nu.. 2024. 5. 21.
[DataBase] MySQL ORDER BY, LIMIT ORDER BY 특정 컬럼의 값으로 데이터 정렬에 사용되는 문법이다. # ORDER BY : 정렬# ASC : 오름차순(생략), DESC : 내림차순 USE world;SELECT code, name, populationFROM countryORDER BY population DESC;# 정렬을 할때 컬럼을 여러개 설정 가능SELECT countrycode, name, populationFROM cityORDER BY countrycode, population DESC;# 인구수 4000만 이상인 아시아 대륙 국가중에 GNP가 높은 순으로 출력# 출력 : 국가코드, 국가이름, 인구수, 대륙, GNPSELECT code, name, population, continent, GNP , GNP / pop.. 2024. 5. 20.
[DataBase] MySQL WHERE WHERE 특정 조건을 주어 데이터를 검색하는데 사용되는 문법이다. 조건식에 비교연산, 논리연산 등을 사용할수 있다. 선언하는 형식은 다음과 같다. SELECT , , ...FROM WHERE USE world;SELECT database();SHOW tables;# 인구가 8000만 이상인 국가 출력 # 컬럼 : 국가코드, 국가이름, 인구수# 연산자 우선순위 : 산술 > 비교 > 할당SELECT code, name, populationFROM countryWHERE population >= (8000 * 10000); WHERE : AND / OR # 아시아 국가중에 인구수가 4000만 ~ 8000만인 국가 출력# 컬럼 : 국가코드, 국가이름, 인구수SELECT code, name, continent,.. 2024. 5. 20.
[DataBase] MySQL 데이터베이스 MySQL 접속 MySQL Workbench로 MySQL 서버를 실행하고 데이터베이스를 추가하기 위해 https://dev.mysql.com/doc/index-other.htm에서 샘플 데이터를 다운 받는다.  파일 메뉴에서 Open SQL Script를 선택 후 world.sql 파일을 연다. 그러면 쿼리가 실행되고 좌측 레이아웃에서 오른쪽 마우스 클릭 후 Refresh All 메뉴를 선택하면 World 데이터베이스가 나타난다.  실행하기 위한 쿼리문을 작성하기 위해 new SQL을 생성한다.   데이터베이스 선택 및 출력 # 데이터 베이스 선택USE world;# 현재 선택된 데이터베이스 출력SELECT database(); SQL문의 종류 : DML / DDL / DCL DML(Data Manipu.. 2024. 5. 17.
관계형 데이터베이스 관리 시스템 (Relational DataBase Management System) 데이터베이스 (Database) 1980년대에 컴퓨터가 보급화 되면서 처리해야 할 데이터가 늘어남에 따라 여러 회사들에서 대규모 데이터를 관리하기 위해서 통합된 환경이 필요했다. 데이터들을 표현할 수 있는 다양한 모델 (Relational Model, Network Model, Hierarchical Model 등)이 등장했다. 데이터를 체계적으로 관리할 수 있는 공간을 데이터베이스 (database)로 정의한다. 그리고 데이터베이스를 관리하는 시스템을 DataBase Management System (DBMS)으로 정의한다. 데이터베이스의 이점 데이터베이스라는 개념이 나타나기 이전엔, File 단위로 데이터를 관리 (ex: 윈도우 탐색기, macOS Finder) 데이터를 효율적으로 관리하기 힘든 여러.. 2024. 4. 16.
MySQL 설치 MySQL 설치 MySQL 홈페이지에서 OS 환에 맞게 설치를 한다. Setup은 Custom으로 진행하고 Connector/NET를 추가 설치한다. MySQL Connetion MySQL instance를 새로 만들거나 처음 설치했을 때 example 생성한 비밀번호를 통해 연결한다. Server에서 데이터 import와 export가 가능하다. 2024. 2. 27.
728x90
반응형
LIST