728x90 반응형 SMALL sql6 [Spark] 데이터프레임 및 SQL 디렉토리 설정 mkdir workcd workmkdir sparkcd spark Pandas로 CSV 읽기 pyenv activate py3_11_9pythonimport pandas as pdurl = 'https://raw.githubusercontent.com/losskatsu/data-example/main/data/iris.csv'df = pd.read_csv(url)df.head(3) CSV 추출 및 parquet 변환 df.to_parquet('/home/ubuntu/work/spark/iris.parquet', index=False)df.to_csv('/home/ubuntu/work/spark/iris.csv', index=False)quit() SQL pyspark.sql은 데이터프레임과.. 2024. 7. 15. [AWS] PostgreSQL 설치 PostgreSQL 설치 sudo apt install curl ca-certificatessudo install -d /usr/share/postgresql-common/pgdgsudo curl -o /usr/share/postgresql-common/pgdg/apt.postgresql.org.asc --failsudo sh -c 'echo "deb [signed-by=/usr/share/postgresqlcommon/pgdg/apt.postgresql.org.asc] https://apt.postgresql.org/pub/repos/apt $(lsb_release -cs)-pgdg main" > /etc/apt/sources.list.d/pgdg.list’sudo apt updatesudo apt -.. 2024. 5. 31. [DataBase] MySQL 데이터베이스 MySQL 접속 MySQL Workbench로 MySQL 서버를 실행하고 데이터베이스를 추가하기 위해 https://dev.mysql.com/doc/index-other.htm에서 샘플 데이터를 다운 받는다. 파일 메뉴에서 Open SQL Script를 선택 후 world.sql 파일을 연다. 그러면 쿼리가 실행되고 좌측 레이아웃에서 오른쪽 마우스 클릭 후 Refresh All 메뉴를 선택하면 World 데이터베이스가 나타난다. 실행하기 위한 쿼리문을 작성하기 위해 new SQL을 생성한다. 데이터베이스 선택 및 출력 # 데이터 베이스 선택USE world;# 현재 선택된 데이터베이스 출력SELECT database(); SQL문의 종류 : DML / DDL / DCL DML(Data Manipu.. 2024. 5. 17. 관계형 데이터베이스 관리 시스템 (Relational DataBase Management System) 데이터베이스 (Database) 1980년대에 컴퓨터가 보급화 되면서 처리해야 할 데이터가 늘어남에 따라 여러 회사들에서 대규모 데이터를 관리하기 위해서 통합된 환경이 필요했다. 데이터들을 표현할 수 있는 다양한 모델 (Relational Model, Network Model, Hierarchical Model 등)이 등장했다. 데이터를 체계적으로 관리할 수 있는 공간을 데이터베이스 (database)로 정의한다. 그리고 데이터베이스를 관리하는 시스템을 DataBase Management System (DBMS)으로 정의한다. 데이터베이스의 이점 데이터베이스라는 개념이 나타나기 이전엔, File 단위로 데이터를 관리 (ex: 윈도우 탐색기, macOS Finder) 데이터를 효율적으로 관리하기 힘든 여러.. 2024. 4. 16. SQL / CRUD (Create, Retrieve, Update, Delete) SQL (Structured Query Language) 데이터베이스에 있는 필요한 정보를 사용할 수 있도록 도와주는 언어 사용 방법이나 문법이 다른 언어 (Java, C 등)보다 단순 모든 DBMS에서 사용가능 인터프리터 대소문자 구별하지 않음 (데이터 내용은 구별함) 사용자나 프로그램이 필요한 데이터를 가져오기 위해 SQL을 작성한다. DBMS가 DB에서 사용자가 작성한 SQL을 통해서 데이터를 가져온다. 사용자는 SQL을 통해서 가져온 데이터를 볼 수 있다. SQL의 종류 1. DML (Data Manipulation Language) 테이블의 데이터를 조작하는 기능 테이블의 레코드를 CRUD (Create, Retrieve, Update, Delete) SQL문 내용 INSERT 데이터베이스 객체.. 2022. 3. 5. [Website] 구조화 질의 언어 (SQL ; STRUCTURED QUERY LANGUAGE) 구조화 질의 언어 (SQL ; STRUCTURED QUERY LANGUAGE) 백엔드 개발에 관심이 있다면, SQL은 반드시 배워야 하는 언어이다. SQL은 MySQL이나 PostgreSQL과 같은 주요 데이터베이스 (DB) 엔진을 돌아가게 하는 원동력이다. 대부분의 DB 엔진은 SQL과 코드가 호환되기 때문에 SQL을 익혀 두면, 어떤 DB 시스템 기반에서도 작업을 할 수 있다. 초보자들이 가장 많이 접하는 데이터베이스 엔진은 MySQL이다. MySQL은 호스팅 업체에서 묶음으로 함께 제공되는 경우가 많으며, 워드프레스 (WordPress)와 같은 유명한 콘텐츠관리시스템 (CMS)에서 가장 많이 사용되고 있는 DB 엔진이다. 모든 언어를 다룰 수 있다면 유능한 풀 스택 (full-stack) 개발자가 .. 2022. 2. 6. 이전 1 다음 728x90 반응형 LIST
