본문 바로가기
728x90
반응형
SMALL

python106

[Spark] Jupyter Lab 디렉토리 설정 cd work/mkdir jupytercd jupyter/ 주피터 랩 설치 및 환경 설정 pyenv activate py3_11_9pip install jupyterlabjupyter lab --generate-config 처음 디렉토리로 이동하여 다음 명령을 실행한다. cd .jupyter/vim jupyter_lab_config.py 에디터에서 다음 코드를 c 객체 밑에 추가한다. c.NotebookApp.ip = '0.0.0.0' # 모든 네트워크 요청 수신c.NotebookApp.open_browser = False # 자동으로 웹 브라우저를 열지 않음c.NotebookApp.port = 8888 # 주피터 랩 서버가 사용할 포트 번호c.Noteboo.. 2024. 7. 15.
[Python] Dash : 데이터 시각화 라이브러리 설치 !pip install dash jupyter-dash dash-bootstrap-components 데이터 로드 import pandas as pdimport plotly.express as pxfrom dash import Dash, dcc, html, Input, Outputimport dash_bootstrap_components as dbcdf = pd.read_csv('https://raw.githubusercontent.com/datasciencedojo/datasets/master/titanic.csv')num_features = df.select_dtypes(include='number').columnsdf.head() main # dash app 초기화app = Dash.. 2024. 7. 10.
[Apache Airflow] 개발 환경 구성 개발 환경 구성 DAG 개발시 서버에서 직접 개발하지 않으며, 일반적으로 git을 활용한 CI/CD 환경을 주로 이용한다. Airflow 서버가 별도로 존재한다고 가정할 때, 코드 개발은 로컬에서 개발 후 완성된 코드를 서버로 배포하는 식으로 진행한다. 다음 명령어로 파이썬 버전을 확인하고 로컬에서 동일한 버전을 설치한다. sudo docker exec -it {스케줄러 컨테이너ID} bashdefault@~: python-V 가상 환경 파이참에서는 프로젝트마다 가상 환경 생성이 가능하다.  Git 구성 git 홈페이지에서 프로그램을 OS에 맞게 다운 받고, git 계정을 설정한다. git config --global --edit 그 다음, 코드를 올리기 위한 github Repository 만들고, 레.. 2024. 6. 14.
Apache Airflow Apache Airflow  Apache Airflow는 파이썬을 이용해 워크플로우를 만들고 관리할 수 있는 오픈소스 기반 워크플로우 관리 도구이다. 2014년, 에어비앤비에서 만든 워크플로우 관리 솔루션이다. 파이썬으로 제작된 도구이며, 이용자가 워크플로우 생성시에도 파이썬으로 구현하나의 워크플로우는 DAG (Directed Acyclic Graph)이라 부르며, DAG 안에는 1개 이상의 Task가 존재Task간 선후행 연결이 가능하되, 순환되지 않고 방향성을 가짐 (DAG)Cron 기반의 스케줄링모니터링 및 실패 작업에 대한 재실행 기능이 간편 워크플로우를 관리하는 여러 오픈소스 도구 중 가장 인기가 많다. UI로 워크플로우를 만들지 못해 어려우나, 파이썬 언어가 허락하는 한 거의 모든 유형의 파이.. 2024. 6. 14.
[Flask] AWS EC2에서 머신러닝 서버 구축 파이썬 파일 생성 터미널에서 다음을 명령한다. vim test.py 그리고 test.py에 다음 코드를 편집하여 추가한다. import numpy as npfrom sklearn.linear_model import LinearRegressionfrom flask import Flask, request, jsonifyapp = Flask(__name__)np.random.seed(0)X = np.random.rand(10, 1)y = 2 * X + 1 + 0.1 * np.random.randn(10, 1)model = LinearRegression()model.fit(X, y)@app.route('/')def welcome(): return 'HELLO, ML API SERVER'@app.route('/p.. 2024. 5. 14.
[Python] pyenv pyenv pyenv는 리눅스에서 python 가상 환경을 다루는 툴이다. sudo apt-get update; sudo apt-get install make build-essential libssl-dev zlib1g-dev \ libbz2-dev libreadline-dev libsqlite3-dev wget curl llvm \ libncursesw5-dev xz-utils tk-dev libxml2-dev libxmlsec1-dev libffi-dev liblzma-dev pyenv 설치 curl https://pyenv.run | bash pyenv 환경 설정 vim .bashrc vim 에디터에서 문서 가장 마지막으로 이동 (shift + g)하여 다음 명령어를 추가하고 저장 (ZZ)한다.  .. 2024. 5. 13.
[Matplotlib] WARNING:matplotlib.font_manager:findfont: Font family 'NanumGothic' not found 폰트 깨짐 문제 한글 폰트를 설정해 주지 않으면 한국어가 깨져서 나오는 문제가 발생한다. 폰트 설치 !apt-get -qq install fonts-nanum 예제 import os import matplotlib.pyplot as plt from matplotlib import font_manager import matplotlib.font_manager as fm fe = fm.FontEntry( fname=r'/usr/share/fonts/truetype/nanum/NanumGothic.ttf', # ttf 파일이 저장되어 있는 경로 name='NanumGothic') # 원하는 폰트 설정 fm.fontManager.ttflist.insert(0, fe) # Matplotlib에 폰트 추가 plt... 2024. 4. 12.
[Keras] 모델 플롯 유틸리티 plot_model 함수 keras.utils.plot_model( model, to_file="model.png", show_shapes=False, show_dtype=False, show_layer_names=False, rankdir="TB", expand_nested=False, dpi=200, show_layer_activations=False, show_trainable=False, **kwargs ) model_to_dot 함수 keras.utils.model_to_dot( model, show_shapes=False, show_dtype=False, show_layer_names=True, rankdir="TB", expand_nested=False, dpi=200, subgraph=Fa.. 2024. 4. 2.
[Keras] 멀티모달 함의 분류 (2) 데이터 입력 파이프라인 구축 TensorFlow Hub는 다양한 BERT 계열의 모델을 제공한다. 각 모델에는 해당하는 전처리 계층이 함께 제공된다. 리소스에서 이러한 모델과 해당 전처리 계층에 대해 더 자세히 알 수 있다. 런타임을 짧게 하기 위해 원래 BERT 모델의 더 작은 변형을 사용한다. # Define TF Hub paths to the BERT encoder and its preprocessor bert_model_path = ( "https://tfhub.dev/tensorflow/small_bert/bert_en_uncased_L-2_H-256_A-4/1" ) bert_preprocess_path = "https://tfhub.dev/tensorflow/bert_en_uncased_pre.. 2024. 4. 2.
[Keras] 멀티모달 함의 분류 (1) 멀티모달 함의 분류 멀티모달 함의를 예측하기 위한 모델을 구축하고 훈련한다. Google Research에서 소개한 다중 모드 수반성 데이터 세트 multimodal entailment dataset를 사용한다. 멀티모달 함의란 소셜 미디어 플랫폼에서는 콘텐츠를 감사하고 중간 정도의 콘텐츠를 제공하기 위해 거의 실시간으로 다음 질문에 대한 답을 찾고자 할 수 있다. 주어진 정보는 다른 정보와 모순 (contradict) 되는지? 주어진 정보는 다른 정보를 의미 ( imply)하는지? 자연어 처리에서 이 작업은 텍스트 함의 분석이라고 한다. 이것은 정보가 텍스트 콘텐츠에서 나올 때만 해당된다. 실제로 사용 가능한 정보는 텍스트 콘텐츠뿐만 아니라 텍스트, 이미지, 오디오, 비디오 등의 멀티모달 조합에서 나오.. 2024. 3. 30.
728x90
반응형
LIST

티스토리툴바