본문 바로가기
728x90
반응형
SMALL

분류 전체보기1626

[Python] CSV (Comma-Separated Value) CSV (Comma-Separated Value) 테이블 형식 데이터 형식 (tabular data format)이다 (ex: 테이블의 데이터 또는 데이터베이스의 데이터일 수 있음). 이 형식에서 파일의 각 행은 테이블의 행이다. 형식 이름에도 불구하고 구분 기호는 쉼표일 수 없다. 구분 기호가 다른 형식은 고유한 이름을 가질 수 있다 (ex: TSV (탭으로 구분된 값)). 그러나 CSV라는 이름은 일반적으로 모든 구분 기호를 의미한다. # Example of a CSV file (sw_data.csv) hostname,vendor,model,location sw1,Cisco,3750,London sw2,Cisco,3850,Liverpool sw3,Cisco,3650,Liverpool sw4,Cisco.. 2022. 8. 17.
[Python] datetime datetime datetime 모듈은 날짜와 시간을 조작하는 클래스를 제공한다. 모듈 calendar 일반 달력 관련 함수 time 시간 접근과 변환 zoneinfo IANA 표준시 데이터베이스를 나타내는 구체적인 표준시 패키지 dateutil 시간대와 구문 분석 지원이 확장된 라이브러리 예제 from datetime import datetime start_time = datetime.now() # 알고리즘 ~ end_time = datetime.now() print('elapsed time => ', end_time-start_time) https://docs.python.org/ko/3/library/datetime.html datetime — 기본 날짜와 시간 형 — Python 3.10.6 문서.. 2022. 8. 17.
[Deep Learning] Global Average Pooling (GAP) Global Average Pooling (GAP) GAP (global average pooling)은 Max (Average) Pooling 보다 더 급격하게 feature의 수를 줄인다. 하지만, GAP을 사용하는 이유는 Pooling과 조금 다르다. GAP의 목적은 feature를 1차원 벡터로 만들기 위함이다. 이 방식은 Location 정보를 FC Layer보다 적게 잃고 85%의 가중치를 없앤다. 이것으로 계산량과 모델의 무게와 파라미터가 줄어든다. 따라서, 오버피팅 방지 효과도 따라온다. 그리나 이것은 정보량 손실이 있다. 이미지의 모든 값을 평균을 내는 것인데, 정보를 잃지만 성능은 좋은 것으로 알려져 있다. 분류할 클래스 수만큼 feature map을 마지막에 생성하여 i번째 featu.. 2022. 8. 14.
[시각 지능] 전이 학습 (Transfer Learning) 전이 학습 (Transfer Learning) CNN 기반의 딥러닝 모델을 훈련시키려면 많은 양의 데이터가 필요하지만 큰 데이터셋을 얻 는 것은 쉽지 않다. 이러한 현실적인 어려움을 해결한 것이 전이 학습인데, 전이 학습은 ImageNet처럼 아주 큰 데이터셋을 써서 사전 학습 모델 (pre-trained model)의 가중치를 가져와 분석하려는 데이터에 맞게 보정해서 사용하는 것을 의미한다. 특징 추출기 (feature extractor)는 컨볼루션 층과 풀링 층의 조합으로 구성되어 있으며 ImageNet 데이터에 대해 이미 학습되어 있다. 분류기 (classifier)는 완전 연결 층 (Dense) 조합으로 구성되며 이미지에 대한 정답을 분류하는 역할을 한다. Cats and Dogs 고양이와 개 이.. 2022. 8. 14.
[구글 코랩] 구글 드라이브 마운트 구글 드라이브 Google Drive는 다른 사용자와 콘텐츠를 공유할 수 있도록 안전한 개인용 클라우드 스토리지 옵션이 제공되는 파일 공유 플랫폼이다. 마운트 마운트 (mount)는 컴퓨터 과학에서 저장 장치에 접근할 수 있는 경로를 디렉터리 구조에 편입시키는 작업을 말한다. import os print(os.getcwd()) print(os.listdir()) /content ['.config', 'sample_data'] from google.colab import drive drive.mount('/content/gdrive/') Mounted at /content/gdrive/ print(os.getcwd()) print(os.listdir()) /content ['.config', 'gdrive.. 2022. 8. 14.
[시각 지능] Surface Crack Detection Surface Crack Detection Surface Crack Detection은 콘크리트 표면 결함 (concrete surface crack)을 발견하고 예측하기 위한 Kaggle의 공개 데이터이다. 평균적으로 227 x 227 크기를 가지는 color 이미지이며, crack 없는 Negative 데이터 2만개와 crack 발생한 Positive 데이터 2만개, 총 4만 개의 이미지 데이터로 구성되어 있다. 코랩에서 하고자 할 때 zip 파일을 구글 드라이브에 저장하고 마운트한다. import os import tensorflow as tf import tensorflow as tf from tensorflow.keras.layers import Dropout, Dense, Conv2D, Glo.. 2022. 8. 14.
[시각 지능] GTSRB GTSRB (German Traffic Sign Recognition Benchmark) GTSRB (German Traffic Sign Recognition Benchmark)는 독일 신경정보학 연구원들이 작성한 것이다. 이것은 교통 표지판 (Traffic Sign)을 예측하기 위한 데이터이며, 평균적으로 32 x 32 크기의 작은 color 이미지와 43개 교통 표지판과 관련된 4만여 개의 이미지를 포함한다. import tensorflow as tf from tensorflow.keras.models import Sequential, Model from tensorflow.keras.layers import Dense, Dropout, Input from tensorflow.keras.layers .. 2022. 8. 13.
[시각 지능] Google Photos Prototype Google Photos Google 포토에서는 모든 사진과 동영상을 자동으로 정리하고 간편하게 공유할 수 있다. 구글 드라이브를 통해 자동으로 업로드되는 사진과 동영상을 구글 포토의 설정 (화질)을 통해 제어할 수 있다. 또한 특정 폴더 또는 드라이브를 선택할 수 있다. Google Photos 프로토타입 구현 import numpy as np import tensorflow as tf from tensorflow.keras.datasets import cifar10 from tensorflow.keras.models import Sequential from tensorflow.keras.layers import Conv2D, MaxPool2D from tensorflow.keras.layers imp.. 2022. 8. 13.
캐글 (Kaggle) 캐글 (Kaggle) 캐글 (Kaggle)은 2010년 설립된 예측모델 및 분석 대회 플랫폼이다. 기업 및 단체에서 데이터와 해결과제를 등록하면, 데이터 과학자들이 이를 해결하는 모델을 개발하고 경쟁한다. 2017년 3월 구글에 인수되었다. Add data GPU 설정 https://ko.wikipedia.org/wiki/%EC%BA%90%EA%B8%80 캐글 - 위키백과, 우리 모두의 백과사전 위키백과, 우리 모두의 백과사전. ko.wikipedia.org 2022. 8. 13.
[시각 지능] 사전 학습된 CIFAR-10 모델로 이미지 예측 사전 학습된 CIFAR-10 모델로 이미지 예측 import numpy as np import tensorflow as tf from tensorflow.keras.datasets import cifar10 from tensorflow.keras.models import Sequential from tensorflow.keras.layers import Conv2D, MaxPool2D from tensorflow.keras.layers import Flatten, Dense, Dropout import matplotlib.pyplot as plt # 사전학습 모델 로드 try: cnn = tf.keras.models.load_model('./cifar10_accuracy_80.h5') print('pre.. 2022. 8. 13.
728x90
반응형
LIST

티스토리툴바