728x90 반응형 SMALL 분류 전체보기1620 [LLM] Llama 3 모델 Llama 3 Meta는 8 및 70B 크기의 사전 학습 및 instruction 튜닝된 생성 텍스트 모델 모음인 Meta Llama 3 대규모 언어 모델 (LLM) 제품군을 개발하여 출시했다. instruction 튜닝된 Llama 3 모델은 대화 사용 사례에 최적화되어 있으며 일반적인 업계 벤치마크에서 사용 가능한 많은 오픈 소스 채팅 모델보다 성능이 뛰어나다. 입력 모델은 텍스트만 입력하고, 출력 모델은 텍스트와 코드만 생성한다. Llama 3는 최적화된 트랜스포머 아키텍처를 사용하는 자동 회귀 언어 모델이다. 튜닝된 버전은 감독 미세 조정 (supervised fine-tuning, SFT)과 인간 피드백을 통한 강화 학습 (reinforcement learning with human feedba.. 2024. 7. 29. [Speech Recognition] 연결주의 시간 분류 (Connectionist Temporal Classification) 연결주의 시간 분류 (Connectionist Temporal Classification) 음성 인식에서 CTC (Connectionist Temporal Classification)는 단조 손실 (monotonic loss)이기 때문에 더 널리 사용되는 접근 방식이다. 시간 단계의 음성 특징은 t₁와 t₂ 시간 단계의 u₁와 u₂ 대상 토큰에 해당된다. 이 단조로운 속성은 ASR 모델의 훈련을 크게 단순화하고 수렴 (convergence) 속도를 높인다. 일반적으로 ASR은 시퀀스 간 예측 작업으로 설명할 수 있다. 원래 시퀀스는 오디오 시퀀스이다 (종종 멜 스펙트로그램으로 변환됨). 대상 시퀀스는 문자 (또는 하위 단어 토큰)의 시퀀스이다. Attention 모델은 동일한 시퀀스 간 예측 작업을 수행.. 2024. 7. 16. [Spark] Jupyter Lab 디렉토리 설정 cd work/mkdir jupytercd jupyter/ 주피터 랩 설치 및 환경 설정 pyenv activate py3_11_9pip install jupyterlabjupyter lab --generate-config 처음 디렉토리로 이동하여 다음 명령을 실행한다. cd .jupyter/vim jupyter_lab_config.py 에디터에서 다음 코드를 c 객체 밑에 추가한다. c.NotebookApp.ip = '0.0.0.0' # 모든 네트워크 요청 수신c.NotebookApp.open_browser = False # 자동으로 웹 브라우저를 열지 않음c.NotebookApp.port = 8888 # 주피터 랩 서버가 사용할 포트 번호c.Noteboo.. 2024. 7. 15. [Spark] 데이터프레임 및 SQL 디렉토리 설정 mkdir workcd workmkdir sparkcd spark Pandas로 CSV 읽기 pyenv activate py3_11_9pythonimport pandas as pdurl = 'https://raw.githubusercontent.com/losskatsu/data-example/main/data/iris.csv'df = pd.read_csv(url)df.head(3) CSV 추출 및 parquet 변환 df.to_parquet('/home/ubuntu/work/spark/iris.parquet', index=False)df.to_csv('/home/ubuntu/work/spark/iris.csv', index=False)quit() SQL pyspark.sql은 데이터프레임과.. 2024. 7. 15. [Spark] PySpark 설치 리눅스 sudo apt-get updatesudo apt-get install net-tools pyenv sudo apt-get update; sudo apt-get install make build-essential libssl-dev zlib1g-dev \libbz2-dev libreadline-dev libsqlite3-dev wget curl llvm \libncursesw5-dev xz-utils tk-dev libxml2-dev libxmlsec1-dev libffi-dev liblzma-devcurl https://pyenv.run | bashexport PYENV_ROOT="$HOME/.pyenv"[[ -d $PYENV_ROOT/bin ]] && export PATH="$PYENV_RO.. 2024. 7. 15. [Python] Dash : 데이터 시각화 라이브러리 설치 !pip install dash jupyter-dash dash-bootstrap-components 데이터 로드 import pandas as pdimport plotly.express as pxfrom dash import Dash, dcc, html, Input, Outputimport dash_bootstrap_components as dbcdf = pd.read_csv('https://raw.githubusercontent.com/datasciencedojo/datasets/master/titanic.csv')num_features = df.select_dtypes(include='number').columnsdf.head() main # dash app 초기화app = Dash.. 2024. 7. 10. [Object Detection] YOLOv10 : 실시간 엔드투엔드 객체 감지 YOLOv10 패키지를 기반으로 구축된 YOLOv10은 Ultralytics Python 패키지를 기반으로 구축된 YOLOv10은 실시간 객체 감지에 대한 새로운 접근 방식을 도입하여 이전 YOLO 버전에서 발견된 후처리 및 모델 아키텍처의 결함을 모두 해결했다. 비최대 억제 (NMS)를 제거하고 다양한 모델 구성 요소를 최적화함으로써 YOLOv10은 계산 오버헤드를 크게 줄이면서 최첨단 성능을 달성한다. 광범위한 실험을 통해 여러 모델 규모에 걸쳐 정확도와 지연 시간 간의 우수한 절충점을 입증했다. 구조 YOLOv10의 아키텍처는 이전 YOLO 모델의 강점을 기반으로 몇 가지 주요 혁신을 도입했다. 모델 아키텍처는 다음과 같은 구성 요소로 이루어져 있다. Backbone : 특징 추출을 담당하는 YO.. 2024. 7. 3. [Speech Recognition] 레거시 음성 모델 (Legacy Acoustic Model) 레거시 음성 모델 (Legacy Acoustic Model) 은닉 마코프 모델 (Hidden Markov Model)과 가우시안 혼합 모델 (Gaussian Mixture Model) 조합의 음향 모델 (Acoustic Model)은 딥러닝 기반의 엔드투엔드 (end-to-end) 모델들이 등장하기 전 비교적 강력한 성능을 자랑했던 기존 음성 인식 시스템에서 언어 모델 (Language Model)과 더불어 중요한 역할을 수행했던 컴포넌트이다. HMM (Hidden Markov Model) 은닉 마코프 모델 (Hidden Markov Model)에서는 일반적으로 상태 전이에 대한 제약을 두지 않는다. 하지만, 은닉 마코프 모델을 음성 인식에 적용할 때는 left-to-right 제약을 둔다. 다시 말해.. 2024. 7. 3. 자동 음성 인식 (Automatic Speech Recognition) 자동 음성 인식 (Automatic Speech Recognition) 자동 음성 인식 (Automatic Speech Recognition)이란 음성 신호(acoustic signal)를 단어(word) 혹은 음소 (phoneme) 시퀀스로 변환하는 시스템을 가리킨다. 자동 음성 인식 모델은 입력 음성 신호 X(x1, x2, ..., xt)에 대해 가장 그럴듯한 (likely) 음소/단어 시퀀스 Y(y1, y2, ..., yn)를 추정한다. 자동 음성 인식 모델의 목표는 P(Y∥X)를 최대화하는 음소/단어 시퀀스 Y를 추론 (inference)하는 데에 있다. 이를 식으로 표현하면 다음 수식과 같다. P(Y∥X)를 바로 추정하는 모델을 구축하는 것이 가장 이상적이다. 하지만 같은 음소나 단어라 하.. 2024. 7. 3. [Speech Recognition] 변환기 (Transducer) 변환기 (Transducer) 변환기는 에너지를 한 형태에서 다른 형태로 변환하는 장치이다. 일반적으로 변환기는 한 형태의 에너지 신호를 다른 형태의 신호로 변환한다. 변환기는 전기 신호가 다른 물리적 양으로 변환되거나 그 반대로 변환되는 자동화, 측정 및 제어 시스템의 경계에서 종종 사용된다. Transducer는 실시간 음성 인식 등 빠른 응답 속도를 요구하는 분야에 사용할 수 있는 Encoder, Decoder와 Joint Network 3개의 모듈로 구성된 구조이다. 음성에서 특징을 추출하는 Encoder, 글자에서 특징을 추출하는 Decoder와 앞선 두 특징을 결합해서 다음 글자를 예측하는 Joint Network로 구성되어 있다. import torchimport stringimport nu.. 2024. 6. 25. 이전 1 2 3 4 5 6 ··· 162 다음 728x90 반응형 LIST
