728x90 반응형 SMALL 분류 전체보기1632 Mojo Mojo Mojo는 Modular Inc.에서 개발한 프로그래밍 언어이다. 2023년 5월에 브라우저로 액세스할 수 있게 되었고 2023년 9월에 Linux에서 로컬로 액세스할 수 있게 되었다. 이 언어는 일부 Python 프로그램을 실행할 수 있다. Mojo는 Python의 유용성과 C의 성능을 결합하여 AI 하드웨어의 탁월한 프로그래밍 가능성과 AI 모델의 확장성을 실현한다. 다양한 하위 수준 AI 하드웨어를 프로그래밍할 수 있으며 C++ 또는 CUDA가 필요하지 않다. https://www.modular.com/mojo Mojo 🔥: Programming language for all of AI Mojo combines the usability of Python with the performance.. 2023. 9. 22. 빅데이터와 기존 AI의 당면 과제 (1) 빅데이터의 정의 빅데이터는 방대한 양의 정보를 나타낸다. 이 정보는 이제 기하급수적인 속도로 증가하고 있다. 이제 인간이 매일 200경 바이트의 데이터를 생성함에 따라 빅데이터는 너무 커졌다. 따라서, 기존 데이터 관리 도구로는 ML 목적을 위해 빅데이터를 매우 효율적으로 처리하는 것이 상당히 어려워지고 있다. 빅데이터의 특성을 정의하는 데 일반적으로 다음과 같이 사용된다. 볼륨 (Volume) : 비즈니스 거래, 사물 인터넷 (IoT) 장치, 소셜 미디어, 산업 장비, 비디오 등과 같은 다양한 소스의 데이터가 엄청난 양의 데이터에 기여한다. 속도 (Velocity): 데이터 속도도 빅데이터의 필수 특성이다. 실시간 또는 거의 실시간으로 데이터가 필요한 경우가 많다. 다양성 (Variety) : 데이터는.. 2023. 9. 20. 연합 학습 (Federated Learning) 연합 학습 (Federated Learning) 연합 학습 (협업 학습이라고도 함)은 각각 자체 데이터 세트를 사용하는 여러 독립 세션을 통해 알고리즘을 훈련하는 기계 학습 기술이다. 이 접근 방식은 로컬 데이터 세트가 하나의 교육 세션으로 병합되는 전통적인 중앙 집중식 기계 학습 기술뿐만 아니라 로컬 데이터 샘플이 동일하게 분포되어 있다고 가정하는 접근 방식과도 대조된다. 연합 학습을 사용하면 여러 행위자가 데이터를 공유하지 않고도 공통적이고 강력한 기계 학습 모델을 구축할 수 있으므로 데이터 개인 정보 보호, 데이터 보안, 데이터 액세스 권한 및 이기종 데이터에 대한 액세스와 같은 중요한 문제를 해결할 수 있다. 해당 애플리케이션은 국방, 통신, 사물인터넷 , 제약 등의 산업에 적용된다. 주요 공개 .. 2023. 9. 20. PyGWalker PyGWalker PyGWalker는 pandas 데이터프레임을 상호작용적 사용자 인터페이스로 변환하여 Jupyter Notebook 데이터 분석 및 시각화 워크플로를 간편화한다. pip install pygwalkerimport pandas as pdimport pygwalker as pygdf = pd.read_csv("https://data.heatonresearch.com/data/t81-558/jh-simple-dataset.csv", na_values = ['NA', '?'])walker = pyg.walk(df) https://docs.kanaries.net/ko/pygwalker/index PyGWalker – Kanaries docs.kanaries.net 2023. 9. 14. AWS (Amazon Web Service) AWS (Amazon Web Service) Amazon Web Services (AWS)는 전 세계적으로 분포한 데이터 센터에서 200개가 넘는 완벽한 기능의 서비스를 제공하는, 세계적으로 가장 포괄적이며, 널리 채택 되고 있는 클라우드 플랫폼이다. 빠르게 성장하는 스타트업, 가장 큰 규모의 엔터프라이즈, 주요 정부 기관을 포함 하여 수백만 명의 고객이 AWS를 사용하여 비용을 절감하고, 민첩성을 향상시키고 더 빠르게 혁신하고 있다. 클라우드 컴퓨팅의 장점 자본 비용을 가변 비용으로 대체 규모의 경제로 얻게 되는 이점 용량 추정 불필요 속도 및 민첩성 개선 중요한 문제에 집중 짧은 시간으로 전 세계에 배포 가능 AWS 아키텍처 가용 영역 (Availability Zone)은 region 내부의 격리된 .. 2023. 9. 14. Mel Spectrogram The Mel Scale Mel Scale은 수학적으로 말하면 주파수 스케일의 비선형 변환 결과이다. 인간은 주파수를 linear scale (선형 척도)로 인식하지 못한다. 인간은 높은 주파수보다 낮은 주파수에서의 차이를 더 잘 감지한다. 예를 들어, 00Hz와 1000Hz 사이의 차이는 분명한 반면, 7500Hz와 8000Hz 사이의 차이는 거의 눈에 띄지 않는다. 연구에서 사람이 동일한 거리에서 소리가 들리도록 하는 pitch 단위를 제안했다. 이것을 Mel Scale이라고 한다. 이 Mel Scale은 Mel Scale에서 서로 같은 거리에 있는 소리가 서로 거리가 같으므로 인간에게도 "소리"가 나도록 구성되었다. 주파수에 대한 수학적 연산을 수행하여 주파수를 Mel Scale로 변환한다. 비선형.. 2023. 9. 13. 수면 단계 (Sleep Stage) 수면 단계 (Sleep Stage) 성인 수면의 약 75-80%를 차지하고 1, 2, 3, 4 단계 수면을 총괄해 지칭하는 말이다. 수면 초반, 특히 1단계 수면에서 Slow Eye Movement가 나타난다. 이 중 1, 2 단계를 얕은 상태의 수면이라고 말할 수 있고 서파 수면이라고도 불리는 3, 4 단계를 깊은 수면이라고 할 수 있으며 수면초기 1 / 3에 주로 나타난다. 이런 깊은 단계의 수면은 낮동안 소모된 신체 기능의 회복과 관련된다. 각성 단계 : Alpha파 (8 - 13Hz), beta파 (13 - 30Hz), 전체 수면의 5%이하를 차지하고 안구 운동 수의적 조절이 가능하다. N1 : Theta파 (4 - 8Hz), 전체 수면의 2~5%를 차지하고 느리게 움직이는 안구 운동이 특징적이다.. 2023. 9. 8. [Keras] ImageDataGenerator class weight ImageDataGenerator class weight 딥러닝시 이미지 데이터의 불균형 문제를 해결하기 위해 class에 따른 가중치를 다르게 부여할 수 있다. from sklearn.utils import compute_class_weight import numpy as np train_classes = train_generator.classes class_weights = compute_class_weight( class_weight = "balanced", classes = np.unique(train_classes), y = train_classes ) class_weights = dict(zip(np.unique(train_classes), class_weights)) model.fit_gen.. 2023. 9. 8. [Data Science] 데이터 불균형 데이터 불균형 편향된 클래스 비율이 포함된 분류 데이터 세트를 불균형이라고 한다. 데이터 세트의 상당 부분을 차지하는 클래스를 메이저 클래스라고 한다. 더 작은 비율을 구성하는 항목은 다수 클래스이다. 불균형도 소수 집단 비율 약간 전체 데이터셋의 20~40% 보통 전체 데이터셋의 1~20% 높음 전체 데이터셋의 1%미만 대부분의 머신러닝 모델은 클래스 간의 데이터 비율이 비슷한 것이 바람직하다. 데이터 불균형이 크면 메이저 클래스로 치우치게 predict하는 문제가 발생한다. 데이터 불균형을 해결하는 방법으로는 크게 다음과 같다. 리샘플링 (Resampling) Weighting in Loss Function 리샘플링 (Resampling) 리샘플링 기법은 클래스별 불균형한 데이터의 수를 맞춰주기 위해.. 2023. 9. 6. ImageDataGenerator 훈련 및 검증 데이터 분할 ImageDataGenerator 훈련 및 검증 데이터 분할 ImageDataGenerator를 사용할 때 훈련 데이터를 훈련 및 검증으로 분할한다. Keras에는 기계 학습 프로젝트에서 모든 종류의 일반적인 작업을 수행하는 데 필요한 많은 필수 유틸리티 기능 및 클래스가 번들로 제공된다. 일반적으로 사용되는 클래스 중 하나는 ImageDataGenerator이다. 문서에 설명된 대로 실시간 데이터 증대를 통해 텐서 이미지 데이터 배치를 생성한다. 데이터는 일괄적으로 반복된다. 지금까지는 훈련 이미지 폴더와 검증 이미지 폴더를 별도로 유지해도 괜찮다. 예를 들어, flow_from_directory 함수와 함께 사용할 이미지에 대해 두 개의 별도 폴더 구조를 생성하여 훈련 및 검증 데이터 세트를 직접 구.. 2023. 9. 6. 이전 1 ··· 21 22 23 24 25 26 27 ··· 164 다음 728x90 반응형 LIST
