Origins of Deep Learning
딥러닝은 신경망을 위한 흥미로운 신기술 그룹이다. 고급 훈련 기술 신경망 아키텍처 구성 요소의 조합을 사용함으로써, 이제 훨씬 더 복잡한 신경망을 훈련시킬 수 있다. 심층 신경망, 정규화 단위 (ReLU), 컨볼루션 신경망, 반복 신경망 등을 소개한다. 고성능 컴퓨팅 (HPC) 측면은 딥러닝이 그리드와 그래픽 처리 장치 (GPU) 모두에서 어떻게 활용될 수 있는지를 보여준다. 딥러닝은 모델이 인간의 두뇌 기능과 유사한 방식으로 정보의 계층 구조를 학습할 수 있도록 한다.
신경망은 기계 학습 모델의 초기 예시 중 하나이다. 신경망은 1940년대에 처음 도입되었고 인기가 여러 번 오르내렸다. 현재 세대의 딥러닝은 2006년 제프리 힌튼의 개선된 훈련 알고리즘으로 시작되었다. 이 기술은 마침내 많은 레이어 (DNN)를 가진 신경망을 효율적으로 훈련시킬 수 있게 했다. 네 명의 연구자가 신경망 개발에 크게 기여했다. 그들은 굴곡과 굴곡 모두에서 신경 네트워크 연구를 지속적으로 추진해왔다.
What is Deep Learning
딥러닝은 1980년대에 대중화된 원래의 신경망을 기반으로 하는 일반적인 머신러닝 유형이다. 심층 신경망이 계산되는 방식은 첫 번째 신경망에 비해 차이가 거의 없다. 심층 신경망은 많은 층을 가진 신경망에 지나지 않는다. 심층 신경망을 만들거나 계산할 수 있었지만, 그것들을 훈련시킬 효과적인 수단이 부족했다. 딥러닝은 심층 신경망을 훈련시키는 효율적인 수단을 제공한다.
딥러닝이 머신러닝의 한 유형이라면, 이것은 "머신러닝이란 무엇인가?"라는 질문을 던진다. 그림은 기계 학습이 전통적인 소프트웨어 개발과 어떻게 다른지 보여준다.
| • 기존 소프트웨어 개발 : 프로그래머는 입력을 원하는 출력으로 변환하는 방법을 지정하는 프로그램을 만든다. • 기계 학습 :프로그래머는 주어진 입력에 대해 원하는 출력을 생성하는 방법을 배울 수 있는 모델을 만든다. 이 학습은 컴퓨터 프로그램의 전통적인 역할을 채운다. |
연구자들은 기계 학습을 많은 다른 분야에 적용했다.
| • 컴퓨터 비전 (Computer Vision) : 기계 학습을 사용하여 시각 데이터의 패턴을 탐지한다. 예를 들어, 고양이 또는 개의 사진이다. • 도표 자료 (Tabular Data) : 여러 개의 명명된 입력 값을 통해 신경망은 출력이 되는 다른 명명된 값을 예측할 수 있다. 예를 들어, 그 종을 예측하기 위해 홍채꽃의 네 가지 측정을 사용하고 있다. 이러한 유형의 데이터를 종종 표형 데이터라고 한다. • 자연어 처리 (NLP) : 딥러닝 변환기는 NLP를 혁신하여 텍스트 시퀀스가 더 많은 텍스트, 이미지 또는 분류를 생성할 수 있도록 했다. • 강화 학습 (Reinforcement Learning) : 강화 학습은 알고리듬이 작업을 최적으로 완료하는 데 신경망을 보상하도록 신경망을 훈련시켜 진행 중인 행동을 선택한다. • 시계열 (Time Series) : 기계 학습을 사용하여 시간 내에 패턴을 탐지한다. 일반적인 시계열 애플리케이션은 금융, 음성 인식, 심지어 자연어 처리(NLP)이다. • 생성 모델 (Generative Models) : 신경망은 입력으로부터 새로운 원래의 합성 데이터를 생성하는 것을 배울 수 있다. |
Regression, Classification and Beyond
기계 학습 연구는 지도 학습과 비지도 학습의 넓은 측면에서 문제를 살펴본다. 지도 학습은 교육 세트의 각 항목에 대한 올바른 결과를 알고 있을 때 발생한다. 반면, 비지도 학습은 올바른 결과가 알려지지 않은 훈련 세트를 활용한다. 딥러닝은 지도 학습과 비지도 학습을 모두 지원하지만 강화 및 적대적 학습도 추가한다. 강화 학습은 신경망이 환경에 기반한 행동을 수행하도록 가르친다. 적대적 학습은 데이터가 올바른 결과를 제공하지 않을 때 학습하기 위해 두 개의 신경망을 서로 경쟁시킨다.
기계 학습 실무자는 일반적으로 지도 학습을 분류와 회귀로 나눈다. 분류 네트워크는 재무 데이터를 받아들이고 투자 위험을 위험 또는 안전으로 분류할 수 있다. 마찬가지로, 회귀 신경망은 숫자를 출력하고 동일한 데이터를 가져와서 위험 점수를 반환할 수 있다. 또한, 신경망은 여러 회귀 및 분류 점수를 동시에 출력할 수 있다.
신경망의 가장 강력한 측면 중 하나는 신경망의 입력과 출력이 다음과 같은 다양한 유형이 될 수 있다는 것이다.
| • 이미지 • 텍스트, 오디오 또는 다른 시계열을 나타낼 수 있는 일련의 숫자 • 회귀 번호 • 분류 클래스 |
Why Deep Learning?
도표 자료의 경우, 신경망은 종종 다음과 같은 다른 모델보다 훨씬 더 나은 성능을 발휘하지 못한다.
| • 서포트 벡터 머신 • 랜덤 포레스트 • 그레이디언트 부스트 머신 |
이러한 다른 모델과 마찬가지로 신경망은 분류와 회귀를 모두 수행할 수 있다. 상대적으로 저차원 표 데이터 작업에 적용될 때 심층 신경망은 다른 모델 유형에 비해 반드시 상당한 정확도를 추가하지는 않는다. 그러나 대부분의 최첨단 솔루션은 이미지, 비디오, 텍스트 및 오디오 데이터를 위해 심층 신경망에 의존한다.
'DNN with Keras > Python Preliminaries' 카테고리의 다른 글
| Python for Deep Learning (0) | 2022.07.16 |
|---|
