Classifier model: Random Forest
RF는 각 내부 노드에서 p 기능의 부트스트랩 샘플링 하위 집합에서 분할 기능을 선택하는 많은 수의 결정 트리로 구성된다. 트리는 가지치기 없이 CART (Classification And Regression Tree) 방법론을 통해 구축된다. 최종 예측은 앙상블 예측의 다수결로 결정된다.
RF의 중요한 기능은 훈련 과정에서 각 기능의 중요성을 평가하는 것이다. 실제로 RF를 구성하는 동안 OOB (out-of-bag) 샘플이라고 하는 원래 훈련 세트의 약 33%가 일반적인 부트스트랩 샘플에서는 발생하지 않는다. 특정 기능의 중요성을 평가하기 위해 처음에는 OOB 샘플에 대한 해당 값을 임의로 치환한다. 그런 다음 수정된 OOB 샘플이 새로운 예측을 얻기 위해 포리스트 아래로 전달된다. 다음으로 기능 수정 전후의 평균 오분류율을 모두 계산했다. 그리고 특징 순열로 인한 평균 오분류율의 증가는 해당 특징의 중요도 척도이다. 증가가 클수록 기능이 분류에서 더 중요해지며 그 반대의 경우도 마찬가지이다.
RF 구성에는 mtry와 ntree로 표시되는 두 개의 매개변수만 있다. 전자는 트리 유도 동안 각 노드에서 임의의 하위 집합에서 사용할 수 있는 변수의 수를 의미하고 후자는 RF의 트리 수이다. 경험적 실험에 기초하여 상대적으로 안정적인 분류 및 변수 중요도 측정으로 이어질 수 있는 분류를 위한 mtry 및 ntree의 기본값은 각각 p 1/2 및 500이다.
Design and evaluation of classifiers
주제별 분류기와 주제 독립적 분류기로 명명된 두 가지 가능한 분류기 체계가 본 연구에서 고려되었다. 주제별 체계 내에서 교육 및 테스트 세트는 동일한 레코드에서 선택되었지만 주제 독립 분류기의 경우 서로 다른 레코드에서 나왔다. 주제 독립적인 분류기가 더 실용적이라는 데는 의심의 여지가 없다. 그러나 주제별 시스템은 잠재적으로 여러 날 조사와 수면 단계에 대한 각 기능의 중요성을 평가하는 데 유용하다.
Performance evaluators
설계한 분류기의 신뢰도를 검증하기 위해 성능 평가자로써 정확도와 Cohen's kappa statistic κ 단계별 및 전체 분류를 추정하였다. 정확도는 분류기를 평가하는 기본 지표이다. 전체 테스트 세트에서 올바르게 분류된 에포크의 백분율을 나타낸다. κ 통계는 특정 클래스의 사전 확률을 고려하기 때문에 보다 효과적인 평가자로 나타난다.
전체 κ의 경우 PA는 관측된 합치도의 비율이고 PC는 우연에 의해 예상되는 합치도의 비율이며 Pprio는 1과 같다. 단계별 κ의 경우 PA와 PC는 특정 단계의 해당 비율을 나타내며, Pprio는 선험적 비율을 나타낸다. κ ≤ 0은 관측된 합치도가 우연히 예상한 것보다 훨씬 더 나쁘다는 것을 의미한다. 그리고 κ = 1은 모든 표본이 예상되는 클래스로 분류된다는 것을 의미한다. κ 값이 클수록 설계된 분류기와 예상 결과 사이에 더 강한 일치가 있음을 나타낸다.일반적으로 좋은 분류기는 높은 정확도 값과 κ 통계량과 연관되어야 한다.
Subject specific classifier
각 레코드에 대해 모든 epoch의 20%가 훈련 데이터로 무작위로 선택되고 나머지 80%는 테스트 샘플로 인식되었다. 그러나 NREM 수면에 비해 각성 및 REM 수면 동안 더 적은 에포크가 존재하였다. 훈련 세트의 균형을 유지하기 위해 모든 클래스의 비율은 전체 야간 데이터에서 가져온 비율과 정확히 일치하지 않았다. 훈련 세트에서 각성 및 REM 수면의 비율은 전체 데이터에서 취한 것보다 약간 더 높았다. 훈련 데이터에서 NREM 수면의 비율은 전체 데이터에서 얻은 것보다 약간 낮았다.
각 레코드에 대한 분류 평가를 얻기 위해 무작위로 선택된 훈련 샘플의 편향을 제거하기 위해 매번 다른 훈련 세트로 훈련 및 분류의 전체 프로세스를 10회 반복했다. 최종 평가는 앙상블 평균이었다. 마지막으로 전체 평가를 얻기 위해 45개의 모든 레코드에 대해 정확도와 κ 통계를 평균화했다.
Subject independent classifier
분석할 각 특정 레코드에 대해 다른 44개 레코드를 함께 모아 훈련 세트를 형성했다. 이 과정을 45회 반복하여 기록 중 하나를 테스트 데이터로 1회 선택하였다. 과목별 분류기와 동일하게 전체 45개 기록의 평균 평가자를 종합 수행 평가로 인정하였다.
주제 독립 분류기의 가장 큰 어려움은 개인차를 극복하는 것이다. 분류기 훈련 전에 기능을 정규화해야 한다. 가장 널리 사용되는 정규화 방법 중 하나는 모든 원래 기능을 특정 범위 내에서 새로운 변수로 변환하는 것이다. 그러나 이 방법은 일부 이상값이 나타날 때 명백한 단점을 보여준다. 즉, 변환된 데이터의 분포는 비대칭이며 특정 에지 값으로 편향된다. 이 문제를 피하기 위해 분위수를 기반으로 하는 새로운 정규화 방법을 개발했다. 구체적으로, 처음에는 특징의 5%와 95%의 분위수를 추정했다. 그런 다음 전체 샘플의 90%를 차지하는 두 분위수 사이의 데이터를 [0,1] 범위로 변환했다. 나머지 기능은 동일한 변환 계수로 매핑되었다.
Features rank and selection
이론적으로 RF의 분류 접근 방식에서는 분류에 유용한 정보가 거의 또는 전혀 없는 기능을 추가해도 성능이 저하되지 않는다. 모든 기능을 RF로 간단히 전달할 수 있으며 정보가 없는 기능은 CART 방법론을 통해 분류기에 의해 무시된다. 그러나 기능 순위 및 선택을 수행하는 것은 여전히 큰 의미가 있다. 수면 중에 가장 크게 달라지는 기능을 탐색하고 가장 적은 기능으로 최적 또는 최적이 아닌 성능을 달성하는 데 도움이 될 수 있다.
위에서 설명한 것처럼 RF는 학습 과정에서 각 기능의 중요도 측정을 제공한다. 연구에서 각 특징의 중요도 측정은 두 분류기 내에서 각 개인에 대해 계산되었다. 그리고 45명의 피험자 전체에 대한 평균값을 최종 중요도 척도로 인식하였다. 그런 다음 적절한 수의 기능을 탐색했다. 분류기는 가장 중요한 변수부터 가장 덜 중요한 변수까지 한 번에 하나의 기능을 추가하면서 연속적으로 재훈련되었다. 각 실행에 대해 해당 정확도와 κ 통계가 계산되었다.
그런 다음 정확도의 함수와 변수 수에 대한 κ를 플롯하고 곡선에 따라 적절한 피처 수를 결정했다. 이 동일한 루틴은 주제별 체계와 주제 독립적 체계 모두에 도입되었다. 이 방법이 최적은 아닐 수 있지만, 연구는 단일 기능의 중요성에만 초점을 맞추고 분석 결과가 이해하고 분석하기 쉽기 때문에 여전히 사용되었다.
