Wearable Sleep Technology in Clinical and Research Settings (2)

Concordance and agreement between PSG and wearables

 

 

Bland-Altman 플롯은 계측기 간의 일치성을 평가하는 가장 중요한 도구이며 각 관심 매개변수 (TST, WASO, N1, N2, N3, REM sleep에서 소요된 시간)에 대해 PSG 장치 불일치 (y축)를 PSG 값 (x축)에 대해 플롯하여 장치의 전체 성능을 평가하는 데 사용해야 한다. 원래 Bland-Altman 그림에서는 장치 간의 평균 차이가 x축에 표시되지만 PSG는 수면 평가를 위한 허용되는 황금 표준 방법이므로 PSG를 기준으로 사용하는 보다 보수적인 접근 방식이 권장된다. Bland-Altman 그림을 사용하면 일치성과 이질성 (즉, 측정값의 크기 함수로 증가 오차가 있는지 여부)을 시각적 (질적)으로 평가할 수 있지만, 평균 차이 (또는 편향), SD 및 ±95%와 같은 정량적 지수합치도 하한 및 상한 편향의 CI (평균 차이 ±1.96*)SD) 및 ±95%합의 한도의 CI를 보고해야 한다. 유의한 직접 비교 테스트와 양의 치우침은 장치가 관찰된 PSG 수면 결과를 과소평가했음을 나타내는 반면, 유의한 직접 비교 테스트와 음의 치우침은 장치가 PSG 수면 측정을 과대평가했음을 나타낸다.

 

편향의 크기를 지나치게 강조하고 일치 한계의 폭을 과소평가하는 일반적인 경향이 있다. 그러나 바이어스가 중요하지 않더라도 불일치가 매우 광범위할 때 장치의 성능이 좋은 것으로 간주될 수 없다는 점을 명심해야 한다. 일반적인 관행은 PSG와 장치 간의 잠재적인 큰 불일치를 강조하는 Bland-Altman 합의 제한을 벗어나는 참가자의 수 또는 비율을 보고하는 것이다. 그럼에도 불구하고 이 메트릭은 종속적이며 연구에 따라 크게 달라지는 PSG 장치 불일치의 분포를 고려하여 해석해야 한다. 불행하게도 여전히 성능 품질 지표를 표준화하는 것보다 전문 지식과 최선의 판단을 기반으로 한 결과에 대한 사례별 해석에 의존하고 있다.

 

장치의 성능을 조사하는 데 사용되는 일반적인 메트릭은 선험적으로 임상적으로 만족스러운 범위 설정, 즉 편향이 임상적으로 유의한지 여부를 결정하기 위한 고정 임계값 (일반적으로 TST 및 WASO의 경우 30분 PSG-장치 차이, SE의 경우 5% 차이)이다. 그러나 이러한 고정 임계값을 사용하는 데에는 제한이 있다. Werner 등의 자주 인용되는 연구로 이어지는 이러한 제안된 범위의 근거가 여전히 불분명하다고 여겨진다. 현재의 임상적으로 만족스러운 선험적 범위의 사용을 옹호하기 전에 추가 설명이 필요하며 이러한 측정에 대한 신중한 해석이 필요하다.

 

측정 범위에 걸쳐 일정하지 않고 상당한 이질성을 보이는 경우 PSG-장치 바이어스를 조정해야 하는 경우가 있다. 예를 들어, 절대 차이 대신 비율 또는 백분율 차이를 계산하는 값의 로그 변환을 수행할 수 있다. 마지막으로, 간단한 회귀 테스트를 사용하여 PSG 수면 방해 및 인구 통계학적 요인의 양에 대한 수면 결과의 PSG 장치 불일치의 잠재적인 체계적 의존성을 탐색해야 한다.

문헌에서 자주 사용되지만 PSG와 장치 결과 사이의 Pearson의 상관관계는 오해의 소지가 있으므로 수면 결과 측정에서 PSG 장치 합의를 평가하고 해석할 때 피해야 합니다. 실제로 PSG와 기기 수면 결과를 단순히 상호 연관시키는 것은 두 측정치가 서로 밀접한지 여부가 아니라 두 측정치가 어느 정도까지 가능한지 평가합니다(71 참조). 예를 들어, 수면 추적기가 PSG보다 2배 더 긴 수면 시작 지연 시간을 체계적으로 보고하는 경우, 상관 계수는 1(완벽한 상관 관계)인 반면, 실제로 수면 추적기는 수면 시작의 유효한 측정값을 제공하지 않습니다.

보다 적절한 접근법은 수면 결과에 대한 PSG-장치 합의의 정량화를 허용하는 클래스 내 상관 관계 (ICC)를 사용하는 것이다. ICC 신뢰성 계수 해석을 위한 Cicchetti의 지침에 따라 임상적 유의성은 0.40 미만의 계수에 대해서는 "불량", 0.40과 0.59 사이의 계수에 대해서는 "공정", 0.60과 0.74 사이의 계수에 대해서는 "좋음", 0.75와 1.00 사이의 계수에 대해서는 "우수"로 명시된다. 그러나 일부 저자들은 ICC 결과에 기초하여 기기를 "유효"로 간주하지만, 기기 "유효"를 고려하기 위한 최소 요건이 무엇인지에 대해서는 여전히 합의가 이루어지지 않고 있다.

 

Accuracy of a device

 

EBE (Epoch by epoch) 분석은 장치의 정확성을 평가하는 데 선호되는 접근 방식이다. EBE는 30초의 분해능으로 수행하여 기기의 민감도 (웨어러블 기기에 의해 "수면"으로 정확하게 식별된 PSG 시기의 비율)와 특수성 (기기에 의해 정확하게 "각성"으로 식별된 PSG 시기의 비율)을 평가해야 한다. 적절한 경우, PSG 수면 단계를 감지하는 정확도는 장치에 의해 정확하게 식별된 특정 PSG 수면 단계의 PSG 에포크 비율로 평가되어야 한다. EBE 용어에 대한 설명이 필요하다. 현재, PSG 수면 및 각성 에포크를 정확하게 분류하는 장치의 능력을 언급할 때 "민감도" 및 "특이성"이라는 용어가 사용되어야 한다고 생각한다. EBE 수면 단계 분류 ("가벼운", "깊은" 및 REM 수면)에서 PSG 장치 일치성을 평가할 때, 결과를 다음과 같이 표현할 것을 제안한다 (ex: REM 수면에 대한 EBE 합의는 장치에 의해 PSG REM 수면 시간의 60%가 정확하게 REM 수면으로 분류된다는 사실을 반영하여 0.60). 표준화된 용어를 사용하면 검증 연구의 결과에 대한 혼동과 오역을 방지할 수 있다고 생각한다.

 

장치 성능을 평가할 때 EBE 전체 정확도 (웨어러블 장치에 의해 정확하게 "수면" 및 "깨우기"로 식별된 PSG 시대의 비율)가 자주 보고된다. 그러나 이 측정은 대부분의 장치의 극도로 높은 감도에 대한 강한 편향과 그에 따른 "정확성"에 기초하여 장치의 성능을 평가하는 경향 때문에 오해를 불러일으킨다. 감도와 특수성 사이의 관계는 장치의 정확도에 대한 시각적 및 정량적 측정을 제공하는 수신기 작동 특성 (ROC) 곡선을 사용하여 시각적으로 평가할 수도 있다.

EBE 분석은 각 개인에 대해 수행되어야 하며 결과는 평균, SD 및 평균 ±95% CI로 제공되어야 한다. 장치에서 특정 수면 단계의 PSG 동등한 시기를 결정하는 것이 항상 간단하지는 않지만 예를 들어 PSG N1 및 N2 수면은 "얕은 수면"의 정보는 장치 제조업체에서 직접 제공할 수 있다.

EBE 분석을 수행할 때 일반적인 문제는 웨어러블 장치가 항상 30초 수면 점수 데이터를 제공하지 않는다는 것이며, 이는 표준 PSG 점수(8)와 일치하는 이상적인 기록 시간이어야 한다. 따라서, PSG와 웨어러블 에포크를 일치시키기 위해 다양한 전략이 채택되었다. 일반적인 전략은 30-s PSG 에포크를 W-W = W, W-S 또는 S-W = W 및 S – S = S로 1분 에포크로 변환하는 것이다. 또한, 웨어러블 1분 에포크를 PSG 30 에포크 해상도와 일치하도록 두 개의 동일한 30 에포크로 분할한다. 이러한 절차의 결과는 PSG wake의 양을 과도하게 부풀릴 수 있다. 예를 들어, 16초의 PSG wake (ex: wake에 대한 AASM 규칙에 따라 후두부 영역에 대한 에포크의 50% 이상의 알파 리듬)만으로도 1분의 wake가 발생할 수 있다.

EBE 분석에서 도출할 수 있는 또 다른 척도는 Cohen's kappa 계수인데, 이는 우연에 의한 것이 아닌 두 가지 방법의 측정 합치율 (이 경우, sleep/wake 스코어링)을 반영하는 중계 (interrater) 신뢰도 지수이다. 그러나 수면 시간 동안 수면 시간의 비율이 일반적으로 각성 시간보다 높기 때문에, 두 측정치가 높은 일치도를 가지지만 낮은 카파를 가질 때 발생하는 "카파 통계의 첫 번째 역설"에 빠질 수 있다. 이 편향을 수정하는 방법은 수면 및 각성 시간의 가중치를 부여하는 유병률 및 편향 조정 카파 (PABAK)를 계산하는 것이다.

 

EBE 분석의 완전한 표현은 오차 행렬 (또는 혼동 행렬)이다. 오류 매트릭스는 PSG 장치 에포치별 분류의 교차 표 표현을 통해 PSG wake 및 sleep (및 수면 단계) epoch를 분류할 때 장치 성능을 평가할 수 있다. 장점은 장치에 의해 정확하게 분류된 PSG 에포크의 비율뿐만 아니라 잠재적인 오분류의 근원을 제공하는 더 완전한 그림을 얻는 것이다. 혼동 행렬을 더 잘 읽기 위해 이전에 평균, SD 및 PSG epoch와 예측(장치) epoch 사이의 일치 비율의 ±95% CI를 계산했다.

수면 시간, 수면 단계 분포 및 야간 주기를 설명하는 PSG 장치 정확도를 포착하기 위한 다른 전략이 제안되었다. 예를 들어, 웨어러블 수면 추적기에 대한 첫 번째 검증 연구 중 하나인 Montgomery-Downs, 수면 개시 전과 후의 각성에 대해 별도로 계산된 EBE 민감도 (소등 및 점등 시간을 항상 정확하게 얻을 수 없는 제어된 실험실 설정 외부에서 EBE 분석을 수행할 때 유용할 수 있는 접근법)이 있다. 저자들은 또한 PSG N1, N2, N3 및 REM 수면과 각성을 포함하는 시기에 대해 EBE 민감도를 별도로 계산했다. 최근에는 밤새 PSG NREM-REM 사이클을 정확하게 식별하는 장치의 능력에 기초한 PSG-장치 비교를 도입했다.

 

https://www.ncbi.nlm.nih.gov/pmc/articles/PMC6579636/

Wearable Sleep Technology in Clinical and Research Settings