문헌 의 질 평가 필요 성 
 근거 에 사용 될 수 있 는 자료 로 선택 된 문헌 에 대해 그 타당 성 을 평가 해야 한다 . 이러 한 평가 의 결과 는 문헌 의 근거 수준 을 결정 하 며 , 이 는 결과 적 으로 권장 사항 의 등급 에 영향 을 미치 게 된다 . 근거 평가 는 주로 연구 설계 에 초점 을 두 며 , 연구 결과 의 타당 성 을 손상 시키 는 비뚤 림 이 얼마나 존재 하 는지 에 의해 결정 된다 . 진료 지침 개발 을 위해 체계 적 인 방법 으로 선택 된 근거 는 반드시 평가 과정 을 거쳐야 하 며 그 이유 는 다음 과 같이 정리 할 수 있 다 . 
 첫째 , 지침 의 권장 사항 을 구성 하 는 데 사용 할 근거 의 최소한 의 질 적 수준 을 보장 해야 하 기 때문 이 다 . 일반 적 으로 무작위 배정 비교 임상시험 ( RCT ) 이 가장 근거 의 수준 이 높 다고 알려져 있 으나 , 문제 의 성격 에 따라 그 문제 를 가장 잘 설명 할 수 있 는 연구 디자인 이 존재 할 것 이 다 . 근 거의 양 뿐 아니 라 질 적 인 부분 을 고려 한다고 할 때 , 양질 의 근거 로 받아들일 수 있 는 최소한 의 기준 을 세워 포함 기준 으로 설정 하 는 것 이 필요 하 다 . 
 둘째 , 근거 의 질 에 따라 결과 가 상이 할 수 있 으므로 , 포함 기준 을 충족 시키 는지 평가 하 는 질 평가 가 필요 하 다 . 
 셋째 , 양질 의 근거 의 결과 를 선택 적 으로 해석 할 수 있 다 . 즉 , 같 은 효과 크기 를 보인다 하 더라도 근거 의 질 이 높 게 평가 된다면 , 세부 분석 등 을 통해 해당 근거 만 을 대상 으로 분석 을 시행 할 수 있 다 . 
 질 평가 방법 이나 도구 , 질 평가 결과 를 체계 적 문헌 고찰 에 포함 시키 는 방법 등 에 대한 논란 은 여전히 있 으나 , 진료 지침 개발 과 체계 적 문헌 고찰 을 일차 문헌 평가 에 반드시 문헌 의 질 을 평가 하 도록 권고 하 고 있 다 . 
 근 거의 평가 과정 은 불가피 하 게 일정 한 주관 적 판단 이 개입 된다 . 연구 가 충족 해야 하 는 특별 한 기준 , 예 를 들 면 추구 조사 에서 손실률 등 이나 연구 결과 의 임상 적 적용 가능 성 등 에 관한 것 이 다 . 이 로 인한 잠재 적 편견 을 최소 화 하 기 위해서 SIGN 가이드라인 개발 그룹 은 각 연구 들 이 최소한 두 사람 의 구성원 이 별개 로 평가 할 수 있 도록 권장 한다 . 평가 에 있 어서 나타난 평가 자간 의 차이 는 전체 그룹 에서 다시 평가 되 어 져야 한다 . 나아가 서 각 진료 지침 에서 인용 된 논문 을 무작위 로 추출 하 여 진료 지침 개발 그룹 이 아닌 다른 누군가 가 검토 를 하 여 , 그 결과 를 진료 지침 개발 그룹 과 평가 할 수 도 있 다 . 
 연구 설계 의 종류 
 연구 설계 분류 
 문헌 고찰 혹은 체계 적 고찰 을 위해서 는 문헌 검색 을 통해 일차 적 으로 파악 된 문헌 들 을 분류 하 고 각각 을 평가 대상 으로 삼 을지 를 결정 해야 한다 . 평가 자 는 다양 한 형태 로 존재 하 는 대상 문헌 을 일련 의 규칙 에 의거 해 분류 하 고 그 결과 를 반영 해야 한다 . 따라서 해당 문헌 의 비뚤 림 평가 에 앞서 각각 의 문헌 을 사전 에 정한 연구 의 틀 분류 에 맞추 어 정리 할 필요 가 있 다 . 
 중재 의 효과 를 보 는 연구 는 무작위 배정 비교 임상시험 의 중요 성 때문 에 무작위 연구 와 비 무작위 연구 ( non - randomized studies ) 로 구분 하 기 도 하 고 , 연구자 의 참여 에 따라 실험 ( experimental ) 연구 와 관찰 ( observational ) 연구 로 구분 하 기 도 한다 . 
 딕스 등 은 영국 National Health Service ( NHS ) , Health Technology Assessment ( HTA ) 로 시행 한 분석 에서 중재 연구 를 다음 과 같이 구분 하 도록 제안 하 였 다 . 
 연구 설계 의 분류 도구 
 연구 설계 의 분류 를 위해 통상 적 으로 몇 가지 분류 도구 를 과거 부터 이용 해 오 고 있 다 . 그러나 실제로 이 를 적용 하 는 과정 에서 용이 한 적용 이 어렵 고 분류 결과 가 연구자 마다 다르 게 나타나 는 어려움 이 있 었 다 . 여기 서 는 이 들 의 장단점 을 비교 하 고 이 를 바탕 으로 개발 한 분류 도구 를 소개 한다 . 
 이 는 기존 의 타 분류 도구 에 비해 가장 많 은 연구 설계 를 포함 한다 . 앞 으로 다양 한 임상 연구 들 을 대상 으로 본 분류 도구 와 타 분류 도구 사이 의 비교 평가 를 시행 하 는 것 이 필요 하 다 . 
 문헌 평가 의 개념 및 항목 
 문헌 의 질 평가 항목 
 문헌 의 질 은 계통 적 오류 , 비 계통 적 오류 , 추론 오류 즉 연구 디자인 , 수행 , 분석 을 통해 선택 , 측정 , 혼란 비뚤 림 을 최소 화 하 는 방법 론 적 질 과 연구 결과 의 임상 적 , 정책 적 적절 성 을 반영 하 는 비 방법 론 적 질로 구분 한다 . 대체로 방법 론 적 질 을 문헌 의 질로 표현 하 며 , 이 중 비뚤 림 을 최소 화 한 정도 ( 내적 타당도 의 정도 ) 를 가리키 는 경우 가 많 아 일부 정밀도 의 개념 을 문헌 의 질 평가 에 포함 시키 기 도 한다 . 
 연구 결론 의 일반 화 가능 성 , 즉 연구 결론 이 연구 밖 의 일반 세계 에 적용 되 었 을 때 얼마나 타당 한가 를 의미 한다 . 평가 영역 에서 외적 타당도 는 현재 의 연구 가 평가 하 려고 하 는 평가 질문 에 얼마나 부합 한 가로 판단 한다 . 
 내 적 타당 도 
 실제 연구 대상자 와 실제로 측정 된 변수 가 각기 의도 된 표본 과 의도 된 변수 를 반영 하 지 못하 면 , 이 에 기인 하 는 오류 가 연구 내 에서 실제로 발생 한 사실 에 대한 추론 의 타당 성 을 위협 하 는 것 , 즉 연구자 의 결론 이 해당 연구 에서 실제로 발생 한 사견 을 올바르 게 반영 하 는 정도 를 말 한다 . 내적 타당도 는 연구 가 ‘ 연구 질문 에 얼마나 바르 게 대답 하 였 는가 ’ 혹은 ‘ 비뚤 림 없이 대답 하 였 는가 ’ 로 평가 할 수 있 다 . 
 오류 ( error ) 와 비뚤 림 ( bias ) 
 어떤 연구 도 오류 가 없 을 수 는 없 으며 , 모든 추론 이 항상 타당 한 것 도 아니 다 . 연구 추론 을 그릇 되게 하 는 오류 에 는 무작위 오류 와 계통 적 오류 가 있 다 
 - 무작위 오류 ( random error ) 
 우연 에 의해 발생 되 는 그릇 된 결과 표 본수 를 늘리 면 추정 치 의 정밀도 가 증가 됨 으로써 무작위 오류 발생 가능 성 을 줄일 수 있 다 . 정밀도 는 우연 의 효과 로 일어날 가능 성 에 대한 측정 으로 정의 되 며 , 효과 추정 치 의 신뢰 구간 으로 표시 할 수 있 다 . 
 - 계통 적 오류 ( systematic error ) 
 비뚤 림 에 발생 하 는 오류 로 내적 타당도 와 유사 한 개념 이 다 . 계통 적 오류 는 표본 의 크기 를 늘리 는 것 으로 해결 되 지 않 으며 이 를 줄이 기 위해서 는 , 연구 디자인 의 질 을 향상 시키 고 이 에 대한 적절 한 추론 을 하 여야 한다 . 
 - 비뚤 림 ( bias ) 
 비뚤 림 은 중재 효과 의 참값 에 비해 과대 혹은 과소평가 의 양쪽 모두 로 작용 할 수 있 다 . 그러나 연구 결과 는 방법론 상 의 잘못 에 도 불구 하 고 올바를 수 있 기 때문 에 ‘ 비뚤 림 위험 ’ 이 라는 표현 이 나오 게 되 었 다 . 무작위 대조 연구 와 같 은 임상시험 에서 비뚤 림 이 올 수 있 는 원천 은 선택 비뚤 림 ( selective bias ) , 수행 비뚤 림 ( performance bias ) , 탈락 비뚤 림 ( attrition bias ) 과 결과 확인 비뚤 림 ( detection or measurement bias ) 의 네 가지 이 다 . 
 비뚤 림 의 종류 
 - 선택 비뚤 림 
 치료 효과 에 비뚤 림 이 나타날 때 가장 중요 한 요인 은 치료 군 배정 에 의한 것 이 다 . 치료 배정 에 대한 정보 가 알려 지 지 않 도록 적절 한 방법 을 사용 하 는 것 이 매우 중요 하 다 . 
 - 실행 비뚤 림 
 실행 비뚤 림 은 임상시험 이 진행 되 는 동안 중재 군 과 비 교군 에 제공 되 는 중재 의 체계 적 차이 를 말 한다 . 
 - 탈락 비뚤 림 
 탈락 비뚤 림 은 연구 에서 대상자 탈락 의 체계 적 차이 때문 에 발생 하 며 배제 비뚤 림 ( exclusion bias ) 으로 불리 기 도 한다 . 
 - 결과 확인 비뚤 림 
 결과 확인 비뚤 림 이 란 결과 평가 에 있 어서 두 군 사이 에 발생 할 수 있 는 체계 적 차이 로 결과 를 평가 할 때 배정 에 대한 눈 가림법 이 이루어져 있 으면 이런 비뚤 림 이 적 게 발생 할 가능 성 이 크 다 . 
 연구 설계 별 질 평가 도구 
 평가 도구 의 종류 
 질 평가 에 는 수많 은 도구 들 이 있 는데 , 이 들 도구 는 크 게 평가 도구 와 점검 목록 으로 구분 할 수 있 다 . 평가 도구 는 문헌 의 질 을 구성 하 는 다양 한 구성 요소 를 결합 하 여 하나 의 점수 로 제시 하 며 질 평가 도구 의 대부분 을 차지 한다 . 점검 목록 은 문헌 의 질 을 구성 하 는 특정 질문 에 답 하 도록 하 며 이 를 전체 적 인 점수 로 제시 하 지 는 않 는다 . 
 평가 도구 는 다양 한 질 에 대한 구성 요소 들 의 정보 를 결합 해서 점수 로 제시 하 는 것 이 다 . 다양 한 도구 들 이 있 으며 모어 ( Moher D . ) 등 에 의하 면 25 개 이상 의 도구 가 있 다 . 그러나 체계 적 문헌 고찰 에 척도 를 써서 질 을 평가 하 는 것 은 몇 가지 이유 로 문제 가 있 다 . 첫째 , 여러 평가 도구 들 은 포함 한 영역 , 복합 성 , 규모 에서 매우 다양 하 다 . 상당수 척도 에 는 연구 의 내적 타당도 와 관련 성 이 명백 하 지 않 은 주로 외적 타당도 와 관련 이 있 는 여러 가지 문항 들 을 포함 되 어 있 다 . 둘째 , 평가 도구 에 따라서 결과 의 일관 성 이 없 다 . 따라서 어떤 평가 도구 를 적용 했 는지 에 따라서 결과 가 아주 다르 게 나올 수 있 다 . 
 무작위 배정 비교 임상시험 평가 도구 ( RCT ) 
 차 머스 평가 도구 와 자 다드 평가 도구 
 무작위 배정 비교 임상시험 에 대한 질 평가 에서 가장 많이 쓰이 는 두 평가 도구 는 차 머스 평가 도구 와 자 다드 평가 도구 이 다 < 그림 7 - 2 >. 자 다드 평가 도구 는 총 5 문항 으로 되 어 있 으며 5 점 만점 으로 평가 한다 . 내적 타당도 의 주요 영역 이 라고 할 수 있 는 무작위 배정 , 눈 가림법 , 탈락 을 모두 다루 고 있 고 심리 측정학 적 검증 이 이루어진 거의 유일 한 평가 도구 라고 할 수 있 다 . 
 자 다드 평가 도구 의 가장 큰 문제 는 실제 내 적 타당 도 보다 보고 의 질 을 주로 평가 한다는 것 이 다 . 즉 무작위 배정 순서 의 은폐 에 대한 평가 항목 이 다루 어 지 지 않 는 등 의 문제점 을 안 고 있 어 , 현재 코크란 연합 에서 추천 하 지 않 는 도구 이 다 . 
 SIGN 의 평가 도구 
 점검 목록 은 내적 타당도 를 평가 할 수 있 는 특정 질문 에 답변 하 도록 하 는 것 이 다 . 국내 에서 많이 쓰이 는 대표 적 인 것 으로 SIGN 이 개발 한 점검 목록 < 표 7 - 3 > 이 있 다 . 
 SIGN 의 점검 목록 은 연구 질문 , 순 서생 성 , 배정 은 폐 , 이중 눈 가림법 , 기저 상태 동질 성 , 실행 비뚤 림 , 결과 보 고 , 탈락 , 기관 각 동질 성 등 의 10 가지 질문 을 하 여 개별 무작위 배정 비교 임상시험 의 질 을 평가 하 도록 한다 . 
 잘 수행 됨 well covered ( WC ) , 적절히 다루 어 짐 adequately addressed ( AA ) , 빈약 하 게 다루 어 짐 
 poorly addressed ( PA ) , 다루 어 지 지 않 음 not addressed ( NA ) ( 언급 되 지 않 았 거나 연구 디자인 중 해당 부분 이 누락 된 경우 ) 
 보고 되 지 않 음 not reported ( NR ) ( 언급 되 긴 하 였 지만 평가 할 수 있 는 자세 한 설명 이 없 는 경우 ) , 적용 가능 하 지 않 음 not applicable ( NAP ) 
 ⅱ ) 논문 에 대한 전반 적 인 평가 
 ++ : 몇 가지 기준 이 충족 됨 . 부적절 하 거나 미충 족 된 기준 에 의해 결론 이 바뀔 것 같 지 는 않 다 . 
 + : 몇 가지 기준 이 충족 됨 . 부적절 하 거나 미충 족 된 기준 에 의해 결론 이 바뀔 것 같 지 는 않 다 . 
 - : 거의 또는 모든 기준 이 충족 되 지 않 는다 . 연구 의 결론 이 바뀔 가능 성 이 매우 높 다 . 
 코크란 의 평가 도구 
 코크란 방법 론 그룹 은 무작위 배정 비교 임상시험 에서 발생 하 는 비뚤 림 의 영역 을 순서 생성 ( sequence generation ) , 배정 은 폐 ( allocation concealment ) , 눈 가림법 , 불 완전 한 자료 결과 ( incomplete outcome date ) , 선택 적 결과 보고 ( selective reporting ) 의 5 가지 로 구분 하 였 다 . 이 를 통해 무작위 배정 비교 임상시험 의 5 가지 비뚤 림 을 < 표 7 - 4 > 에서 평가 할 수 있 다 . 
 평가 자 는 개별 부분 영역 에 대해 ‘ Yes ’ 는 낮 은 비뚤 림 가능 성 , ’ No ’ 는 높 은 비뚤 림 가능 성 을 의미 하 는 것 으로 답변 하 고 , 불 충분 한 정보 가 있 으면 ‘ 불 확실 ( Unclear ) ’ 로 표시 한다 . 이 를 종합 하 여 연구 간 의 주요 결과 에 대해 비뚤 림 위험 을 평가 하 여야 하 는데 , 가장 중요 한 영역 을 파악 하 고 이 에 대해 요약 평가 를 시행 하 여야 한다 < 표 7 - 5 >. 
 체계 적 문헌 고찰 ( Systematic Reviews ) 의 평가 도구 
 지금 까지 체계 적 문헌 고찰 의 평가 도구 로 는 SIGN 의 평가 도구 인 체계 적 고찰 과 메타분석 < 표 7 - 6 > 이 주로 쓰여져 왔 다 . 
 잘 수행 됨 well covered ( WC ) 적절히 다루 어 짐 adequately addressed ( AA ) , 빈약 하 게 다루 어 짐 
 poorly addressed ( PA ) , 다루 어 지 지 않 음 not addressed ( NA ) ( 언급 되 지 않 았 거나 연구 디자인 중 해당 부분 이 누락 된 경우 ) 
 최근 에 Shea ( 2007 ) 등 이 개발 한 AMSTAR ( Assessment of Multiple Systematic Reviews ) 도 쉽 게 적용 할 수 있 고 , 합의 , 신뢰도 , 타당 도 구성 및 실행 가능 성 등 이 높 은 도구 로 알려져 있 다 . 
 비 무작위 연구 에서 의 질 평가 도구 
 비 무작위 연구 의 비뚤 림 위험 평가 도 유사 한 방법 으로 프로토콜 에서 미리 정해진 특성 을 정하 고 연구 에서 어떻게 하 였 는지 관찰 하 고 이것 이 특정 비뚤 림 위험 을 피하 는 방법 으로 적절 한지 부적절 한지 불 확실 한지 를 기록 한다 . 그러나 무작위 배정 비교 임상시험 과 달리 비 무작위 연구 는 이런 비뚤 림 위험 을 어떻게 평가 하 고 결과 를 제시 해야 하 는지 명백 한 합의 가 이루어져 있 지 않 아 이런 특성 을 결정 하 기 위해 역학 전문가 가 필요 하 다 . 
 일 차 연구 의 연구 설계 특성 에 특히 주의 를 기울이 는 것 ( 참여 자 는 어떻게 배정 되 었 나 혹은 연구 의 어떤 부분 이 전향 적 인가 ) 이 부여 된 연구 설계 범주 ( 코호트 혹은 단면 ) 보다 더 중요 한데 그 이유 는 비뚤 림 위험 은 개별 연구 의 연구 설계 범주 보다 는 한 연구 의 특정 특성 에 따라서 이루어지 기 때문 이 다 . 
 교란 과 보정 
 대부분 의 경우 비 무작위 연구 는 고려 한 교란 변수 를 기술 하 며 교란 변수 를 연구 설계 단계 에서 혹은 분석 단계 에서 보정 하 였 는지 를 밝힌다 . 또한 대부분 은 비교 한 집단 의 기저 상태 특성 에 대해서 기술 한다 . 하지만 연구자 가 실제로 교란 변수 보정 을 위해 시행 한 것 을 평가 하 는 것 은 어려울 수 있 고 교란 변수 를 어떻게 측정 하 였 고 희귀 모형 에 적합 한 지 를 평가 하 기 는 어렵 다 . 
 코크란 리뷰 에서 교란 변수 평가 의 결과 보고 는 미리 결정 한 교란 변수 를 열 로 연구 를 행 으로 하 여 개별 연구 들 이 ① 참여 자 선택 을 제한 해서 모든 군 에서 교란 변수 에 대해서 동일 한 값 을 갖 는지 ( 예 를 들 어 남성 만 선택 하 는 것 ) , ② 교란 변수 에 대해서 두 군 사이 에 균형 이 있 는지 , ③ 교란 변수 에 대해서 짝짓 기 를 했 는지 , ④ 교란 변수 에 대해서 보정 을 했 는지 등 을 평가 한다 . 
 비 무작위 연구 에서 비뚤 림 위험 평가 도구 
 코크란 무작위 배정 비교 임상시험 평가 도구 는 6 개 의 특성 즉 순 서생 성 , 배정 은 폐 , 눈가림 , 불 완전 결과 자료 , 선택 적 결과 보 고 , 다른 잠재 적 비뚤 림 원 으로 평가 한다 . 이러 한 도구 는 비 무작위 연구 를 염두 에 두 고 개발 한 것 이 아니 고 , 비 무작위 연구 에 적절 한 것 도 아니 다 . 하지만 이 도구 와 평가 의 전반 적 인 구조 는 비 무작위 연구 의 비뚤 림 위험 평가 도구 를 만드 는데 유용 하 다 . 
 기존 의 도구 를 살펴보 면 , 딕스 등 은 비 무작위 연구 의 방법 론 적 질 평가 도구 에 대한 체계 적 문헌 고찰 을 하 였 다 . 182 개 도구 를 리뷰 하고 체계 적 문헌 고찰 에 쓰일 수 있 는 14 개 목록 으로 줄인 뒤 6 개 도구 를 최종 적 으로 결정 하 였 다 . 이 들 은 “ 리뷰 자 들 이 연구 평가 를 체계 적 으로 할 수 있 도록 해 주 고 가능 하 면 평가 를 객관 적 인 방법 으로 할 수 있 도록 해준다 ” 라고 평가 하 였 다 . 
 또한 이 리뷰 에서 가장 유용 한 도구 로 돈 과 블랙 도구 ( Downs and Black instrument ) 와 뉴캐슬 오타 와 척도 ( Newcastle - Ottawa Scale ) 를 꼽 았 다 . 돈 과 블랙 도구 를 이용 한 체계 적 문헌 고찰 에 의하 면 29 문항 중 일부 는 환자 - 대 조군 연구 에 적용 할 수 없 으며 상당 한 역학 적 전문 성 을 요구 하 며 너무 시간 소모 가 많 다고 하 였 다 . 
 뉴캐슬 오타 와 척도 는 코크란 워크숍 에서 일차 비 무작위 연구 들 의 자료 추출 에 이용 되 었 다 . 이 도구 는 8 개 문항 으로 짧 아서 적용 이 쉽 지만 각 문항 은 연구 주제 에 따라 수정 이 필요 하 다 . 또한 검토 자 는 서로 다른 나라 에서 쓰이 는 역학 적 용어 의 상이 성 에 대해서 잘 알 고 있 어야 한다 . 
 비 무작위 연구 에서 비뚤 림 위험 평가 의 실제 적 제 한 점 
 대체로 비 무작위 연구 는 방법 론 적 질 이 높 지 않 거나 보고 의 질 이 낮 아서 방법 론 적 질 을 일관 적 으로 모두 일차 연구 에 대해서 평가 하 는 것 은 매우 어렵 거나 불 가능 하 다 
 연구 설계 와 질 평가 에 따른 근거 와 수준 
 이상 의 연구 설계 와 연구 평가 를 바탕 으로 근거 수준 을 정할 수 있 다 . 근거 수준 의 지정 은 개발 그룹 으로서 각 특정 한 질문 과 관련 있 는 근거 를 검토 하 는 데 참여 한 모든 사람 이 관여 해야 한다 . 다음 은 SIGN < 표 7 - 2 > 과 AHRQ < 그림 7 - 3 > 에서 제공 한 근거 의 수준 이 다 .