CpGi는 특이성 측면에서 나름의 정확성을 띄고 있으나 다른 알고리즘과 상호 우위를 비교하기는 힘들다. 3개의 분석 프로그램 예측 비교 결과 CpG island들의 위치는 거의 유사하지만 사소한 차이가 있었는데, 파라미터 종류나 지정 수치, 간격, 단위 등의 차이가 있기 때문에 이러한 결과가 나온 것이다. 사용자가 지정할 수 없는 파라미터의 적용 방식 차이 때문에 Emboss-CpGPlot에서는 임계값 도달에 어려움이 있었다.
<h1>고 찰</h1> <p>첫 번째 검증 실험에 해당하는 22번 염색체의 AP00524 Contig에 대한 검색결과를 살펴보면 CpGi가 CpG Island Searcher와 Emboss-CpGPlot 등과 일치하는 검색결과로서 해당 Contig상에 하나의 CpG island도 존재하지 않는다는 검색결과를 도출하였다. 원래 22번 염색체의 AP00524는 CpG island가 존재하지 않은 Contig였기 때문에 False positive한 것들을 예측해 내지 않고 나름대로 정확하게 예측했다고 할 수 있다. 즉, 특이성(specificity) 측면에서 나름대로 정확성을 띄고 있다는 것을 간접적으로 확인할 수 있었다. 그러나 이러한 하나의 결과를 가지고 CpGi가 기존의 다른 프로그램들만큼 성능이 뛰어나다고 단정하기 힘들 것이다. 특히 False negative한 예측치 측면에서의 정확성, 즉 민감도(sensitivity) 차원에서 다른 두 프로그램들 보다 뛰어나다고 단언하기 곤란할 것이다. 이미 앞에서 언급한 바가 있듯이, 실제 CpG island 검색 프로그램들은 나름대로의 기준에 의해서 자체 고유의 내부 알고리즘으로 검색하기 때문에 상호 우위를 직접적으로 비교하기 매우 힘들며, 특정한 기준을 정하여 검색했을 때 합당한 것들을 모두 검색해 낼 수 있는 것이 보편적이기 때문에 더욱 그러하다. 그래서 그러한 성능평가는 다른 응용 분야의 프로그램들에 비해 그리 중요하지 않다고 볼 수 있다. 그럼에도 불구하고, False negative한 예측치 측면의 성능에 대해 간접적으로 나마 검증하기 위해 21번 염색체의 m_029490.3을 이용하여 검색한 결과들을 비교분석해 보았다. 21번 염색체의 NT_029490.3에 대해서는 Emboss-CpGPlot는 하나의 CpG island를 예측하였고, CpGi와 CpG Island Searcher는 두 개의 CpG island가 존재하는 것으로 예측하였다. 3개의 분석 프로그램들이 예측한 CpG island의 개수에 차이가 있을 뿐만 아니라 예측된 CpG island들의 위치가 검색 프로그램별로 조금씩 상이했다. 프로그램마다 이러한 상이한 위치의 차이가 생기는 것은 아마도 파라미터의 지정문제와 내부 검색 알고리즘의 미묘한 차이에서 기인한다고 볼 수 있을 것이다. 즉, 각 프로그램별로 기본적으로 주어진 파라미터의 종류에 다소 차이가 있고, 동일한 파라미터라고 하더라도 지정할 수 있는 수치의 단위나 간격의 차이가 있었기 때문에 이러한 결과가 나오게 된 것이라 여겨진다. 그렇지만 이러한 결과가 유의하다고 생각되는 것은 CpGi를 통하여 검색된 CpG island의 위치가 동일하게 두 개의 CpG island를 찾아낸 CpG Island Searcher의 결과와 비교해 봤을 때 거의 비슷한 곳에 위치하고 있었고, 한 개의 CpG island를 검색해 낸 Emboss-CpGPlot의 분석 결과의 도표를 잘 분석해 보면 CpG Island Searcher와 CpGi에서 검색된 첫 번째 CpG island의 Obs(CpG)/Exp(CpG) 및 GC% 등의 파라미터 값들과 유사한 값을 갖고 있다는 것을 발견할 수 있었다. 다른 두 프로그램이 검색한 하나의 CpG island를 Emboss-CpGPlot가 제대로 검색하지 못했던 것은 앞서 언급한 바와 같이 사용자가 지정할 수 없는 분석 시스템 내부 파라미터의 적용 방식에 다소 차이가 있었기 때문에 CpG Island Searcher나 CpGi에 서는 유효하다고 여겨진 CpG island 영역이 Emboss-CpGPlot에서는 유효하다고 판단되는 임계값(threshold)에 도달할 수 없었던 것으로 이해할 수 있다.</p>