화선 조 
 1 대량 기록물 의 효율 적 인 처리 를 위한 Database 관리 방안 연구 서강대 학교 컴퓨터 공학 과 이대욱 
 2 목 차 1 . 연구 범위 및 내용 2 . 대량 기록물 의 효율 적 인 처리 를 위한 Database 구조 연구 기록 관리 서브시스템 별 특징 , 기능 및 DBMS 역할 입 수단 / 보존 단 / 제 공단 3 . 인프라 변화 에 대응 한 Database 관리 방안 연구 대용량 데이터 처리 기술 / 분산 보존 기술 / 클라우드 컴퓨팅 / 저장 매체 기술 4 . 국산 DBMS 의 벤치마크 Page 2 
 3 1 . 연구 범위 및 내용 대량 기록물 의 효율 적 처리 를 위한 Database 구조 연구 관리 대상 기록물 현황 조사 중앙 기록물 관리 시스템 ( CAMS ) 의 데이터베이스 현황 분석 대량 데이터 처리 를 위한 데이터베이스 사례 분석 대량 기록물 처리 를 위한 데이터베이스 구조 분석 대량 기록물 처리 를 위한 기능 요건 분석 데이터베이스 구조 요건 및 관련 기술 종합 정리 인프라 변화 에 대응 한 Database 관리 방안 연구 대용량 처리 기술 최신 동향 조사 및 분석 분산 보존 기술 최신 동향 조사 및 분석 클라우드 최신 동향 조사 및 분석 저장 매체 기술 최신 동향 조사 및 분석 분석 결과 종합 및 시사점 도출 기록물 생애 주기 관리 자동 화 처리 를 위한 데이터베이스 스키마 개발 기록물 생애 주기 정의 와 관리 단계 분석 생애 주기 에 따른 관리 자동 화 대상 선정 및 데이터 베이스 요건 도출 데이터베이스 스키마 개발 대상 및 범위 선정 스키마 개발 계획 수립 입 수단 , 보존 단 , 제 공단 데이터베이스 스키마 개발 국산 DBMS 의 벤치마크 기록 관리 시스템 에서 의 DBMS 현황 조사 기록 관리 시스템 의 서브시스템 별 구성 요소 및 DBMS 의 역할 과 특징 DBMS 기술 종속 성 문제 의 검토 주요 DBMS 의 조사 및 분석 국산 DBMS 채택 의 장단점 검토 Page 3 
 4 2 . 대량 기록물 의 효율 적 처리 를 위한 Database 구조 연구 기록 관리 서브시스템 별 특징 , 기능 및 DBMS 역할 입 수단 다양 한 기록 의 출처 시스템 이 연동 될 수 있 음 다양 한 포맷 의 SIP 가 입수 될 수 있 음 . ( NEO 포맷 , 생산 당시 전자 문서 ) 다종다양 한 상태 의 메타데이터 종류 와 분류 정보 이기종 데이터베이스 관리 시스템 과 쉬 운 연동 입수 기록물 검정 을 위한 임시 데이터 베이스 생 성 의 용이성 이관 시점 에 대량 의 기록물 을 단시간 에 처리 능력 기록물 검정 규칙 에 따른 속도 감 있 는 검증 수행 능력 ( 트리거 ) 단위 처리 시간 ( response time ) 도 중요 하 지만 높 은 자료 처리 량 ( throughput ) 이 요구 됨 한 번 씩 몰리 는 ( bursty ) 데이터 를 효율 적 으로 처리 할 수 있 어야 보존 단 안정 적 으로 보존 하 는 것 이 가장 중요 한 기능 대용량 의 기록물 에 대한 저장 과 보존 조치 가 가능 해야 함 백업 및 복구 기능 장기 보존 에 대한 신뢰 성 장기 보존 의 특성 에 따른 DBMS 에 대 한 지속 적 인 기술 지원 가능 성 및 대안 백업 및 복구 와 관련 된 DMBS 에 대한 기술 지원 가능 성 및 대안 기록 정보 가 저장 된 데이터베이스 의 포 맷 이 모두 공개 되 거나 최소한 기록물 관리 기관 에 포맷 이 등록 되 어 있 어야 함 Large Object 관리 기능 및 XML 처리 기능 제 공단 다양 한 기록물 의 서비스 모듈 과 연동 될 수 있 음 ( 기록 포탈 , 홈페이지 , 정보 공개 시스템 등 ) 기록물 사용 자 집단 이 탐색 에 필요 로 하 는 메타데이터 를 유지 하 되 보 존 단 메타데이터 와 동기 화 필요 ( NEO 포맷 그대로 or 발췌 사본 ) 기록물 의 유형 ( 텍스트 , 이미지 , 비디오 , 오디오 등 ) 별로 DIP 작성 을 원활 하 게 수행 할 수 있 어야 함 검색 결과 나 발췌 사본 인 DIP 를 저장 할 수 있 는 별도 의 저 장소 필요 동시 접속자 수 가 많 은 상황 에서 빠른 처리 성능 빠른 처리 시간 ( response time ) 보존 단 으로부터 데이터 이관 작업 중 에 도 빠른 검색 처리 성능 별도 검색 엔진 도입 에 대한 고려 Page 4 
 5 2 . 대량 기록물 의 효율 적 처리 를 위한 Database 구조 연구 대용량 기록물 처리 단계 별 데이터베이스 구조 입 수단 데이터베이스 구조 단일 서버 로 구성 하 고 여러 입수 처리 시스템 에서 동시 접속 데이터베이스 관리 스토리지 크기 ( 테이블 스페이스 크기 ) 추산 : 하루 평균 입수 메타데이터 수 * 입수 데이터 의 평 균 유지 기간 ( 일 ) * 메타데이터 레코드 의 평균 크기 입 수단 데이터베이스 는 메타데이터 가 일괄 저장 및 삭 제 되 는 특성 이 있 음 . 따라서 데이터베이스 시스템 의 물 리적 인 블록 크기 를 크 게 설정 하 여 데이터 처리 효율 을 높이 는 것 이 바람직 함 . 입수 처리 시스템 별 로 메타데이터 저장 을 위한 테이블 생성 - 각 입수 처리 시스템 별 로 생성 된 메타데이터 테이블 들 을 하나 의 통합 뷰 로 묶음 . - 다른 시스템 처리 레코드 에 영향 을 주 지 않 고 입 수처 리 시스템 별 로 독립 적 으로 관리 할 수 있 음 . 또한 보존 단 이관 후 메타데이터 정리 가 쉬움 입수 처리 완료 하 여 보존 단 이관 후 데이터베이스 저장 소 ( 테이블 스페이스 ) 및 전자 파일 저장 스토리지 에 대한 정리 필요 ( 다음 입수 처리 에서 재사용 ) - 관리자 의 수작업 혹은 자동 화 처리 입 수단 이관 XML 입수 파일 저장 각급 국가 기관 Online / Offline 보존 단 보존 단 이관 메타데이터 NEO 포맷 NEO 추출 데이터베이스 시스템 메타데이터 품질 검사 ( 포맷 검사 , MD 검증 ) 품질 검사 결과 에 따라 NEO 재생성 가능 디지털 컴 퍼 넌 트 격리 검사 격리 검사 완료 Page 5 
 6 2 . 대량 기록물 의 효율 적 처리 를 위한 Database 구조 연구 대용량 기록물 처리 단계 별 데이터베이스 구조 보존 단 데이터베이스 구조 분산 데이터베이스 구축 - 하나 의 메인 데이터베이스 시스템 + 다수 의 기록물 유 형별 데이터베이스 시스템 ( 전자 문서 , 시청각 , 데이터 셋 , 웹 기록 등 ) - 메인 데이터베이스 시스템 은 기록물 유형 에 상관없 는 공통 의 메타데이터 관리 - 기록물 유형 별 상이 한 메타데이터 는 각 유형 별 데이 터 베이스 시스템 에서 관리 - 영구 보존 특성 에 의한 대용량 메타데이터 를 기록물 유형 별 로 나누 어 분산 화 함 으로써 처리 의 효율 성 - 일반 적 으로 기록물 유형 별 로 이루어지 는 각종 업무 들 에 유연 한 대처 가 가능 미러 링 및 복본 저장 을 통한 재난 , 재해 등 에 대비 한 백업 시스템 구축 1 단계 : 기존 상용 RDBMS 가 지원 하 는 방식 이용 ( 일반 적 으로 dblink 방식 ) 2 단계 : 전문 분산 데이터베이스 이용 ( 기술 성숙도 , 안정 성 등 의 면 에서 현재 로서 는 국가 기록원 에서 사용 하 기 적합 하 지 않 음 , 향후 클라우드 구축 과 연계 가능 ) 국산 DBMS 채택 고려 입 수단 AIP 이관 입 수단 시스템 Mirroring 성남 분원 보존 단 분산 데이터베이스 구성 대전 본원 대전 본원 성남 부산 복본 저 장소 기록물 유형 별 서브시스템 - 전자 문서 서브시스템 - 시청각 기록물 서브시스템 - 웹 기록물 서브시스템 - 데이터 셋 서브시스템 Page 6 
 7 2 . 대량 기록물 의 효율 적 처리 를 위한 Database 구조 연구 대용량 기록물 처리 단계 별 데이터베이스 구조 제 공단 데이터베이스 구조 보존 단 제 공단 메인 메모리 DBMS 에 대한 고려 - 최근 많 은 DBMS 들 이 MMDBMS 를 지원 / 지원 예정 , 특히 국산 DBMS 알티 베이스 는 MMDBMS 를 주요 특징 으로 하 고 있 음 . - 사용 자 검색 결과 에 따라 관련 데이터 를 미리 디스크 에서 메인 메모리 로 이동 시키 는 방식 고려 할 수 있 음 . 스토리 지용 디스크 로 SSD 채택 필요 - 기존 하드 디스크 대비 빠른 접근 속도 및 안정 성 - 검색 및 블라 우징 등 읽 기 접근 이 많 은 특성 에 유리 검색 엔진 사용 에 대한 고려 - 대량 의 도서 정보 메타데이터 를 저장 한 후 검색 , 대출 등 의 서비스 를 하 고 있 는 전자 도서관 패키지 에서 활 발 하 게 도입 되 어 사용 중 - 기존 데이터베이스 시스템 에 부하 를 주 지 않 으면서 전문 검색 엔진 의 도입 으로 서비스 검색 속도 향상 DIP 이관 데이터 저 장소 DI 저 장소 DIP 저 장소 검색 엔진 웹 서버 인터넷 웹 서버 사용 자 Page 7 
 8 3 . 인프라 변화 에 대응 한 Database 관리 방안 연구 대용량 데이터 처리 기술 대용량 데이터 ( Big data 혹은 Large - scale data ) 일반 적 인 데이터베이스 관리 기술 로 는 허용 할 수 있 는 시간 내 에 다루 고 처리 하 기 어려울 만큼 그 크기 가 큰 데이터 대용량 데이터 처리 기술 이 란 대용량 데이터 들 을 효 과 적 으로 다룰 수 있 게 해 주 는 방법론 MapReduce 의 등장 Google 에서 정보 검색 을 위한 데이터 가공 ( 인덱스 추출 , 정렬 및 역 인덱스 생성 등 ) 을 목적 으로 개발 된 분산 환경 에서 의 병렬 데이터 처리 기법 데이터 분산 , 병렬 화 , 로드 밸 런 싱 , 내 결함 성 ( Fault tolerance ) 등 을 처리 해 주 는 MapReduce 라이브 러 리 로 구성 기존 RDBMS 의 변화 기존 의 강점 인 수 십 년 간 축적 된 관계 형 데이터 베 이스 관리 기술 로 RDBMS 의 한계 를 극복 RDBMS 도 병렬 , 분산 구조 의 시스템 으로 의 전환 하이브리드 형 DB 시스템 : 정렬 , Join 연산 이 필요 한 부분 만 메타데이터 로 만들 어서 처리 , 다른 것 들 은 MapReduce 방식 의 key - value DB 엔진 으로 처리 주요 연구 분야 대형 병렬 처리 ( MPP : Massively Parallel Processing ) 데이터 마이닝 ( Data Mining ) 분산 파일 시스템 ( Distributed File System ) 분산 데이터베이스 ( Distributed Database ) 클라우드 컴퓨팅 ( Cloud Computing ) 적용 방안 검토 대용량 처리 기술 의 적용 대상 이 되 는 국가 기록원 업무 - 입 수단 의 대 규모 입수 처리 업무 - 서브시스템 간 대 규모 이관 작업 - 보존 단 에서 의 주기 적 인 대 규모 포맷 컨 버 젼 , 마이 그레 이 션 업무 동일 / 비슷 한 업무 의 대량 처리 작업 시 유리 한 MapReduce 방식 의 적용 에 대한 검토 - 상단 국가 기록원 업무 의 특성 과 유사 - 기술 성숙성 측면 에서 아직 적용 하 기 힘 듬 . 지속 적 인 기술 변화 추이 의 관찰 이 필요 병렬 / 분산 데이터베이스 에 대한 적용 이 우선 필요 Page 8 
 9 3 . 인프라 변화 에 대응 한 Database 관리 방안 연구 분산 보존 기술 기술 개요 대용량 의 데이터 를 일반 적 인 데이터베이스 시스템 으로 구축 할 경우 확장 성 을 보장 받 기 어려움 시스템 의 구성 이 복잡 하 여 구축 및 유지 보수 비용 이 증가 대용량 의 데이터 를 처리 하 기 위한 분산 보존 기술 에 대한 연구 가 활발 하 게 진행 적용 방안 검토 입 수단 의 경우 메타데이터 및 전자 파일 들 이 단기간 에 대용량 으로 입수 됨 으로 데이터베이스 및 스토리 지 를 여러 시스템 으로 분할 하 여 병렬 처리 하 는 방식 을 고려 해야 됨 . 보존 단의 경우 메타데이터 및 전자 파일 들 이 삭제 되 지 않 고 영구 보존 되 면서 지속 적 으로 증가 됨 으로 메 타 데이터 의 분산 저장 을 위한 분산 데이터베이스 , 전 자파 일 의 분산 저장 을 위한 분산 파일 시스템 의 적용 이 필요 함 . 주요 연구 분야 분산 파일 시스템 ( Distributed File System ) 분산 데이터베이스 ( Distributed Database ) 분산 데이터베이스 데이터 가 여러 DBMS 에 의해서 관리 되 는 다양 한 데 이터 베이스 에 분산 다양 한 종류 의 기기 또는 운영 체제 에서 지원 네트워크 에 의해 함께 연결 되 어 있 음 모든 데이터 가 마치 하나 의 데이터베이스 관리 시스 템 에 의해 관리 되 는 것 처럼 운용 되 는 시스템 구글 Bigtable , 아파치 HBase , Hypertable 등 분산 파일 처리 기술 물리 적 으로 서로 다른 컴퓨터 혹은 시스템 에 네트 워 크로 연결 이 되 어 분산 되 어 저장 되 어 있 는 파일 들 을 사용 자 가 쉽 게 사용 하 고 관리 할 수 있 게 필요 한 기 능 들 을 제공 하 는 시스템 Google File System ( GFS ) , Hadoop Distributed File System ( HDFS ) , Amazon S 3 File System 등 Page 9 
 10 3 . 인프라 변화 에 대응 한 Database 관리 방안 연구 클라우드 컴퓨팅 기술 기술 개요 그리드 컴퓨팅 및 유틸리티 컴퓨팅 기술 개념 을 포괄 하 면서 진화 인터넷 을 활용 하 여 IT 자원 을 서비스 의 형태 로 제공 서비스 제공 자 와 의 최소한 의 상호 작용 과 관리 만 을 가지 고 자원 의 할당 이나 반환 이 가능 한 On - Demand 네트워크 엑세스 를 위한 서비스 환경 핵심 기술 가상 화 기술 대 규모 분산 처리 기술 서비스 프로비저닝 기술 오픈 인터페이스 기술 보안 및 개인 정보 관리 기술 자원 유틸리티 기술 등 국내외 시장 및 기술 동향 인터넷 기업 과 이동 통신 사업자 를 중심 으로 형성 되 고 있 음 ( NHN , 다음 , KT , LG U +,, 삼성 , LG 등 ) 주로 온라인 스토리지 및 동기 화 기능 이나 N 스크린 과 같 은 서비스 영역 을 중심 으로 하 는 개인 클 라우 드 서비스 에 집중 되 고 있 음 . 적용 방안 검토 현재 기술 초기 단계 로 표준 화 도 아직 이루어지 지 않 은 상태 임 . 국가 기록원 은 정부 기관 으로 보안 문제 로 외부 클라 우드 서비스 의 이용 은 불가 함 . 향후 국가 기록원 이 운영 하 고 여러 국가 기관 들 이 이 용자 가 되 는 내부 클라우드 에 대해 고려 해 볼 만 함 . 국가 기록원 에서 구축 운영 중 인 많 은 개별 시스템 들 을 통합 하 는 방 안 으로 고려 할 수 있 음 ( 2020 년 대비 ) Page 10 
 11 3 . 인프라 변화 에 대응 한 Database 관리 방안 연구 저장 매체 기술 기술 개요 지속 적 으로 증가 하 는 대용량 데이터 의 저장 / 관리 를 위해 저장 매체 의 선택 이 중요 저장 매체 는 기존 기술 도 하루 가 다르 게 발전 하 고 새 로운 기술 도 끊임없이 생겨나 고 있 어 그 추세 에 따 른 적용 이 필수 적 임 . 주요 저장 매체 기술 하드 디스크 기반 스토리지 기술 플래시 메모리 기반 스토리지 기술 ( 최근 SSD 의 기 반기술 ) 상변화 메모리 기반 스토리지 기술 분산 파일 처리 기술 물리 적 으로 서로 다른 컴퓨터 혹은 시스템 에 네트 워 크로 연결 이 되 어 분산 되 어 저장 되 어 있 는 파일 들 을 사용 자 가 쉽 게 사용 하 고 관리 할 수 있 게 필요 한 기 능 들 을 제공 하 는 시스템 Google File System ( GFS ) , Hadoop Distributed File System ( HDFS ) , Amazon S 3 File System 등 기술 검토 내용 대용량 데이터 의 처리 단계 별 로 볼 때 보존 단 , 제공 단 은 데이터 의 쓰 기 연산 대비 읽 기 연산 이 많 으며 이 는 상대 적 으로 쓰 기 대비 읽 기 성능 이 뛰어난 SSD 의 특성 과 일치 함 . 현재 HDD 대비 SSD 의 가격 이 높 으나 변화 추세 로 보 면 가까운 미래 에 SSD 가 HDD 를 대체 할 것 으로 예상 됨 . 상변화 메모리 기반 스토리지 등 SSD 이후 의 저장 매체 기술 에 대해 지속 적 인 기술 검토 가 필요 함 . Page 11 
 12 4 . 국산 DBMS 벤치 마크 DBMS 기술 종속 성 의 문제 성 검토 기술 개요 기록 관리 에 있 어서 기술 적 인 문제 를 DBMS 제품 에 의존 하 는 문제 대두 장기 보존 의 특징 으로 인해 미래 에 꾸준 한 기술 지원 가능 성 에 대한 고려 필요 외산 DBMS 에 대비 국산 DBMS 의 기술 성 검토 주요 DBMS 외산 DBMS : 오라클 , MS SQL , IBM DB 2 국산 DBMS : 알티 베이스 , 큐브리드 , 티베로 주요 비교 대상 포인트 데이터 타입 별 인코딩 방식 차이 조사 DB Block 등 저장 구조 차이 조사 백업 및 복구 방식 의 차이 조사 국산 DBMS 의 벤치마크 조사 및 분석 국내외 DBMS 의 기능 / 특징 비교 시사점 도출 국산 DBMS 채택 을 고려 해 볼 가치 가 있 음 O 국가 기록원 에서 필요 한 국산 DBMS 의 성능 적 측면 O 국가 기록원 요구사항 에 맞 는 DBMS 개발 가능 성 O 단순 유지 보수 이상 의 기술 협력 , 기술 이 전 가능 성 O 외산 DBMS 에 대한 기술 종속 성 탈피 Page 12 
 < 4 D 6963726 F 736 F 667420576 F 7264202 D 20 B 5 A 5 C 0 CCC 5 CD 20 C 6 F 8 B 9 DF 20 BDC 3 B 4 EBC 0 C 720 BDC 7 BDC 3 B 0 A 320 B 5 A 5 C 0 CCC 5 CD 20 BAD 0 BCAE 5 F 4 B 54 C 1 BEC 7 D 5 B 1 E 2 BCFABFF 82 E 646 F 63 > 
 General Article 데이터 폭발 시대 의 실시간 데이터 분석 김 재 명 연구원 ( 알티 베이스 ) 데이터 폭발 시대 New 데이터 처리 기술 컴퓨터 기술 이 발전 하 고 , 많 은 산업 분야 에서 컴퓨터 를 활용 하 여 데이터 를 생산 , 가공 및 처리 하 는 사례 가 늘어나 고 있 다 . 이 에 따라 인류 가 생산 하 는 디지털 데이터 는 과거 에 는 상상 할 수 없 을 만큼 폭발 적 으로 증가 하 고 있 다 . 
 표준 기술 동향 클라우드 디바이스 용 저전 력 SoC 표준 기술 및 시장 동향 박 세 환 한국 과학 기술 정보 연구원 ReSEAT 프로그램 전문 연구 위원 1 . 머리말 우드 디바이스 구현 을 위해 필수 요소 인 저 전력 SoC ( System on Chip ) 2 ) 의 표준 기술 및 시장 동향 에 관한 조사 결과 를 제 2010 년 경 부터 급속히 대중 화 되 기 시작 한 스마트 미디 어 기기 등 으로 인해 기하급수 적 으로