기업 데이터 주도 권 , 빅 데이터 통합 분석 플랫폼 으로 잡 아라 
 데이터 시대 에 기업 성패 는 데이터 경쟁력 에 달렸 다 . 국내 는 물론 세계 기업 이 조직 내 다양 한 환경 에서 발생 하 는 각양각색 수많 은 데이터 를 유기 적 으로 결합 하 고 분석 해 이 를 비즈니스 인사이트 로 도출 하 는 빅 데이터 전략 과 방법론 찾 기 에 분주 하 다 . 해외 빅 데이터 선진국 은 다양 한 빅 데이터 에코 시스템 으로 연결 성 과 확장 성 을 높여 빠르 고 효율 적 인 활용 으로 비용 과 시간 을 줄이 고 있 다 . 많 은 기업 이 주도 권 쟁탈 에 뛰어들 고 있 는 가운데 빅 데이터 통합 분석 플랫 폼 은 필수 요건 이 되 고 있 다 . 
 지금 기업 에 필요 한 빅 데이터 전략 은 ? 
 빅 데이터 통합 이 필요 한 이유 는 기존 ERP , 오라클 등 데이터 뿐 만 아니 라 생산 환경 에서 설비 관련 데이터 , 온도 와 습도 등 기업 이 통합 방법 을 찾 아야 하 는 새로운 데이터 소스 가 점점 많 아 지 기 때문 이 다 . 기업 은 생산 과정 문제 해결 , 생산량 과 손실 예측 등 일반 적 인 빅 데이터 분석 결과 이외 새로운 분석 인사이트 를 얻 어 업무 효율 과 비즈니스 를 향상 시키 는 과제 를 해결 해야 한다 . 거의 모든 산업 부문 에서 빅 데이터 분석 으로 비즈니스 프로세스 효율 화 , 새로운 수익 원 창출 , 의사 결정 결과 예측 을 통한 비즈니스 리스크 최소화 를 위해 산재 된 많 은 양 의 데이터 를 통합 해 단일 빅 데이터 시스템 구축 에 박차 를 가하 고 있 다 . 
 그러나 안타깝 게 도 많 은 기업 은 ' 빅 데이터 로 무엇 을 할 것 인가 ' ' 빅 데이터 로 어떤 목표 를 달성 하 고자 하 는가 ' 에 대한 제대로 된 방향 설정 이 부재 하 다 . 게다가 빅 데이터 전략 이나 전문 인력 도 부족 한 상황 이 다 . 현업 에서 IT 부서 도움 없이 분석 업무 에 집중 하 려면 자동 화 된 데이터 통합 및 분석 플랫 폼 이 절실 하 다 . 이 에 빅 데이터 를 효율 적 으로 분석 하 기 위해 데이터 통합 및 준비 과정 을 간소 화 하 고 그 과정 을 연계 한 엔드 - 투 - 엔드 빅 데이터 통합 분석 솔루션 이 주목 받 고 있 다 . 솔루션 중 ' 데이터 통합 ' 과 ' 데이터 분석 ' 이 함께 녹 아 든 히타치 밴 타라 및 효성 인 포메이션 시스템 펜 타호 ( Pentaho ) 가 다양 한 산업 군 에서 성공 적 으로 안착 하 며 이 시장 을 견인 하 고 있 다 . 
 빅 데이터 통합 과 분석 판도 를 바꾸 는 ' 펜 타호 ' 
 펜 타호 는 세계 1800 여 고객 을 확보 한 빅 데이터 통합 과 분석 플랫 폼 이 다 . 하이브리드 및 멀티 클라우드 환경 연동 이 쉽 고 정형 및 비 정형 데이터 에 대한 실시간 수집 및 통합 작업 부터 머신 러닝 모델 구축 및 업데이트 , 모델 기반 고급 분석 , 시각화 와 리포 팅 까지 일련 의 과정 을 모두 제공 한다 . 
 ① 강력 한 빅 데이터 통합 · 처리 및 실시간 데이터 처리 
 펜 타호 는 어떤 환경 에서 든지 데이터 를 수집 해 가치 를 찾아낼 수 있 다 . 전통 적 인 DBMS 를 비롯 해 웹 에서 발생 하 는 Json , xml , 각종 로그 , 빅 데이터 환경 인 하둡 ( Hadoop ) 또는 S 3 ( 클라우드 볼륨 ) , AWS , Azure 클라우드 환경 에 도 연결 해 데이터 를 끌어올 수 있 다 ( 60 여 개 이상 DB 커넥션 지원 ) . 여러 형태 데이터 를 수집 한 뒤 통합 및 전처리 과정 을 거치 면서 분석 가능 한 데이터 로 가공 한다 . 
 OLAP 배치 작업 뿐 만 아니 라 실시간 데이터 처리 도 원활 하 게 지원 한다 . 데이터 메시징 큐 인 카프카 ( Kafka ) 또는 MQTT , JMS 에서 스트리밍 데이터 를 받 아 와 실시간 으로 처리 하 고 , 원 하 는 형태 로 적재 할 수 있 다 . 이 를 활용 해 실시간 지표 및 공정 현황 등 도 파악 할 수 있 다 . 스파크 ( Spark ) 를 포함 한 다양 한 처리 엔진 을 지원 한다 . 펜 타호 GUI 기반 워크플로 로 코딩 없이 원 하 는 데이터 전처리 과정 을 설계 하 고 , 이 를 스파크 환경 에서 실행 해 펜 타호 처리 엔진 뿐 만 아니 라 빅 데이터 분산 처리 환경 을 이용 할 수 있 다 . 
 ② 데이터 블랜딩 및 머신 러닝 · AI 포함 한 고급 분석 의 유기 적 결합 
 펜 타호 플랫폼 에서 는 다양 한 소스 에서 수집 된 데이터 를 블랜딩 ( 전처리 , 변환 작업 등 ) 하 는 과정 을 하나 의 워크플로 로 구현 한다 . 또 R 과 파이 선 ( Python ) 등 오픈 소스 분석 엔진 라이브러리 를 직접 사용 해 머신 러닝 및 딥 러닝 알고리즘 기반 분석 · 예측 모형 을 개발 할 수 있 다 . 머신 러닝 기반 모형 구축 부터 실시간 업데이트 까지 전 과정 자동화 를 구현 한다 . 따라서 데이터 소스 추가 및 분석 알고리즘 적용 등 새로운 업무 프로세스 를 즉각 적 으로 플랫 폼 상 에서 구현 할 수 있 어 비즈니스 상황 변화 에 신속 하 게 대응 하 도록 지원 한다 . 
 ③ 분석 업무 프로세스 자동 화 
 빅 데이터 분석 시스템 을 구축 한 뒤 스케줄링 으로 데이터 · 분석 모델 을 자동 업데이트 할 수 있 으며 , 실시간 으로 분석 결과 를 얻 고 활용 할 수 있 다 . 데이터 수집 단계 부터 블랜딩 을 거쳐 머신 러닝 기반 모형 개발 및 실시간 업데이트 까지 전체 과정 자동화 가 가능 하 다 . 
 ④ 보안 운영 강화 
 펜 타호 는 기존 워크플로 단계 별 엔터 프라이즈 레벨 의 보안 및 관리 가 가능 하 다 . 버전 관리 , ACL ( Access Control Lists ) , 권한 설정 등 으로 직무 및 사용자 에 따라 보안 을 서로 다르 게 설정 해 관리 할 수 있 고 , AD 및 LDAP 등 외부 인증 시스템 과 연동 해 보안 을 강화 할 수 있 다 . 데이터 레벨 에서 도 하둡 ( Hadoop ) 의 커버 로스 ( Kerberos ) 환경 및 녹스 ( Knox ) 등 과 연동 해 보 안 레벨 을 강화 한다 . 
 다양 한 산업 군 에서 빛 을 발하 는 빅 데이터 통합 분석 플랫 폼 의 활용 
 펜 타호 는 국내외 다양 한 분야 기업 에 활용 되 고 있 다 . 플랫 폼 상 에서 데이터 통합 이 쉽 고 빠르 게 자동 화 된다 . 기존 에 분절 돼 있 던 데이터 통합 및 분석 과정 을 연계 해 빠르 게 인사이트 를 도출 , 기업 데이터 경쟁력 을 높인다 . 
 ■ 국내 게임 기업 
 국내 게임 기업 에서 는 실시간 대용량 스트리밍 데이터 를 GUI 기반 자동 화 로 처리 하 고 있 다 . 10 분 에 약 200 만 건 카프카 데이터 를 저장 하 고 , 빅 데이터 시스템 을 ODS ( Operating Data Store ) 로 활용 해 기존 코딩 과 비교 해 빅 데이터 처리 속도 및 정확도 를 대폭 향상 시켰 다 . 데이터 처리 및 적재 시간 을 단축 시켰 을 뿐 아니 라 데이터 업무 프로세스 를 실시간 모니터링 해 생산 성 증대 효과 까지 얻 었 다 . 클라이언트 컴퓨터 와 OS 가 OS X ( Mac ) 임 에 도 추가 설치 없이 진행 할 수 있 다 . 
 ■ 금융 기관 나스닥 
 세계 에서 두 번 째 로 큰 거래소 인 나스닥 에 는 매일 100 억 개 가 넘 는 재무 정보 데이터 관리 와 활동 내역 평가 에 어려움 이 있 었 다 . 나스닥 은 주식 시장 인사이트 도출 을 위해 월별 자산 시세 모델 을 펜 타호 로 구축 했 다 . 이 를 통해 수익 20 % 를 차지 하 는 데이터 기반 분석 모델 을 수익 화 해 업계 최고 이윤 을 창출 했 을 뿐 만 아니 라 축적 된 과거 데이터 를 활용 , 예측 분석 을 효율 적 으로 구현 했 다 . 
 ■ 중국 의 지역 철도청 
 중화 인민공화국 철도 공사 가 관할 하 는 지역 철도청 BRB 는 철도 운영 시스템 전반 에 걸친 1600 만 개 이상 레코드 관리 · 처리 를 위해 오라클 DB 및 클라우데 라 하둡 플랫 폼 이 필요 했 다 . 3000 마일 이 넘 는 선로 에서 생성 되 는 데이터 의 효율 관리 및 활용 방안 부재 가 문제 였 다 . 펜 타호 도입 이후 안전 위험 도 를 최소 화 하 고 사전 대응 지원 이 가능 해 연간 승객 여행 증가 율 30 % 를 달성 했 다 . 기존 데이터 를 기반 으로 사고 발생 패턴 을 분석 , 잠재 적 위험 요소 를 파악 하 고 대처 방안 도 수립 할 수 있 게 됐 다 . 
 ■ 산업 기계 및 중공업 
 카터 필러 마린 애 셋 ( Caterpillar Marine Asset ) 은 펜 타호 도입 으로 8 척 선박 을 소유 한 고객 의 예인선 엔진 고장 을 차단 해 수명 을 연장 시켜 매년 낭비 되 는 연료 비용 2 백만 달러 를 절감 했 다 . 자체 대시보드 기능 개발 에 필요 한 시간 과 비용 절감 , 수집 · 적재 · 변환 기능 으로 데이터 품질 및 무결성 보장 을 위한 보안 및 업무 감독 개선 효과 가 있 었 다 . 펜 타호 플랫 폼 기반 자동 화 데이터 통합 프로세스 를 구현 하 고 , 머신 러닝 기능 으로 예측 적 유지 보수 를 향상 시켰 다 . 
 차세대 빅 데이터 분석 플랫 폼 이 가 야 할 길 
 국내 많 은 기업 은 데이터 통합 에 쉽 게 접근 하 지 못해 빅 데이터 단편 적 활용 에 머무 는 사례 가 많 다 . 기업 빅 데이터 활용 효율 을 높이 려면 빅 데이터 프로젝트 에 기업 과 정부 가 협력 해야 한다 . 또 데이터 생성 , 수집 , 접근 , 사용 , 외부 데이터 와 의 연계 뿐 만 아니 라 데이터 사용 과 관련 한 법 적 규제 에 대해 깊 은 이해 가 필요 하 다 . 
 효성 인 포메이션 시스템 은 2017 년 DATA 사업 팀 을 꾸리 고 히타치 밴 타라 의 펜 타호 기반 빅 데이터 사업 , 루 마다 기반 IoT 플랫 폼 사업 , 그리고 HVMP ( Hitachi Video Management Platform ) 기반 영상 빅 데이터 사업 을 통합 적 으로 운영 하 고 있 다 . 펜 타호 를 통해 다양 한 분야 에서 쉽 고 빠른 빅 데이터 통합 과 분석 으로 기업 이 인사이트 를 제공 하 는 것 을 목표 로 한다 . 
 올해 는 빅 데이터 와 영상 분석 및 IoT 분야 를 결합 하 고 인프라 를 통합 해 산업 에 적용 할 수 있 는 솔루션 을 시장 에 제공 할 예정 이 다 . 고객 사 업무 환경 및 수요 에 맞 는 솔루션 공급 을 위해 맞춤 형 컨설팅 과 프로젝트 를 지원 하 는 데이터 전문 인력 을 보유 해 고객 빅 데이터 분석 역량 을 갖추 도록 지원 할 방침 이 다 .