[ 플 밍 노트 ] 너 와 나 의 인공지능 이 멍청 한 이유 - YoungJin Shin 
 모든 사람 이 그렇 듯 내 가 머신 러닝 에 관심 을 갖 게 된 시점 은 알 파고 가 이세돌 을 무참히 격파 하 던 그 즈음 이 었 다 . 대국 이 시작 되 기 전 나 는 당연히 이세돌 의 전승 을 점쳤 고 , 1 국 이 끝나 고 세상 이 바뀌 었 다는 사실 을 깨달 았 다 . 그리고 는 봇물 처럼 머신 러닝 자료 와 강연 들 이 이어졌 다 . 그 덕 에 구글 의 제프 딘 을 실제로 보 기 도 하 는 호사 를 누리 기 도 했 다 ( 텐서 플로 홍보 차 국내 에 옴 ) 
 그때 제프 딘 이 발표 한 내용 중 에 이미지 인식 ( 이게 고양이 인지 , 강아지 인지 , 나팔꽃 인지 , 장미 인지 , 등등 을 판단 ) 분야 에서 는 기계 가 인간 을 뛰 어 넘 은 지 가 제법 됐 다는 이야기 를 했 다 . 그리고 얼마 지나 지 않 아 각종 렌즈 앱 들 이 나오 기 시작 했 고 , 그 렌즈 앱 이 우리 엄마 보다 더 정확 하 게 각종 식물 의 이름 을 나열 하 는 것 을 보 면서 2 차 충격 을 받 았 다 . 그렇게 머신 러닝 의 르네상스 는 시작 되 었 고 , 요즘 IT 쪽 사람 들 을 만나 서 뭐 하 는지 물 어 보 면 분야 를 안 가리 고 머신 러닝 한다는 대답 이 돌아오 는 세상 이 되 었 다 . 
 어쨌든 그맘때 이미지 인식 을 그렇게 기계 가 잘 한다면 바이너리 인식 도 잘 하 지 않 을까 라는 생각 이 들 었 다 . 컴퓨터 한테 야 이미지 든 바이너리 든 결국 은 숫자 일 뿐 이 니 말 이 다 . 그런 선상 에서 그 당시 유행 하 던 머신 러닝 라이브러리 로 해킹 툴 바이너리 를 분류 해서 몇 개 학습 시켜 보 고 결과 를 체크 해 보 았 다 . 샘플 에서 는 너무 완벽 하 게 동작 했 지만 각종 정상 바이너리 를 집 어 넣 자 오진 이 무지하 게 많이 났 다 . 
 그 당시 MS 에서 도 바이너리 분류 와 관련 한 컨 테스트 를 진행 하 고 있 었 다 . 심지어 결과물 도 공개 가 되 어 있 었 다 . 테스트 안 해 볼 이유 는 없 기에 거기 1 등 한 사람 들 의 방법 을 가져와서 우리 도 테스트 를 해 보 았 다 . MS 대회 의 1 위 답 게 그냥 우리 가 막 이미지 인식 시킨 것 보다 는 훌륭 했 다 . 그래서 본격 적 으로 돌려 보 자고 했 는데 , 회사 장비 로 는 한계 가 있 고 AWS 에서 돌리 면 수백만 원 정도 의 비용 이 지출 될 것 같 다는 얘기 를 했 다 . 될지 안 될지 도 모르 는 일 에 그 정도 를 투자 한다는 게 쉽 지 않 은 일 이 라 거기 까지 하 고 말 았 던 기억 이 난다 . 
 그 1 등 의 방식 도 재미있 었 는데 각종 팩터 를 넣 어서 학습 시키 는데 그 중 에 하나 가 바이너리 앞부분 200 바이트 해시 를 사용 한다거나 ( 200 이 란 숫자 는 정확 한 건 아님 ) 하 는 것 이 있 다 . 그래서 왜 300 도 아니 고 , 400 도 아니 고 200 이 지 라는 의문 을 가지 고 그 들 이 쓴 논문 을 봤 는데 , 그 논문 왈 , 200 바이트 가 왜 잘 되 는지 는 우리 도 모르 겠 지만 여러 테스트 결과 그게 좋 아서 그렇 게 했 다는 다소 충격 적 인 답변 . 아 , 이런 게 머신 러닝 이 구나 라는 느낌 만 가지 고 기억 속 한편 으로 사라졌 다 . 
 그렇게 잊 고 있 었 던 머신 러닝 관련 해서 최근 지인 한 명 이 그때 그 생각 이 틀린 건 아닌 거 같 다면서 MS 에서 발표 한 링크 를 보내 줬 다 . 소 오름 . 내 생각 이 바로 저거 였 는데 저게 된다니 ㄷ ㄷ ㄷ 그리고 우리 가 머신 러닝 알 못 이 라 그렇 지 구현 을 제대로 했 으면 그때 부터 잘 됐 을까 라는 생각 도 들 었 다 . 
 그렇게 다시금 인공지능 에 대한 연구 의지 가 불타오름 과 동시 에 교보문고 에서 인공지능 책 들 을 마구 질렀 다 . 친구 가 심지어 2 권 은 선물 까지 해 줬으나 서평 은 요원 한 단계 . 어쨌든 그 책 들 을 읽 고 이미지 분류 에 그렇게 좋 다는 CNN 으로 이미지 를 좀 분류 해 보 려고 돌렸으나 결과 는 썩 좋 지 않 았 다 . 인공지능 쪽 에 다소 조예 가 있 는 주변인 들 에게 물 어 보 면 대다수 가 그게 교과서 에 나오 는 건 잘 되 는데 실질 적 으로 현실 세계 데이터 로 뭐 를 해 보 려면 잘 안 된다는 이야기 를 했 다 . 그 이야기 와 함께 다시금 광속 으로 연구 의지 는 마이너스 무한대 로 발산 하 게 되 었 다 . 
 그런 기억 이 희미 해질 만 했 던 6 월 말 회사 에서 병역 특례 로 근무 하 던 DevOps 친구 가 그만두 는 일 이 있 었 다 . 여러모로 똑똑 한 친구 였 는데 헤어지 는 자리 에서 도 다소 충격 적 인 이야기 를 들려 주 었 다 . 머신 러닝 을 하 기 위해서 무 . 려 . 4400 만 원 짜리 컴퓨터 를 질렀 다는 이야기 . 
 그 이야기 의 여러 요소 에서 다중 충격 을 받 았 는데 , 1 ) 머신 러닝 을 하 기 위해서 개인 돈 으로 컴퓨터 를 사 는 투자 를 한다는 데 놀랐 고 , 2 ) 그것 도 무려 4400 만 원 짜리 를 샀 다는 데 두 번 놀랐 고 , 3 ) 그 엄청난 비용 의 상당수 가 최근 유행 하 는 T 코인 ( 테슬라 ) 에서 충당 됐 다는 사실 에 놀랐 다 . 어쨌든 그 머신 은 제온 씨 퓨 에 타이탄 을 무려 4 개 나 달 았 다고 했 다 . 
 머신 러닝 을 하 려면 그 정도 장비 가 필요 한 거 냐고 물 어 봤 더니 자기 도 잘 은 모르 는데 제대로 해 보 려고 좋 은 장비 를 샀 다는 이야기 를 했 다 . 그 와 더불 어 요즘 AI 대회 가 많 아서 그런 곳 에서 상금 을 받 으면 투 자금 회수 가 가능 하 다는 이야기 도 덧붙였 다 . 
 그 친구 가 퇴사 한 이후 에 회사 에 인공지능 하 는 친구 들 이 현장 실습 을 왔 다 . 그 당시 하 다가 포기 한 이미지 분류 작업 을 진행 하 기 위해서 왔 는데 그 들 은 학교 에 있 는 1080 TI 가 몇 개 있 는 장비 를 사용 할 수 있 는 상태 였 다 . 
 출근 한 날 같이 저녁 을 먹 을 시간 이 있 어서 이런 저런 얘기 를 하 다가 애니 를 좋 아 한다는 이야기 를 듣 게 되 었 고 , 추 천작 을 물 어 봤 더니 고스트 바둑왕 을 꼽 았 다 . 나 는 만화책 으로 봤 는데 끝 이 너무 허했 다는 이야기 를 전했 다 . 작가 가 히트 좀 하 자 끝낸 용비 불패 같 은 느낌 . 그 친구 가 애니 는 그래도 괜찮 다는 이야기 를 했 고 마침 스트리밍 서비스 에 올라와 있 길래 사이 와 히카루 의 대국 을 애니 로 몇 편 보 게 되 었 다 . 모든 만화 가 그렇 지만 보 면 뿜 뿜 하 게 된다 . 바둑 기사 존 멋 ~ 
 히카루 와 사이 의 바둑 에 빠져서 애니 를 보 다 보 니 자연스레 바둑 을 배우 고 싶 다는 생각 이 들 었 고 , 예전 에 프로 기사 를 준비 했 던 동생 이 알 파고 이후 에 제로 시리즈 인공지능 바둑 이 많이 나왔 다는 이야기 를 들 었 던 기억 이 많이 났 다 . 그래서 집 에 설치 해 보 고 돌렸 는데 자기 들 끼리 두 게 해도 제법 모양 이 나오 게 두 었 다 . 나 는 바둑 을 둘 줄 몰라 실력 을 알 수 없 어서 온라인 바둑 에 들어가 서 몇 판 둬 봤 는데 지 는 법 이 없 었 다 . 그리고 유튜브 를 찾아보 니 프로 기사 들 도 3 점 놓 고 둬야 이기 고 , 2 점 은 힘들 다는 이야기 들 이 올라와 있 었 다 . 
 간략 하 게 인공지능 바둑 에 대해서 이야기 하 자면 알 파고 가 시초 고 , 알파 고 제로 가 나오 고 그 들 이 연구 방식 을 논문 으로 공개 해서 유사 한 종류 의 인공지능 이 많이 나오 게 됐 다 . 제로 의 특징 은 인간 의 기보 를 사용 하 지 않 고 자기 스스로 게임 을 반복 ( self play ) 하 면서 기량 을 향상 시켜 나가 는 기법 을 쓴다 . 따라서 바둑 의 룰 만 넣 어 주 고 돌리 면 스스로 점점 더 강해진다 는 알 고 나 면 다소 단순 해 보이 는 ( ?!) 컨셉 이 다 . 
 그 이후 에 등장 한 것 중 에 는 릴라 제로 의 경우 개인 이 오픈 소스 로 만들 어 대중 의 참여 로 분산 학습 시켜 나가 는 구조 로 진행 되 고 있 다 , 페이스북 에서 도 엘프 고라 는 프로젝트 로 야심 차 게 진행 했으나 현재 는 퇴물 , 그리고 가장 최근 에 나온 게 카타 고 다 . 카타 고 의 특징 은 기존 알 파고 가 바둑 이란 게임 의 특징 을 별로 활용 하 지 않 았 다면 카타 고 는 바둑 에 특화 된 특징 을 많이 사용 해서 학습 속도 가 빠르 고 승률 외 의 다른 종류 의 예측 들 을 더 가지 고 있 다고 한다 . 개인 컴퓨터 에서 각종 인공 지능 들 끼리 의 대국 을 펼쳐 보 았 는데 카타 고 가 제일 강했 다 . 심지어 생각 하 는 시간 을 차이 를 두 어도 카타 고 가 이기 는 경우 가 많 았 다 . 
 대체로 프로 기사 들 사이 에서 는 알파 고 제로 > 텐센트 절예 > 카타 고 > 릴라 제로 정도 로 판단 되 고 있 는 것 같 았 다 . 이런 걸 보 면 궁금증 이 생기 게 마련 이 다 . 비슷 한 셀프 플레이 란 방식 으로 학습 을 시켰 음 에 도 그 들 사이 에서 큰 기량 차이 가 생기 는 이유 는 뭘까 ? 심지어 페이스북 도 나름 똑똑 할 텐데 왜 엘프 고 는 순위 에 도 끼 지 못할까 라는 생각 을 하 면서 릴라 제 로 소개 페이지 를 보 다가 신기 한 사실 을 알 게 되 었 다 . 
 알파 고 제로 의 가중치 데이터 를 재 계산 하 는 데 에 는 상용 하드웨어 로 1700 년 이 걸린다는 이야기 . 요는 이렇 다 . 제 로 방식 은 셀프 플레이 를 토대 로 가 충치 파일 을 만들 어 추후 탐색 을 할 때 더 적절 하 고 빠르 게 하 는 형태 로 사용 을 한다 . 즉 , 대다수 제로 방식 봇 의 알맹이 는 이 가중치 파일 이 란 것 이 다 . 릴라 제로 개발자 는 1080 ti 그래픽 카드 한 장 으로 개발 을 하 는데 본인 이 생각 하 는 추정 치 로 는 그 그래픽 카드 하나 로 알파 고만큼 의 수준 을 계산 하 기 위해서 는 1700 년 이 걸린다고 말 한 것 이 다 . 그걸 극복 하 기 위해서 릴라 제로 는 개인 의 컴퓨팅 자원 을 지원 받 아 클라우드 형태 로 계산 해서 학습 하 는 구조 로 진화 를 하 고 있 다 . 그냥 숫자 만 보 고 역시 구글 이 라는 생각 을 하 면서 카타 고 자료 도 살펴보 게 되 었 다 . 
 KataGo ’ s latest run used about 28 GPUs , rather than thousands ( like AlphaZero and ELF ) , first reached superhuman levels on that hardware in perhaps just three to six days , and reached strength similar to ELF in about 14 days . With minor adjustments and some more GPUs , starting around 40 days it roughly began to match surpass Leela Zero in some tests with different configurations , time controls , and hardware . The run continued for a total of about five months of training time , reaching several hundred Elo stronger than Leela Zero and likely other open - source bots . The run has ended for now , but we hope to be able to continue it or begin another run in the future ! 
 여기 는 조금 구체 적 인데 28 개 의 GPU 로 학습 을 시켰 고 , 인간 을 뛰어넘 는데 3 - 6 일 이 걸렸 고 , 14 일 에 엘프 고 수준 에 도달 했 다 . 여기 에 조금 의 조정 을 하 고 GPU 를 몇 개 더 추가 해서 40 일 정도 되 니까 릴라 제로 의 수준 에 도달 했 고 , 총 5 개월 정도 가 지나 서 는 릴라 제로 에 비해서 Elo 점수 가 수백 점 차이 가 났 고 학습 을 중단 시켰 다는 이야기 . 내용 이 재밌 어서 그 들 의 논문 도 찾 아서 읽 어 보 았 다 . 도입부 가 무척 흥미 로웠 는데 다음 과 같이 정리 돼 있 었 다 . 
 In 2017 , DeepMind ’ s AlphaGoZero demonstrated that it was possible to achieve superhuman performance in Go without reliance on human strategic knowledge or preexisting data [ 18 ] . Subsequently , DeepMind ’ s AlphaZero achieved comparable results in Chess and Shogi . However , the amount of computation required was large , with DeepMind ’ s main reported run for Go using 5000 TPUs for several days , totaling about 41 TPU - years [ 17 ] . Similarly ELF OpenGo , a replication by Facebook , used 2000 V 100 GPUs for about 13 - 14 days , or about 74 GPU - years , to reach top levels of performance [ 19 ] . 
 알파 고 제로 의 경우 5000 TPU 로 몇일 계산 을 했 다고 나와 있 다 . 총 41 년 TPU 시간 이 사용 되 었 다 . 엘프 고 의 경우 2000 개 의 V 100 GPU 를 사용 해서 13 - 14 일 계산 을 했 고 , 총 74 년 GPU 시간 이 사용 되 었 다 . 
 결국 당연 한 소리 겠 지만 동등 한 설정 이 라면 결국 연산 시간 에 따라서 인공지능 의 강 함 이 결정 된다고 할 수 있 겠 다 . 그런데 그 연산 시간 이 라는 것 이 생각 보다 천문학 적 이 라는 데 놀랐 다 . 릴라 제로 개발자 는 1080 TI GPU 한 장 으로 개발 을 하 고 있 고 , 카타 고 는 V 100 28 장 에서 몇 장 을 더 썼 고 , 엘프 고 는 V 100 2000 장 , 알파 고제 로 는 TPU 5000 개 를 사용 했 다 . 
 FP 32 벤치 마크 자료 를 살펴보 면 1 TPU 를 1 . 0 으로 계산 시 에 , V 100 이 0 . 9 정도 , 1080 TI 가 0 . 4 정도 되 는 것 으로 추정 된다 . 이 데이터 를 토대 로 연산 에 사용 된 비용 을 계산 해 보 면 다소 충격 적 이 다 . 
 엘프 고 의 경우 동일 한 장비 로 74 년 GPU 시간 을 썼 다고 나와 있 기 때문 에 계산 해 보 면 1 , 983 , 614 불 을 썼 고 , 한화 로 23 억 8 천만 원 정도 를 썼 다고 볼 수 있 다 . 
 구글 TPU 의 경우 선점 형 v 2 8 코어 가 시간 당 1 . 35 불 이 다 . 이걸 토대 로 41 년 TPU 시간 을 계산 해 보 면 60 , 608 불 , 7300 만 원 가량 사용 한 걸로 보여진다 . 선점 형 이 아닌 주문 형 으로 할 경우 시간 당 가격 이 4 . 45 로 올라가 기 때문 에 계산 해 보 면 199 , 782 불 , 한화 로 2 억 4000 만 원 가량 이 된다 . 1 대 0 . 9 로 GPU 환산 계산 시 45 . 51 년 GPU 시간 이 나오 고 aws 비용 으로 환산 해 보 면 1 , 219 , 922 불 , 한화 로 14 억 6400 만 원 가량 이 다 . 
 아마 이건 최적 화 된 경로 로 계산 을 하 는 걸 밝힌 것 이 기 때문 에 실질 적 으로 테스트 에 사용 되 거나 폐기 되 거나 한 걸 감안 한다면 훨씬 더 천문학 적 인 비용 이 지출 된다는 걸 알 수 있 다 . 그리고 왜 학습 을 멈추 는지 도 이해 할 수 있 다 . 
 우리 가 바둑 인공지능 을 만든다고 한다면 적어도 사람 과 는 대등 하 거나 잘 두 는 수준 이 되 어야 쓸 만 하 다고 인정 을 해 줄 것 이 다 . 이 를 카타 고 데이터 를 토대 로 최적 화 시켜서 3 일 걸린다고 가정 을 하 더라도 최적 화 된 계산 비용 만 49 , 351 불 한화 로 6000 만 원 가까이 를 써야 가능 하 다 . 물론 이 또한 실패 는 전혀 없 는 모든 게 아마도 완벽 한 상태 에서 의 계산 시간 만 을 가정 했 을 때 그렇 다는 이야기 일 것 이 다 . 
 재미 삼 아 또는 가능 성 만 보 고 하 기 에 는 쉽 지 않 은 분야 라는 답 이 나온다 . 그리고 너 와 나 의 인공지능 이 왜 그렇게 바보 같 은지 도 어느 정도 이해 가 된다 . 구글 이 왜 TPU 를 만들 었 는지 도 답 이 나온다 . 카타 고 가 더 강하 게 만들 지 않 는 이유 도 알 수 있 고 , 언제 새로 돌리 기 시작 할지 도 예측 해 볼 수 있 다 . 알 파고 제로 가중치 파일 을 공개 하 지 않 는 이유 도 추측 해 볼 수 있 고 , 절예 의 최신 가중치 파일 을 왜 중국 프로 기사 에게 만 제공 하 는지 도 납득 이 된다 . 심지어 는 똑똑 한 사람 들 이 돈 을 많이 넣 어도 결과 가 좋 지 않 을 수 있 다는 사실 도 참고 할 수 있 다 . 끝 으로 몇 년 전 우리 가 몇 백만 원 에 망설였 던 게 얼마나 조족지혈 인지 도 알 게 되 었 다 .