Human: 이 책은 세 부분으로 나뉩니다: 예언, 기관, 규범성. 각 섹션에서는 인공지능과 인간의 가치를 조화시키기 위해 다양한 과제를 해결하고 있는 연구자와 엔지니어의 이야기를 다룹니다.

예언
첫 번째 섹션에서 크리스천은 인공 지능 연구의 역사, 특히 퍼셉트론과 AlexNet과 같은 인공 신경망의 기계 학습 접근 방식에 대한 논의와 인공지능 시스템이 어떻게 의도하지 않은 행동을 할 수 있는지에 대한 사례를 엮어 설명합니다. 그는 형사 피고인의 재범을 예측하는 도구인 COMPAS 알고리즘에 대한 프로퍼블리카의 조사로 특정 인구 통계에 대한 정확성과 편향성에 대한 광범위한 비판을 불러일으킨 저널리스트 줄리아 앵윈의 이야기를 들려줍니다. AI의 주요 조정 과제 중 하나는 블랙박스 특성(입력과 출력은 식별할 수 있지만 그 사이의 변환 과정은 알 수 없음)입니다. 투명성이 부족하기 때문에 시스템이 제대로 작동하고 있는지, 어디가 잘못되고 있는지 파악하기 어렵습니다.

대행사
두 번째 섹션에서 크리스천은 행동주의와 도파민과 같은 보상에 대한 심리학 연구의 역사와 AI 시스템이 가치 함수("어떤 보상이나 처벌을 기대할 것인가")에 직면하여 정책("무엇을 해야 할 것인가")을 개발해야 하는 강화 학습의 컴퓨터 과학을 유사하게 엮어 설명합니다. 그는 딥마인드 알파고와 알파제로 시스템을 "자동화된 커리큘럼 설계에서 가장 인상적인 단일 성과"라고 부릅니다. 그는 또한 강화 학습자가 외부 보상만을 추구하는 것이 아니라 본질적으로 환경을 탐구하려는 동기를 부여하는 호기심의 중요성을 강조합니다.

규범성
세 번째 섹션에서는 인간 또는 기계의 행동을 모방하여 AI를 훈련하는 방법과 AI 시스템에 대해 서로 다른 이상적인 행동을 의미하는 가능성론과 현실주의와 같은 철학적 논쟁을 다룹니다. 특히 중요한 것은 기계가 인간 또는 다른 에이전트의 목적 함수를 학습하기 위한 광범위한 접근 방식인 역강화 학습입니다. Christian은 효과적인 이타주의와 실존적 위험과 관련된 규범적 과제에 대해 논의하며, 가능한 한 효과적으로 정렬 문제를 탐색하기 위한 인간과 기계의 전략을 고안하려고 노력하는 철학자 Toby Ord와 William MacAskill의 연구를 소개합니다. 
이 요약에서 브라이언 크리스천이 그의 저서 "정렬 문제"의 세 섹션에서 다룬 바와 같이 인공지능 시스템이 인간의 가치관에 어긋나는 행동을 보이는 세 가지 방법을 나열하세요. 

Assistant: 첫 번째 섹션인 '예언'에서 저자는 검토하기 어렵고 차별적이거나 불공정한 결정을 내릴 수 있는 예측 모델에 대해 이야기합니다.

두 번째 섹션인 '대리인'에서는 강화 학습 시스템이 괄목할 만한 성과를 거두었음에도 불구하고 세상을 발견하려는 호기심보다는 거의 전적으로 목적 함수에 따라 움직인다는 점에 대해 설명합니다.

세 번째 섹션인 '규범성'에서는 역강화학습 기법이 인간의 목적 함수를 파악해야 하는 과제에 직면해 있다고 설명합니다.</s>