Waterworld 환경 은 N 개 의 에이전트 와 M 개 의 타켓 음식 , L 개 의 타 겟 독 , 하나 의 방해물 로 이루어져 있 다 . 각 에이전트 는 25 개 의 센서 로부터 오 는 정보 를 관측 할 수 있 다 . 센서 는 다른 에이전트 와 타 겟 음식 , 타 겟 독 에 대한 거리 와 속도 를 측정 할 수 있 다 . 각 에이전트 는 행동 값 의 norm 의 음 의 값 으로 보상 페널 티 를 받 으며 타 겟 독 을 만날 때 기 설정 된 크기 ( 예 를 들 면 , - 0 . 1 ) 의 보상 을 , 건조기 타 겟 음식 을 만날 때 는 기 설정 된 크기 ( 예 를 들 면 , 0 . 01 ) 의 보상 을 , 타 겟 음식 을 잡 을 때 는 기 설정 된 크기 ( 예 를 들 면 , 10 ) 의 보상 을 받 을 수 있 다 . 이때 , K 명의 에이전트 가 동시 에 타 겟 음식 을 터치 해야 타 겟 음식 을 잡 을 수 있 다 . 예 를 들 면 , N = 8 , K = 4 와 N = 10 , K = 5 인 경우 를 고려 할 수 있 다 .