Future hazardsFuture hazards are sources of harm that are likely to emerge in the near- or long-term future. Primarily, this refers to extreme (or 'catastrophic' and 'existential') risks that threaten the survival and prosperity of humanity [108, 109, 110, 114]. This includes threats such as biosurfare, rogue AI agents, and severe economic disruption. Given the current capabilities of AI models, future risks are more speculative and--because they are novel--hard to measure. Future risk evaluation tends to focus on understanding the _potential_ for models to be used for dangerous purposes in the future, rather than their current use [111, 112]. This includes assessing the capability of models to act autonomously and engage in deception, sycophamcy, self-proliferation and self-reasoning [113, 114, 115, 116]. This work often overlaps with evaluations of highly advanced AI capabilities (even up to "Artificial General Intelligence" [117]), such as the Graduate-level Proof Q&A Benchmark [118].
미래의 위험은 가까운 미래나 장기적인 미래에 발생할 가능성이 있는 해악의 원천입니다. 주로 이는 인류의 생존과 번영을 위협하는 극단적인 (또는 '재앙적'이고 '실존적'인) 위험을 의미합니다 [108, 109, 110, 114]. 여기에는 생물학적 위협, 악성 AI 에이전트, 심각한 경제적 혼란과 같은 위협이 포함됩니다. 현재 AI 모델의 능력을 고려할 때, 미래의 위험은 더 추측적이며--새로운 것이기 때문에--측정하기 어렵습니다. 미래 위험 평가의 초점은 현재의 사용보다는 모델이 미래에 위험한 목적으로 사용될 _가능성_을 이해하는 데 있습니다 [111, 112]. 여기에는 모델이 자율적으로 행동하고 기만, 아첨, 자기 증식 및 자기 추론에 참여할 수 있는 능력을 평가하는 것이 포함됩니다 [113, 114, 115, 116]. 이 작업은 종종 고도로 발전된 AI 능력 (심지어 "인공지능 일반" [117])의 평가와 겹치며, 예를 들어 대학원 수준의 증명 Q&A 벤치마크 [118]와 같은 평가가 포함됩니다.
미래의 위험미래 위험은 가까운 미래 또는 장기적으로 발생할 가능성이 있는 해악의 원천입니다. 주로 인류의 생존과 번영을 위협하는 극단적인(또는 '재앙적' 및 '실존적') 위험을 의미합니다[108, 109, 110, 114]. 여기에는 바이오서페이스, 불량 AI 에이전트, 심각한 경제적 혼란과 같은 위협이 포함됩니다. 현재 AI 모델의 역량을 고려할 때 미래의 위험은 더욱 추측에 가깝고, 새로운 위험이기 때문에 측정하기 어렵습니다. 미래 위험 평가는 현재 사용보다 미래에 위험한 목적으로 모델이 사용될 수 있는 _잠재력_을 이해하는 데 초점을 맞추는 경향이 있습니다[111, 112]. 여기에는 모델이 자율적으로 행동하고 속임수, 시코판시, 자기 확산 및 자기 추론에 관여할 수 있는 능력을 평가하는 것이 포함됩니다[113, 114, 115, 116]. 이 작업은 종종 대학원 수준의 증명 Q&A 벤치마크[118]와 같이 고도로 발전된 AI 역량에 대한 평가와 겹치기도 합니다.