Algorithmic auditing and holistic assessmentsAlgorithmic auditing provides "a systematic and independent process of obtaining and evaluating evidence" for a system's actions, properties, or abilities [119]. Similar to the auditing procedures in other complex domains like financial, cyber, health and environmental regulatory compliance, AI audits involve procedures that can handle novel and under-specified safety risks while providing holistic insights [142, 143, 144, 145]. They often assess appropriate use and governance beyond the model itself, also considering the data used and the overall impact of the system. Audits can be implemented internally (first party) and externally (second and third party). Both rely on similar procedures but external audits have the additional requirement of communicating results to stakeholders and typically are more independent [146]. Because the focus of auditing is a sociotechnical system, in which a generative AI model is _one_ component, it involves both technical assessment and consideration of the social settings in which systems are integrated [147, 148], as well as ethics, governance and compliance [133, 149, 150]. Generative AI poses new challenges for auditing [151]. Establishing appropriate compliance and assurance audit procedures may become more difficult as model diversity increases, applications multiply, and uses become increasingly personalized and context-specific.
알고리즘 감사와 전체적인 평가 알고리즘 감사는 시스템의 행동, 속성 또는 능력에 대한 "체계적이고 독립적인 증거 획득 및 평가 과정"을 제공합니다 [119]. 금융, 사이버, 건강 및 환경 규제 준수와 같은 다른 복잡한 도메인에서의 감사 절차와 유사하게, AI 감사는 새로운 및 명확히 정의되지 않은 안전 위험을 처리하면서 전체적인 통찰력을 제공할 수 있는 절차를 포함합니다 [142, 143, 144, 145]. 이들은 종종 모델 자체를 넘어 적절한 사용 및 거버넌스를 평가하며, 사용된 데이터와 시스템의 전체적인 영향을 고려합니다. 감사는 내부적으로(1차) 및 외부적으로(2차 및 3차) 구현될 수 있습니다. 두 경우 모두 유사한 절차를 따르지만, 외부 감사는 이해관계자에게 결과를 전달해야 하는 추가 요구 사항이 있으며 일반적으로 더 독립적입니다 [146]. 감사의 초점은 생성 AI 모델이 _하나의_ 구성 요소인 사회기술 시스템이기 때문에, 기술적 평가와 시스템이 통합된 사회적 환경에 대한 고려, 윤리, 거버넌스 및 준수 사항을 포함합니다 [147, 148], [133, 149, 150]. 생성 AI는 감사에 새로운 도전을 제기합니다 [151]. 모델 다양성이 증가하고, 응용 프로그램이 늘어나며, 사용이 점점 더 개인화되고 상황에 맞게 되면서 적절한 준수 및 보증 감사 절차를 확립하는 것이 더 어려워질 수 있습니다.
알고리즘 감사 및 총체적 평가알고리즘 감사는 시스템의 행동, 속성 또는 능력에 대한 "체계적이고 독립적인 증거 획득 및 평가 프로세스"를 제공합니다[119]. 금융, 사이버, 보건 및 환경 규제 준수와 같은 다른 복잡한 영역의 감사 절차와 유사하게, AI 감사는 전체적인 인사이트를 제공하면서 새로운 것과 명시되지 않은 안전 위험을 처리할 수 있는 절차를 포함합니다[142, 143, 144, 145]. 감사는 종종 모델 자체를 넘어 적절한 사용과 거버넌스를 평가하고, 사용된 데이터와 시스템의 전반적인 영향도 고려합니다. 감사는 내부(퍼스트 파티) 및 외부(세컨드 및 서드 파티)에서 구현할 수 있습니다. 둘 다 유사한 절차에 의존하지만 외부 감사는 이해관계자에게 결과를 전달해야 하는 추가 요구 사항이 있으며 일반적으로 더 독립적입니다[146]. 감사의 초점은 생성 AI 모델이 _하나_의 구성 요소인 사회 기술 시스템이므로 기술 평가와 시스템이 통합되는 사회적 환경, 윤리, 거버넌스 및 규정 준수[133, 149, 150]에 대한 고려가 모두 포함됩니다. 생성 AI는 감사에 새로운 도전을 제기합니다[151]. 모델의 다양성이 증가하고, 애플리케이션이 증가하며, 사용이 점점 더 개인화되고 상황에 맞게 특정화됨에 따라 적절한 규정 준수 및 보증 감사 절차를 수립하는 것이 더 어려워질 수 있습니다.