\[\mathcal{O}\left(p\right)\leftarrow\mathbf{W}\cdot g_{\theta}\left(p\right)\enspace.\]We develop new attack techniques that allow us to perform high-fidelity extraction of (a small part of) a transformer. Section 4.1 demonstrates how we can identify the hidden dimension \(h\) using the logits API and Section 4.2 presents an algorithm that can recover the matrix \(\mathbf{W}\).
\[\mathcal{O}\left(p\right)\leftarrow\mathbf{W}\cdot g_{\theta}\left(p\right)\enspace.\]Transformer의 (작은 부분)를 고충실도로 추출할 수 있는 새로운 공격 기법을 개발합니다. 섹션 4.1에서는 logits API를 사용하여 숨겨진 차원 \(h\)를 식별하는 방법을 보여주고, 섹션 4.2에서는 행렬 \(\mathbf{W}\)를 복구할 수 있는 알고리즘을 제시합니다.
\[\mathcal{O}\left(p\right)\leftarrow\mathbf{W}\cdot g_{\theta}\left(p\right)\enspace.\]트랜스포머의 (작은 부분)를 고충실도로 추출할 수 있는 새로운 공격 기법을 개발합니다. 섹션 4.1에서는 로짓 API를 사용하여 숨겨진 차원 \(h\)를 식별하는 방법을 보여주고, 섹션 4.2에서는 행렬 \(\mathbf{W}\)를 복구할 수 있는 알고리즘을 제시합니다.