Metrics.We consider several metrics for prompt reconstruction: F1 score at the token level, BLEU score (Papineni et al., 2002) as a measure of string overlap, and exact match. We also consider the cosine similarity between the text embeddings of the original and recovered text as a measure of semantic relatedness. For cosine similarity, we use embeddings from the model text-embeddings-ada-002 available through the OpenAI API (Neelakantan et al., 2022). For each metric, we report error bounds as standard error of the mean (SEM).
메트릭. 프롬프트 재구성을 위해 토큰 수준의 F1 점수, 문자열 겹침의 척도로서의 BLEU 점수(Papineni et al., 2002), 정확한 일치 여부 등 여러 가지 메트릭을 고려합니다. 또한 의미적 관련성의 척도로 원본 텍스트와 복구된 텍스트의 텍스트 임베딩 간의 cosine similarity도 고려합니다. cosine similarity의 경우, OpenAI API(Neelakantan et al., 2022)를 통해 사용할 수 있는 모델 텍스트 임베딩-ada-002의 임베딩을 사용합니다. 각 메트릭에 대해 표준 오차(SEM)의 평균 오차 범위를 보고합니다.
메트릭. 프롬프트 재구성을 위해 토큰 수준의 F1 점수, 문자열 겹침의 척도로서의 BLEU 점수(Papineni et al., 2002), 정확한 일치 여부 등 여러 가지 메트릭을 고려합니다. 또한 의미적 관련성의 척도로 원본 텍스트와 복구된 텍스트의 텍스트 임베딩 간의 코사인 유사성도 고려합니다. 코사인 유사성의 경우, OpenAI API(Neelakantan et al., 2022)를 통해 사용할 수 있는 모델 텍스트 임베딩-ada-002의 임베딩을 사용합니다. 각 메트릭에 대해 표준 오차(SEM)의 평균 오차 범위를 보고합니다.