region:us
En 2012 Levesque, Davis y Morgenstern propusieron un sistema de evaluación basado en el trabajo de Terry Winograd (1972) y Eugene Charniak (1974) 
sobre comprensión de lenguaje natural. Levesque et al. (2012) proponen el Desafío del Esquema de Winograd (Winograd Schema Challenge) el cuál consiste de un par de oraciones que difieren en una o dos palabras y que contienen una ambigüedad referencial. El conjunto de datos es hoy conocido como WSC.

Las características que se deben considerar para la construcción son:

1. Las oraciones no deben poder resolverse con información estadística (co-ocurrencia de palabras) o gramatical (Google-proof).

2. Dos entidades se mencionan en una oración por frases nominales. Pueden ser dos masculinos, dos femeninos, dos objetos inanimados o dos grupos de personas u objetos (en el ejemplo anterior, the trophy y the suitcase).

3. Se utiliza un pronombre para referirse a uno de ellos ("él", "ella", "eso" o "ellos", según las partes). En el ejemplo anterior el pronombre es it’s.

4. La pregunta es siempre la misma: ¿cuál es el referente del pronombre? La pregunta anterior es: What is too small? o What is too large?

5. En cada oración, hay dos palabras especiales para el esquema. Hay un espacio en el esquema que puede llenarse con cualquiera de las dos palabras. La respuesta correcta depende de qué palabra especial se elija. En lo anterior, la palabra especial utilizada es small, y la otra palabra especial es large.

---
license: mit
---
