In order to assess the quality of the crowd coding, Benoit and colleagues also had about 10 experts—professors and graduate students in Political Science—rate the same manifestos using a similar procedure. Although the ratings from members of the crowd were more variable than the ratings from the experts, the consensus crowd rating had remarkable agreement with the consensus expert rating (Figure 5.6). This comparison shows that, as with Galaxy Zoo, human computation projects can produce high quality results.
လူအစုအဝေးနိုင်တဲ့ coding ၏အရည်အသွေးအကဲဖြတ်နိုင်ရန်အတွက်, Benoit နှင့်လုပ်ဖော်ကိုင်ဘက်လည်းအလားတူလုပ်ထုံးလုပ်နည်းကိုအသုံးပြုပြီးနိုင်ငံရေးသိပ္ပံ-rate ကိုအတွက်တူညီတဲ့စာတမ်းတွင်အကြောင်း 10 ကျွမ်းကျင်သူများက-ပါမောက္ခများနှင့်ဘွဲ့ရကျောင်းသားများကိုရှိခဲ့ပါတယ်။ လူအစုအဝေးအဖွဲ့ဝင်များအနေဖြင့် ratings ပညာရှင်တွေရဲ့အနေ ratings ထက်ပို variable ကိုကြပေမဲ့, အများသဘောတူညီမှုလူစုလူဝေးအဆင့်သတ်မှတ်ချက်သဘောတူကျွမ်းကျင်သူအဆင့်သတ်မှတ်ချက် (ပုံ 5.6) နဲ့ထူးခွားသောသဘောတူညီချက်ရှိခဲ့ပါတယ်။ ဒီနှိုင်းယှဉ်လျှင်က Galaxy တိရစ္ဆာန်ရုံနှင့်ဝသကဲ့သို့, လူ့တွက်ချက်မှုစီမံကိန်းများအရည်အသွေးမြင့်မားသောရလဒ်များကိုထုတ်လုပ်နိုင်ပါတယ်, ကွောငျးဖျောပွ။