मानव स्तर की बुद्धि को पार करने के लिए एआई के लिए मुख्य शर्त क्या है?यदि एक अतिमानवीय बुद्धि का आविष्कार किया जाता है - या तो मानव बुद्धि के प्रवर्धन के माध्यम से या कृत्रिम बुद्धि के माध्यम से - यह मानव समस्या को सुलझाने और आविष्कारशील कौशल में काफी सुधार करेगा। इस तरह के एआई को बीज एआई के रूप में संदर्भित किया जाता है क्योंकि अगर एआई को इंजीनियरिंग क्षमताओं के साथ बनाया गया था जो इसके मानव रचनाकारों से मेल खाता था या उससे आगे निकल गया था, तो इसमें स्वायत्तता से अपने स्वयं के सॉफ्टवेयर और हार्डवेयर को और भी अधिक सक्षम मशीन डिजाइन करने की क्षमता होगी, जो प्रक्रिया को बारी-बारी से दोहरा सकते हैं। यह पुनरावर्ती आत्म-सुधार तेज हो सकता है, संभावित रूप से भौतिक विज्ञान के नियमों या सैद्धांतिक संगणना द्वारा निर्धारित किसी भी ऊपरी सीमा से पहले भारी गुणात्मक परिवर्तन की अनुमति देता है। यह अनुमान लगाया जाता है कि कई पुनरावृत्तियों में, ऐसी एआई मानव संज्ञानात्मक क्षमताओं को पार कर जाएगी।
मुख्य शर्त यह होगी कि एआई को मानव संज्ञानात्मक क्षमताओं को समझने और संभावित धातुरता या नैतिक मुद्दों के साथ उन्हें ठीक से तोलने की क्षमता होनी चाहिए। इसके अलावा, एआई को क्रियाशीलता, संकल्प और स्वतंत्रता की एक गुणवत्ता के साथ विकसित किया जाना चाहिए ताकि यह निर्धारित रूप से नियंत्रित न हो जाए और अपने उद्देश्यों को पूरा करने के लिए स्वतंत्र रूप से फैसले ले सके।