2004 में, Google ने MapReduce नामक एक प्रक्रिया पर एक पेपर प्रकाशित किया जो समान आर्किटेक्चर का उपयोग करता है। MapReduce अवधारणा एक समानांतर प्रसंस्करण मॉडल प्रदान करती है, और बड़ी मात्रा में डेटा को संसाधित करने के लिए एक संबंधित कार्यान्वयन जारी किया गया था। MapReduce के साथ, प्रश्नों को समानांतर नोड्स में विभाजित और वितरित किया जाता है और समानांतर (मैप चरण) में संसाधित किया जाता है। फिर परिणाम एकत्र किए जाते हैं और वितरित किए जाते हैं (कम करें चरण)। रूपरेखा बहुत सफल थी, इसलिए अन्य लोग एल्गोरिदम को दोहराना चाहते थे। इसलिए, MapReduce ढांचे के कार्यान्वयन को Hadoop नामक अपाचे ओपन-सोर्स प्रोजेक्ट द्वारा अपनाया गया था। अपाचे स्पार्क को 2012 में MapReduce प्रतिमान में सीमाओं के जवाब में विकसित किया गया था, क्योंकि यह कई संचालन स्थापित करने की क्षमता जोड़ता है (न कि केवल मानचित्र को कम करने के बाद)।
समानांतर प्रसंस्करण मॉडल
2004 में, Google ने MapReduce नामक एक प्रक्रिया पर एक पेपर प्रकाशित किया जो समान आर्किटेक्चर का उपयोग करता है। MapReduce अवधारणा एक समानांतर प्रसंस्करण मॉडल प्रदान करती है, और बड़ी मात्रा में डेटा को संसाधित करने के लिए एक संबंधित कार्यान्वयन जारी किया गया था। MapReduce के साथ, प्रश्नों को समानांतर नोड्स में विभाजित और वितरित किया जाता है और समानांतर (मैप चरण) में संसाधित किया जाता है। फिर परिणाम एकत्र किए जाते हैं और वितरित किए जाते हैं (कम करें चरण)। रूपरेखा बहुत सफल थी, इसलिए अन्य लोग एल्गोरिदम को दोहराना चाहते थे। इसलिए, MapReduce ढांचे के कार्यान्वयन को Hadoop नामक अपाचे ओपन-सोर्स प्रोजेक्ट द्वारा अपनाया गया था। अपाचे स्पार्क को 2012 में MapReduce प्रतिमान में सीमाओं के जवाब में विकसित किया गया था, क्योंकि यह कई संचालन स्थापित करने की क्षमता जोड़ता है (न कि केवल मानचित्र को कम करने के बाद)।