OpenAI Five
ওপেনএআই ফাইভ হল ওপেনএআই-এর একটি কম্পিউটার প্রোগ্রাম যা ফাইভ-অন-ফাইভ ভিডিও গেম ডোটা 2 খেলে। এর প্রথম প্রকাশ্য উপস্থিতি 2017 সালে ঘটেছিল, যেখানে এটি পেশাদার খেলোয়াড় ডেন্ডির বিরুদ্ধে সরাসরি এক-এক খেলায় প্রদর্শিত হয়েছিল, যিনি এর কাছে হেরে গিয়েছিলেন। পরের বছর, সিস্টেমটি পাঁচজনের একটি পূর্ণ দল হিসাবে পারফর্ম করার পর্যায়ে অগ্রসর হয়েছিল এবং পেশাদার দলগুলির বিরুদ্ধে খেলতে শুরু করে এবং তাদের পরাজিত করার ক্ষমতা প্রদর্শন করে। মেশিন লার্নিং অধ্যয়নের জন্য ডোটা 2-এর মতো জটিল একটি গেম বেছে নিয়ে ওপেনএআই ভেবেছিল যে তারা বাস্তব জগতে দেখা অপ্রত্যাশিততা এবং ধারাবাহিকতা আরও সঠিকভাবে ধরতে পারে, এইভাবে আরও সাধারণ সমস্যা সমাধান ব্যবস্থা তৈরি করে। ওপেনএআই ফাইভ দ্বারা ব্যবহৃত অ্যালগরিদম এবং কোডগুলি শেষ পর্যন্ত কোম্পানির বিকাশের জন্য আরেকটি নিউরাল নেটওয়ার্ক দ্বারা ধার করা হয়েছিল, যা একটি শারীরিক রোবোটিক হাত নিয়ন্ত্রণ করত। ওপেনএআই ফাইভকে কৃত্রিম বুদ্ধিমত্তার (এআই) অন্যান্য অনুরূপ ক্ষেত্রে মানুষের বিরুদ্ধে খেলা এবং পরাজিত করার সাথে তুলনা করা হয়েছে, যেমন ভিডিও গেম স্টারক্রাফট 2-এ আলফা স্টার, বোর্ড গেম গো-এ আলফাগো, দাবা-এ ডিপ ব্লু এবং টেলিভিশন গেম শো জিওপার্ডি!-এ ওয়াটসন। বটগুলির জন্য ব্যবহৃত অ্যালগরিদমগুলির ইতিহাস উন্নয়ন নভেম্বর 2016 সালে শুরু হয়েছিল। লাইভ স্ট্রিমিং প্ল্যাটফর্ম টুইচে জনপ্রিয় হওয়ার কারণে, লিনাক্সের জন্য স্থানীয় সমর্থন থাকার কারণে এবং একটি অ্যাপ্লিকেশন প্রোগ্রামিং ইন্টারফেস (এপিআই) উপলব্ধ থাকার কারণে ওপেনএআই একটি প্রতিযোগিতামূলক পাঁচ-পাঁচ ভিডিও গেম ডোটা 2 ব্যবহার করার সিদ্ধান্ত নিয়েছে। পাঁচজনের দল হওয়ার আগে, আগস্ট মাসে দ্য ইন্টারন্যাশনাল 2017-এ প্রথম প্রকাশ্য বিক্ষোভ অনুষ্ঠিত হয়, যা খেলার বার্ষিক প্রিমিয়ার চ্যাম্পিয়নশিপ টুর্নামেন্ট, যেখানে খেলার একজন পেশাদার ইউক্রেনীয় খেলোয়াড় ডেন্ডি একটি লাইভ ওয়ান-অন-ওয়ান ম্যাচে ওপেনএআই বটের বিরুদ্ধে হেরে যান। ম্যাচের পরে, সিটিও গ্রেগ ব্রকম্যান ব্যাখ্যা করেছিলেন যে বটটি দুই সপ্তাহের বাস্তব সময়ের জন্য নিজের বিরুদ্ধে খেলে শিখেছে এবং শেখার সফ্টওয়্যারটি এমন সফ্টওয়্যার তৈরির দিকে একটি পদক্ষেপ যা "সার্জন হওয়ার মতো" জটিল কাজগুলি পরিচালনা করতে পারে। ওপেনএআই রিইনফোর্সমেন্ট লার্নিং নামে একটি পদ্ধতি ব্যবহার করেছিল, কারণ বটগুলি সময়ের সাথে সাথে কয়েক মাস ধরে দিনে শত শত বার নিজের বিরুদ্ধে খেলে শেখে, যেখানে শত্রুকে হত্যা এবং টাওয়ার ধ্বংস করার মতো কাজের জন্য তাদের পুরস্কৃত করা হয়। 2018 সালের জুন মাসের মধ্যে, বটগুলির ক্ষমতা পাঁচজনের একটি পূর্ণ দল হিসাবে একসঙ্গে খেলার জন্য প্রসারিত হয় এবং অপেশাদার এবং আধা-পেশাদার খেলোয়াড়দের দলগুলিকে পরাজিত করতে সক্ষম হয়। দ্য ইন্টারন্যাশনাল 2018-এ, ওপেনএআই ফাইভ পেশাদার দলগুলির বিরুদ্ধে দুটি খেলায় খেলেছে, একটি ব্রাজিল ভিত্তিক পাইএন গেমিংয়ের বিরুদ্ধে এবং অন্যটি প্রাক্তন চীনা খেলোয়াড়দের একটি অল-স্টার দলের বিরুদ্ধে। যদিও বটগুলি দুটি ম্যাচই হেরেছিল, তবুও ওপেনএআই এটিকে একটি সফল উদ্যোগ হিসাবে বিবেচনা করে বলেছে যে ডোটা 2-এ কিছু সেরা খেলোয়াড়ের বিরুদ্ধে খেলা তাদের ভবিষ্যতের গেমগুলির জন্য তাদের অ্যালগরিদম বিশ্লেষণ এবং সামঞ্জস্য করার অনুমতি দিয়েছে। বটগুলির চূড়ান্ত প্রকাশ্য প্রদর্শন 2019 সালের এপ্রিলে হয়েছিল, যেখানে তারা সান ফ্রান্সিসকোতে একটি লাইভ ইভেন্টে দ্য ইন্টারন্যাশনাল 2018 চ্যাম্পিয়ন ওজি-র বিরুদ্ধে একটি বেস্ট-অফ-থ্রি সিরিজ জিতেছিল। বটদের বিরুদ্ধে খেলার জন্য একটি চার দিনের অনলাইন ইভেন্ট, যা জনসাধারণের জন্য উন্মুক্ত, একই মাসে অনুষ্ঠিত হয়। সেখানে, বটগুলি 42,729টি পাবলিক গেম খেলে, সেই গেমগুলির মধ্যে 99.4% জিতেছে। আর্কিটেকচার প্রতিটি ওপেনএআই ফাইভ বট একটি নিউরাল নেটওয়ার্ক যা 4096-ইউনিট এলএসটিএম সহ একটি একক স্তর ধারণ করে যা ডোটা ডেভেলপারের এপিআই থেকে প্রাপ্ত বর্তমান গেমের অবস্থা পর্যবেক্ষণ করে। নিউরাল নেটওয়ার্ক অসংখ্য সম্ভাব্য অ্যাকশন হেডের মাধ্যমে ক্রিয়া পরিচালনা করে (কোনও মানব তথ্য জড়িত নয়) এবং প্রতিটি মাথার অর্থ রয়েছে। উদাহরণস্বরূপ, কোনও ক্রিয়া বিলম্বিত করার জন্য টিকের সংখ্যা, কোন ক্রিয়াটি নির্বাচন করতে হবে-ইউনিটের চারপাশে একটি গ্রিডে এই ক্রিয়ার এক্স বা ওয়াই স্থানাঙ্ক। উপরন্তু, অ্যাকশন হেডগুলি স্বাধীনভাবে গণনা করা হয়। এআই সিস্টেম বিশ্বকে 20,000 সংখ্যার তালিকা হিসাবে পর্যবেক্ষণ করে এবং আটটি গণনার মানগুলির একটি তালিকা পরিচালনা করে একটি পদক্ষেপ নেয়। এছাড়াও, এটি প্রতিটি ক্রিয়াকে কীভাবে এনকোড করতে হয় এবং বিশ্বকে পর্যবেক্ষণ করতে হয় তা বোঝার জন্য বিভিন্ন ক্রিয়া এবং লক্ষ্য নির্বাচন করে। ওপেনএআই ফাইভ "দ্রুত" পরিকাঠামোর উপর একটি সাধারণ-উদ্দেশ্য শক্তিবৃদ্ধি শিক্ষণ প্রশিক্ষণ ব্যবস্থা হিসাবে তৈরি করা হয়েছে। র্যাপিড দুটি স্তর নিয়ে গঠিতঃ এটি হাজার হাজার মেশিনকে ঘুরিয়ে দেয় এবং তাদের একে অপরের সাথে 'কথা বলতে' সহায়তা করে এবং দ্বিতীয় স্তরটি সফ্টওয়্যার চালায়। 2018 সালের মধ্যে, ওপেনএআই ফাইভ প্রক্সিমাল পলিসি অপ্টিমাইজেশন, একটি নীতি গ্রেডিয়েন্ট পদ্ধতি ব্যবহার করে 256 জিপিইউ এবং 128,000 সিপিইউ কোর-এ চলমান শক্তিবৃদ্ধি শেখার ক্ষেত্রে প্রায় 180 বছরের মূল্যের গেম খেলেছে। ওপেনএআই ফাইভের আগে অন্যান্য গেম এআই সিস্টেমের সাথে তুলনা, অন্যান্য এআই বনাম মানব পরীক্ষা-নিরীক্ষা এবং সিস্টেমগুলি সফলভাবে ব্যবহার করা হয়েছে, যেমন বিপত্তি! ওয়াটসনের সাথে, ডিপ ব্লু দিয়ে দাবা, এবং আলফাগো দিয়ে যান। মানব খেলোয়াড়দের বিরুদ্ধে খেলার জন্য এআই সিস্টেম ব্যবহার করা অন্যান্য গেমগুলির তুলনায়, ডোটা 2 নীচে বর্ণিত হিসাবে আলাদাঃ লং রান ভিউঃ বটগুলি 45 মিনিটের গড় ম্যাচ সময়ের জন্য প্রতি সেকেন্ডে 30 ফ্রেমে চলে, যার ফলে প্রতি খেলায় 80,000 টিক্স হয়। ওপেনএআই ফাইভ প্রতি চতুর্থ ফ্রেম পর্যবেক্ষণ করে, 20,000 চাল তৈরি করে। তুলনামূলকভাবে, দাবা সাধারণত 40টি চালের আগে শেষ হয়, যেখানে গো 150টি চালের আগে শেষ হয়। খেলার আংশিক পর্যবেক্ষিত অবস্থাঃ খেলোয়াড় এবং তাদের সহযোগীরা কেবল সরাসরি তাদের চারপাশের মানচিত্রটি দেখতে পারে। এর বাকি অংশ যুদ্ধের কুয়াশায় ঢেকে যায় যা শত্রু ইউনিট এবং তাদের গতিবিধি লুকিয়ে রাখে। সুতরাং, ডোটা 2 খেলার জন্য এই অসম্পূর্ণ তথ্যের উপর ভিত্তি করে অনুমান করা প্রয়োজন, পাশাপাশি তাদের প্রতিপক্ষ একই সময়ে কী করতে পারে তা ভবিষ্যদ্বাণী করা প্রয়োজন। তুলনামূলকভাবে, দাবা এবং গো হল "পূর্ণ-তথ্যের খেলা", কারণ তারা বিরোধী খেলোয়াড়ের কাছ থেকে উপাদানগুলি লুকায় না। কন্টিনিউয়াস অ্যাকশন স্পেসঃ হিরো নামে পরিচিত ডোটা 2 গেমের প্রতিটি প্লেযোগ্য চরিত্র কয়েক ডজন অ্যাকশন নিতে পারে যা অন্য ইউনিট বা অবস্থানকে লক্ষ্য করে। ওপেনএআই ফাইভ ডেভেলপাররা প্রতি নায়কের জন্য 170,000 সম্ভাব্য ক্রিয়াকলাপের অনুমতি দেয়। খেলার চিরস্থায়ী দিকগুলি গণনা না করে, প্রতিটি টিকের গড় ~ 1,000 বৈধ ক্রিয়া রয়েছে। তুলনায়, দাবা খেলায় গড় অ্যাকশনের সংখ্যা 35 এবং গো-তে 250। অবিচ্ছিন্ন পর্যবেক্ষণ স্থানঃ ডোটা 2 একটি বড় মানচিত্রে দশজন নায়কের সাথে খেলা হয়, প্রতিটি দলে পাঁচজন, পাশাপাশি কয়েক ডজন বিল্ডিং এবং নন-প্লেয়ার চরিত্র (এনপিসি) ইউনিট রয়েছে। ওপেনএআই সিস্টেম ডেভেলপারদের বট এপিআই-এর মাধ্যমে একটি গেমের অবস্থা পর্যবেক্ষণ করে, কারণ 20,000 নম্বর যা সমস্ত তথ্য গঠন করে যা একজন মানুষকে অ্যাক্সেস করার অনুমতি দেয়। একটি দাবা বোর্ড প্রায় 70টি তালিকা হিসাবে প্রতিনিধিত্ব করে, যেখানে একটি গো বোর্ডে প্রায় 400টি গণনা থাকে। অভ্যর্থনা ওপেনএআই ফাইভ এআই, প্রযুক্তি এবং ভিডিও গেম সম্প্রদায়ের কাছ থেকে ব্যাপক স্বীকৃতি পেয়েছে। মাইক্রোসফ্টের প্রতিষ্ঠাতা বিল গেটস এটিকে একটি "বড় চুক্তি" বলে অভিহিত করেছেন, কারণ তাদের বিজয়ের জন্য "দলগত কাজ এবং সহযোগিতার প্রয়োজন ছিল"। দাবা খেলোয়াড় গ্যারি কাসপারভ, যিনি 1997 সালে ডিপ ব্লু এআই-এর বিরুদ্ধে হেরেছিলেন, বলেছেন যে 2018 সালের দ্য ইন্টারন্যাশনাল-এ তাদের পারফরম্যান্স হারানো সত্ত্বেও, বটগুলি শেষ পর্যন্ত "সেখানে পৌঁছাবে, এবং প্রত্যাশার চেয়ে দ্রুত"। এমআইটি টেকনোলজি রিভিউয়ের সাথে কথোপকথনে, এআই বিশেষজ্ঞরা ওপেনএআই ফাইভ সিস্টেমকে একটি উল্লেখযোগ্য অর্জন হিসাবে বিবেচনা করেছেন, কারণ তারা উল্লেখ করেছেন যে ডোটা 2 একটি "অত্যন্ত জটিল খেলা" ছিল, তাই এমনকি অ-পেশাদার খেলোয়াড়দের হারানোও চিত্তাকর্ষক ছিল। পিসি গেমার লিখেছেন যে পেশাদার খেলোয়াড়দের বিরুদ্ধে তাদের জয় মেশিন লার্নিংয়ের ক্ষেত্রে একটি গুরুত্বপূর্ণ ঘটনা ছিল। এর বিপরীতে, মাদারবোর্ড লিখেছিল যে উভয় পক্ষের সরলীকৃত হিরো পুলের পাশাপাশি বটগুলিকে স্ক্রিনে পিক্সেল ব্যাখ্যা করার জন্য কম্পিউটার ভিশন ব্যবহার করার পরিবর্তে এপিআই-এ সরাসরি প্রবেশাধিকার দেওয়ার কারণে বিজয়টি "মূলত প্রতারণা" ছিল। দ্য ভার্জ লিখেছে যে বটগুলি প্রমাণ করে যে শক্তিশালীকরণ শেখার ক্ষেত্রে কোম্পানির দৃষ্টিভঙ্গি এবং এআই সম্পর্কে এর সাধারণ দর্শন "মাইলফলক অর্জন করছে"। 2019 সালে, ডিপমাইন্ড স্টারক্রাফট 2-এর জন্য একটি অনুরূপ বট, আলফাস্টার উন্মোচন করে। ওপেনএআই ফাইভের মতো, আলফাস্টার রিইনফোর্সমেন্ট লার্নিং এবং সেলফ-প্লে ব্যবহার করে। দ্য ভার্জ জানিয়েছে যে "এই ধরনের এআই গবেষণার লক্ষ্য কেবল বিভিন্ন খেলায় মানুষকে চূর্ণ করা নয়, এটি করা যেতে পারে তা প্রমাণ করার জন্য। পরিবর্তে, এটি প্রমাণ করার জন্য যে-পর্যাপ্ত সময়, প্রচেষ্টা এবং সংস্থানগুলির সাথে-পরিশীলিত এআই সফ্টওয়্যার কার্যত যে কোনও প্রতিযোগিতামূলক জ্ঞানীয় চ্যালেঞ্জে মানুষকে সেরা করতে পারে, তা সে বোর্ড গেম বা আধুনিক ভিডিও গেমই হোক। তাঁরা যোগ করেছেন যে ডিপমাইন্ড এবং ওপেনএআই-এর বিজয়গুলিও শক্তিবৃদ্ধি শিক্ষার নির্দিষ্ট ব্যবহারের শক্তির একটি প্রমাণ। ওপেনএআই-এর আশা ছিল যে এই প্রযুক্তির ডিজিটাল ক্ষেত্রের বাইরেও প্রয়োগ থাকতে পারে। 2018 সালে, তারা একই রিইনফোর্সমেন্ট লার্নিং অ্যালগরিদম এবং প্রশিক্ষণ কোড ওপেনএআই ফাইভ থেকে ড্যাকটিলের জন্য পুনরায় ব্যবহার করতে সক্ষম হয়েছিল, যা একটি মানুষের মতো রোবট হাত যা একটি নিউরাল নেটওয়ার্ক সহ শারীরিক বস্তুগুলিকে পরিচালনা করার জন্য নির্মিত। 2019 সালে, ড্যাকটাইল রুবিকস কিউব সমাধান করে। তথ্যসূত্র এক্সটার্নাল লিঙ্ক 2017 সফ্টওয়্যার অ্যাপ্লায়েড মেশিন লার্নিং অ্যাপ্লিকেশনস অফ আর্টিফিশিয়াল ইন্টেলিজেন্স ডোটা ওপেনএআই