Stochastic variance reduction
(স্টোকাস্টিক) ভ্যারিয়েন্স রিডাকশন হল ফাংশনগুলিকে ন্যূনতম করার জন্য একটি অ্যালগরিদমিক পদ্ধতি যা সীমাবদ্ধ যোগফলগুলিতে বিভক্ত করা যেতে পারে। সীমাবদ্ধ সমষ্টি কাঠামোকে কাজে লাগিয়ে, বৈচিত্র্য হ্রাস কৌশলগুলি অভিসারের হার অর্জন করতে সক্ষম হয় যা লক্ষ্যটিকে একটি অসীম সমষ্টি হিসাবে বিবেচনা করে এমন পদ্ধতিগুলির সাথে অর্জন করা অসম্ভব, যেমন শাস্ত্রীয় স্টোকাস্টিক আনুমানিক সেটিংয়ে। লজিস্টিক রিগ্রেশন এবং সাপোর্ট ভেক্টর মেশিনের মতো মেশিন লার্নিং মডেলগুলির প্রশিক্ষণের জন্য ভ্যারিয়েন্স রিডাকশন পদ্ধতিগুলি ব্যাপকভাবে ব্যবহৃত হয় কারণ এই সমস্যাগুলির সীমাবদ্ধ-সমষ্টি কাঠামো এবং অভিন্ন কন্ডিশনিং রয়েছে যা তাদের ভ্যারিয়েন্স হ্রাসের জন্য আদর্শ প্রার্থী করে তোলে। একটি ফাংশনের সমষ্টি কাঠামোকে সীমাবদ্ধ সমষ্টি কাঠামো হিসাবে বিবেচনা করা হয় যদি এটি একটি যোগফল বা গড় হিসাবে বিভক্ত করা যায়ঃ যেখানে প্রতিটি ফাংশনের মান এবং ব্যুৎপত্তি স্বাধীনভাবে জিজ্ঞাসা করা যেতে পারে। যদিও বৈচিত্র্য হ্রাস পদ্ধতিগুলি যে কোনও ধনাত্মক এবং যে কোনও কাঠামোর জন্য প্রয়োগ করা যেতে পারে, তাদের অনুকূল তাত্ত্বিক এবং ব্যবহারিক বৈশিষ্ট্যগুলি তখন উদ্ভূত হয় যখন প্রতিটির শর্ত সংখ্যার তুলনায় বড় হয় এবং যখন তাদের অনুরূপ (তবে অগত্যা অভিন্ন নয়) লিপস্কিটজ মসৃণতা এবং শক্তিশালী উত্তলতা ধ্রুবক থাকে। সীমাবদ্ধ সমষ্টি কাঠামোটি স্টোকাস্টিক আনুমানিক সেটিংয়ের সাথে বিপরীত হওয়া উচিত যা ফর্মের ফাংশনগুলির সাথে সম্পর্কিত যা একটি র্যান্ডম ভেরিয়েবলের উপর নির্ভর করে একটি ফাংশনের প্রত্যাশিত মান। যে কোনও সীমাবদ্ধ সমষ্টি সমস্যাকে একটি স্টোকাস্টিক আনুমানিক অ্যালগরিদম ব্যবহার করে অনুকূলিত করা যেতে পারে। ত্বরণ ছাড়াই দ্রুত অভিসরণ স্টোকাস্টিক বৈচিত্র্য হ্রাস পদ্ধতিগুলি নির্ভুলতার মধ্যে একটি মিনিমা খুঁজে পেতে সক্ষম হয়, অর্থাৎ। ক্রমের বেশ কয়েকটি ধাপেঃ ধাপের সংখ্যা শুধুমাত্র লগারিদমিকভাবে প্রয়োজনীয় নির্ভুলতার স্তরের উপর নির্ভর করে, স্টোকাস্টিক আনুমানিক কাঠামোর বিপরীতে, যেখানে প্রয়োজনীয় ধাপের সংখ্যা প্রয়োজনীয় নির্ভুলতার সাথে আনুপাতিকভাবে বৃদ্ধি পায়। শুধুমাত্র একটি স্টোকাস্টিক গ্রেডিয়েন্ট ব্যবহার করা সত্ত্বেও, গ্রেডিয়েন্ট ডিসেন্টের তুলনায় কম খরচে, স্টোকাস্টিক ভ্যারিয়েন্স রিডাকশন পদ্ধতিগুলি গ্রেডিয়েন্ট ডিসেন্ট পদ্ধতির হারের মতোই প্রায় দ্রুত একত্রিত হয়। স্টোকাস্টিক ভ্যারিয়েন্স রিডাকশন ফ্রেমওয়ার্কে ত্বরান্বিত পদ্ধতিগুলি আরও দ্রুত অভিসারের হার অর্জন করে, নির্ভুলতায় পৌঁছানোর জন্য কেবলমাত্র পদক্ষেপের প্রয়োজন হয়, সম্ভাব্যভাবে অ-ত্বরান্বিত পদ্ধতির চেয়ে দ্রুততর। কম জটিলতার সীমা। সীমাবদ্ধ সমষ্টি শ্রেণীর জন্য প্রতিষ্ঠিত করুন যে মসৃণ দৃঢ় উত্তল সমস্যার জন্য এই হারটি দ্রুততম সম্ভব। বৈচিত্র্য হ্রাসের পদ্ধতিগুলি 3টি প্রধান বিভাগের মধ্যে পড়েঃ টেবিল গড় পদ্ধতি, পূর্ণ-গ্রেডিয়েন্ট স্ন্যাপশট পদ্ধতি এবং দ্বৈত পদ্ধতি। প্রতিটি বিভাগে উত্তল, অ-মসৃণ এবং অ-উত্তল সমস্যাগুলির সাথে মোকাবিলা করার জন্য পরিকল্পিত পদ্ধতি রয়েছে, প্রতিটি হাইপার-পরামিতি সেটিংস এবং অন্যান্য অ্যালগরিদমিক বিবরণে পৃথক। এস. এ. জি. এ পদ্ধতিতে, প্রোটোটাইপিক্যাল টেবিল এভারেজ পদ্ধতিতে, আকারের একটি টেবিল বজায় রাখা হয় যাতে প্রতিটি পদের জন্য শেষ গ্রেডিয়েন্ট থাকে, যা আমরা নির্দেশ করি। প্রতিটি ধাপে, একটি সূচকের নমুনা নেওয়া হয় এবং একটি নতুন গ্রেডিয়েন্ট গণনা করা হয়। পুনরাবৃত্তি সহ আপডেট করা হয়ঃ এবং পরে টেবিল এন্ট্রি সঙ্গে আপডেট করা হয়। এস. এ. জি. এ তার সরলতা, সহজেই মানিয়ে নেওয়া যায় এমন তত্ত্ব এবং দুর্দান্ত পারফরম্যান্সের কারণে বৈচিত্র্য হ্রাস পদ্ধতির মধ্যে সবচেয়ে জনপ্রিয়। এটি এসএজি পদ্ধতির উত্তরসূরি, যা এর নমনীয়তা এবং কার্যকারিতা উন্নত করে। এস. ভি. আর. জি স্টোকাস্টিক ভ্যারিয়েন্স রিডিউসড গ্রেডিয়েন্ট মেথড (এস. ভি. আর. জি), প্রোটোটাইপিক্যাল স্ন্যাপশট পদ্ধতি, একটি টেবিলের গড় ব্যবহার করার পরিবর্তে এটি একটি পূর্ণ-গ্রেডিয়েন্ট ব্যবহার করে যা পুনরাবৃত্তির নিয়মিত বিরতিতে একটি স্ন্যাপশট পয়েন্টে পুনর্মূল্যায়ন করা হয়। আপডেটটি হয়ে যায়ঃ এই পদ্ধতির জন্য প্রতি ধাপে দুটি স্টোকাস্টিক গ্রেডিয়েন্ট মূল্যায়ন প্রয়োজন, একটি গণনা করার জন্য এবং একটি গণনা করার জন্য যেখানে টেবিলের গড় পদ্ধতির জন্য কেবল একটি প্রয়োজন। উচ্চ গণনামূলক খরচ সত্ত্বেও, এস. ভি. আর. জি জনপ্রিয় কারণ এর সহজ কনভারজেন্স তত্ত্ব নতুন অপ্টিমাইজেশান সেটিংসের সাথে অত্যন্ত অভিযোজিত। ট্যাবুলার এভারেজ পদ্ধতির তুলনায় এটির স্টোরেজ প্রয়োজনীয়তাও কম, যা এটিকে অনেক সেটিংসে প্রযোজ্য করে তোলে যেখানে ট্যাবুলার পদ্ধতি ব্যবহার করা যায় না। এস. ডি. সি. এ উদ্দেশ্যের দ্বৈত উপস্থাপনাকে কাজে লাগানোর ফলে আরেকটি বৈচিত্র্য হ্রাস পদ্ধতির দিকে পরিচালিত করে যা বিশেষত সীমাবদ্ধ-সমষ্টিগুলির জন্য উপযুক্ত যেখানে প্রতিটি শব্দের একটি কাঠামো থাকে যা উত্তল সংযুগ্ম বা তার প্রক্সিমাল অপারেটরকে ট্র্যাক্টেবল করে তোলে। স্ট্যান্ডার্ড এস. ডি. সি. এ পদ্ধতিটি সাধারণ সসীম সমষ্টি বিন্যাসের তুলনায় অতিরিক্ত কাঠামো রয়েছে এমন সসীম যোগফল বিবেচনা করেঃ যেখানে প্রতিটি 1 মাত্রিক এবং প্রতিটি একটি ডেটা পয়েন্টের সাথে যুক্ত। এস. ডি. সি. এ দ্বৈত সমস্যার সমাধান করেঃ একটি স্টোকাস্টিক স্থানাঙ্ক আরোহণ পদ্ধতির মাধ্যমে, যেখানে প্রতিটি ধাপে উদ্দেশ্যটি এলোমেলোভাবে নির্বাচিত স্থানাঙ্কের সাপেক্ষে অনুকূলিত করা হয়, অন্য সমস্ত স্থানাঙ্ককে একই রেখে। একটি আনুমানিক প্রাথমিক সমাধান এই মানগুলি থেকে পুনরুদ্ধার করা যেতে পারেঃ এই পদ্ধতিটি একটি ধাপ-আকারের পরামিতি নির্দিষ্ট করার প্রয়োজনীয়তা এড়ানোর সময় অন্যান্য স্টোকাস্টিক বৈচিত্র্য হ্রাস পদ্ধতির সাথে একত্রীকরণের অনুরূপ তাত্ত্বিক হার অর্জন করে। এটি বড় হলে বাস্তবে দ্রুত হয়, কিন্তু ছোট হলে অন্যান্য পদ্ধতির তুলনায় উল্লেখযোগ্যভাবে ধীর হয়। ত্বরান্বিত পদ্ধতি ত্বরান্বিত বৈচিত্র্য হ্রাস পদ্ধতিগুলি উপরের মানক পদ্ধতির উপর নির্মিত। প্রাচীনতম পদ্ধতিগুলি প্রায় বা সঠিকভাবে অভিসরণ ত্বরান্বিত করতে প্রক্সিমাল অপারেটর ব্যবহার করে। অনুঘটক কাঠামো একটি প্রক্সিমাল অপারেটরকে প্রায় সমাধান করার জন্য অভ্যন্তরীণ অপ্টিমাইজার হিসাবে উপরের যে কোনও মানক পদ্ধতি ব্যবহার করেঃ যার পরে এটি পরবর্তী নির্ধারণের জন্য একটি এক্সট্রপোলেশন পদক্ষেপ ব্যবহার করেঃ অনুঘটক পদ্ধতির নমনীয়তা এবং সরলতা এটিকে একটি জনপ্রিয় বেসলাইন পদ্ধতির করে তোলে। এটি ত্বরান্বিত পদ্ধতির মধ্যে সম্মিলনের সর্বোত্তম হার অর্জন করে না, এটি হাইপার-পরামিতিগুলির একটি লগ ফ্যাক্টর পর্যন্ত সম্ভাব্যভাবে ধীর। পয়েন্ট-এসএজিএ প্রক্সিমাল অপারেশনগুলি একটি ত্বরান্বিত পদ্ধতি অর্জনের জন্য সরাসরি শর্তাবলীতে প্রয়োগ করা যেতে পারে। পয়েন্ট-এসএজিএ পদ্ধতিটি এসএজিএ-তে গ্রেডিয়েন্ট ক্রিয়াকলাপগুলিকে প্রক্সিমাল অপারেটর মূল্যায়নের সাথে প্রতিস্থাপন করে, যার ফলে একটি সহজ, সরাসরি ত্বরণ পদ্ধতি হয়ঃ প্রতিটি ধাপের পরে টেবিল আপডেট করা হয়। এখানে দশম পদের জন্য প্রক্সিমাল অপারেটর হিসাবে সংজ্ঞায়িত করা হয়েছেঃ অন্যান্য পরিচিত ত্বরান্বিত পদ্ধতির বিপরীতে, পয়েন্ট-এসএজিএ-র জন্য ধাপগুলির মধ্যে কেবল একটি একক পুনরাবৃত্ত ক্রম বজায় রাখা প্রয়োজন, এবং এটির কেবল একটি একক সুরযোগ্য পরামিতি থাকার সুবিধা রয়েছে। এটি অতিরিক্ত লগ ফ্যাক্টর ছাড়াই দৃঢ়ভাবে উত্তল সসীম-সমষ্টি হ্রাসকরণের জন্য অভিসারের সর্বোত্তম ত্বরান্বিত হার অর্জন করে। আরও দেখুন স্টোকাস্টিক গ্রেডিয়েন্ট ডিসেন্ট কোঅর্ডিনেট ডিসেন্ট অনলাইন মেশিন লার্নিং প্রক্সিমাল অপারেটর স্টোকাস্টিক অপ্টিমাইজেশন স্টোকাস্টিক এপ্রোক্সিমেশন রেফারেন্স স্টোকাস্টিক অপ্টিমাইজেশন গ্রেডিয়েন্ট পদ্ধতি মেশিন লার্নিং অ্যালগরিদম কনভেক্স অপ্টিমাইজেশন