Conjugate gradient method
গণিতে, কনজুগেট গ্রেডিয়েন্ট পদ্ধতি হল রৈখিক সমীকরণের নির্দিষ্ট পদ্ধতির সংখ্যাসূচক সমাধানের জন্য একটি অ্যালগরিদম, যার ম্যাট্রিক্স ধনাত্মক-নির্দিষ্ট। কনজুগেট গ্রেডিয়েন্ট পদ্ধতিটি প্রায়শই একটি পুনরাবৃত্তিমূলক অ্যালগরিদম হিসাবে প্রয়োগ করা হয়, যা বিরল ব্যবস্থাগুলির ক্ষেত্রে প্রযোজ্য যা সরাসরি বাস্তবায়ন বা চোলস্কি পচনের মতো অন্যান্য সরাসরি পদ্ধতি দ্বারা পরিচালনা করা খুব বড়। আংশিক ডিফারেনশিয়াল সমীকরণ বা অপ্টিমাইজেশান সমস্যাগুলি সংখ্যাসূচকভাবে সমাধান করার সময় বড় বিরল সিস্টেমগুলি প্রায়শই উদ্ভূত হয়। কনজুগেট গ্রেডিয়েন্ট পদ্ধতিটি শক্তি হ্রাসকরণের মতো অনিয়ন্ত্রিত অপ্টিমাইজেশান সমস্যা সমাধানের জন্যও ব্যবহার করা যেতে পারে। এটি সাধারণত ম্যাগনাস হেস্টেনেস এবং এডুয়ার্ড স্টিফেলকে দায়ী করা হয়, যিনি এটি জেড 4-এ প্রোগ্রাম করেছিলেন এবং এটি ব্যাপকভাবে গবেষণা করেছিলেন। বাইকোনজুগেট গ্রেডিয়েন্ট পদ্ধতি অ-প্রতিসম ম্যাট্রিক্সকে একটি সাধারণীকরণ প্রদান করে। বিভিন্ন অরৈখিক কনজুগেট গ্রেডিয়েন্ট পদ্ধতি অরৈখিক অপ্টিমাইজেশান সমস্যার মিনিমা খোঁজে। কনজুগেট গ্রেডিয়েন্ট দ্বারা সমাধান করা সমস্যার বিবরণ ধরুন আমরা ভেক্টরের জন্য রৈখিক সমীকরণের পদ্ধতিটি সমাধান করতে চাই, যেখানে পরিচিত ম্যাট্রিক্সটি প্রতিসম (অর্থাৎ, এটি = এ), ধনাত্মক-নির্দিষ্ট (অর্থাৎ। xTAx> 0 Rn-এ সমস্ত অ-শূন্য ভেক্টরের জন্য), এবং বাস্তব, এবং এটিও পরিচিত। আমরা এই ব্যবস্থার অনন্য সমাধান দ্বারা চিহ্নিত করি। কনজুগেট গ্রেডিয়েন্ট পদ্ধতিটি বিভিন্ন দৃষ্টিকোণ থেকে উদ্ভূত হতে পারে, যার মধ্যে অপ্টিমাইজেশনের জন্য কনজুগেট দিকনির্দেশনার পদ্ধতির বিশেষীকরণ এবং আইগেনভ্যালু সমস্যার জন্য আর্নল্ডি/ল্যাঙ্কজোস পুনরাবৃত্তির বৈচিত্র্য রয়েছে। তাদের পদ্ধতির মধ্যে পার্থক্য থাকা সত্ত্বেও, এই ব্যুৎপত্তিগুলি একটি সাধারণ বিষয় ভাগ করে নেয়-অবশিষ্টাংশের অর্থোগোনালিটি এবং অনুসন্ধানের দিকগুলির সংমিশ্রণ প্রমাণ করে। এই দুটি বৈশিষ্ট্য পদ্ধতির সুপরিচিত সংক্ষিপ্ত গঠনের বিকাশের জন্য অত্যন্ত গুরুত্বপূর্ণ। যেহেতু প্রতিসম এবং ধনাত্মক-নির্দিষ্ট, বাম দিকটি একটি অভ্যন্তরীণ গুণফলকে সংজ্ঞায়িত করে, দুটি ভেক্টর সংযুক্ত হয় যদি এবং শুধুমাত্র যদি তারা এই অভ্যন্তরীণ গুণফলের সাপেক্ষে অর্থোগোনাল হয়। কনজুগেট হওয়া একটি প্রতিসম সম্পর্কঃ যদি কনজুগেট হয়, তবে কনজুগেট হয়। ধরুন এটি পারস্পরিক সংযুক্ত ভেক্টরের একটি সেট, অর্থাৎ। সবার জন্য। তারপর এর জন্য একটি ভিত্তি তৈরি করে, এবং আমরা এই ভিত্তিতে এর সমাধানটি প্রকাশ করতে পারিঃ ভেক্টর ফলন দিয়ে সমস্যাটিকে বাম-গুণ করা এবং তাই এটি সমীকরণটি সমাধান করার জন্য নিম্নলিখিত পদ্ধতিটি দেয়ঃ সংযুক্ত দিকগুলির একটি ক্রম খুঁজে বের করুন, এবং তারপর সহগগুলি গণনা করুন। একটি পুনরাবৃত্তিমূলক পদ্ধতি হিসাবে যদি আমরা সাবধানে কনজুগেট ভেক্টরগুলি বেছে নিই, তবে সমাধানটির একটি ভাল আনুমানিক অনুমান পেতে আমাদের তাদের সকলের প্রয়োজন নাও হতে পারে। সুতরাং, আমরা কনজুগেট গ্রেডিয়েন্ট পদ্ধতিকে একটি পুনরাবৃত্তিমূলক পদ্ধতি হিসাবে বিবেচনা করতে চাই। এটি আমাদের প্রায় এমন সিস্টেমগুলি সমাধান করার অনুমতি দেয় যেখানে এন এত বড় যে সরাসরি পদ্ধতিটি খুব বেশি সময় নেবে। আমরা দ্বারা-এর প্রাথমিক অনুমানকে নির্দেশ করি (সাধারণতা না হারিয়ে আমরা ধরে নিতে পারি যে, অন্যথায় এর পরিবর্তে সিস্টেমটি আজ = বি-এক্স0 বিবেচনা করুন)। x0 দিয়ে শুরু করে আমরা সমাধানটি অনুসন্ধান করি এবং প্রতিটি পুনরাবৃত্তিতে আমাদের একটি মেট্রিক প্রয়োজন যা আমাদের বলে যে আমরা সমাধানের কাছাকাছি আছি কিনা (যা আমাদের অজানা)। এই মেট্রিকটি এই সত্য থেকে আসে যে সমাধানটিও নিম্নলিখিত দ্বিঘাত ফাংশনের অনন্য মিনিমাইজার একটি অনন্য মিনিমাইজারের অস্তিত্ব স্পষ্ট কারণ এর দ্বিতীয় ডেরিভেটিভের হেসিয়ান ম্যাট্রিক্স প্রতিসম ধনাত্মক-নির্দিষ্ট এবং মিনিমাইজারটি (ডিএফ (এক্স) = 0 ব্যবহার করে) তার প্রথম ডেরিভেটিভ থেকে প্রাথমিক সমস্যাটি সমাধান করে। f এর গ্রেডিয়েন্ট সমান। প্রাথমিক অনুমান x0 দিয়ে শুরু করার অর্থ হল আমরা p0 = b − Ax0 নিচ্ছি। ভিত্তির অন্যান্য ভেক্টরগুলি গ্রেডিয়েন্টের সাথে কনজুগেট হবে, তাই এর নাম কনজুগেট গ্রেডিয়েন্ট পদ্ধতি। লক্ষ্য করুন যে p0 হল অ্যালগরিদমের এই প্রাথমিক ধাপ দ্বারা প্রদত্ত অবশিষ্টাংশ। k তম ধাপে rk কে অবশিষ্টাংশ হিসাবে ধরা যাকঃ উপরে যেমন পর্যবেক্ষণ করা হয়েছে, এটি at এর ঋণাত্মক গ্রেডিয়েন্ট, তাই গ্রেডিয়েন্ট ডিসেন্ট পদ্ধতির জন্য rk দিকে যেতে হবে। এখানে, তবে, আমরা জোর দিয়ে বলি যে নির্দেশগুলি অবশ্যই একে অপরের সাথে সংযুক্ত হতে হবে। এটি কার্যকর করার একটি ব্যবহারিক উপায় হল বর্তমান অবশিষ্টাংশ এবং পূর্ববর্তী সমস্ত অনুসন্ধান নির্দেশাবলী থেকে পরবর্তী অনুসন্ধানের দিকটি তৈরি করা। সংমিশ্রণ সীমাবদ্ধতা একটি অর্থোনরমাল-টাইপ সীমাবদ্ধতা এবং তাই অ্যালগরিদমটিকে গ্রাম-শ্মিট অর্থোনরমালাইজেশনের উদাহরণ হিসাবে দেখা যেতে পারে। এটি নিম্নলিখিত অভিব্যক্তিটি দেয়ঃ (কনভার্জেন্সের উপর কনজুগেসি সীমাবদ্ধতার প্রভাবের জন্য নিবন্ধের শীর্ষে ছবিটি দেখুন)। এই দিকটি অনুসরণ করে, পরবর্তী সর্বোত্তম অবস্থানটি দেওয়া হয় যেখানে সংজ্ঞা থেকে শেষ সমতা অনুসরণ করা হয়। জন্য অভিব্যক্তিটি উদ্ভূত করা যেতে পারে যদি কেউ xk + 1-এর অভিব্যক্তিটিকে f-তে প্রতিস্থাপন করে এবং ফলস্বরূপ অ্যালগরিদমের সাপেক্ষে এটিকে কমিয়ে দেয় উপরের অ্যালগরিদমটি কনজুগেট গ্রেডিয়েন্ট পদ্ধতির সবচেয়ে সহজ ব্যাখ্যা দেয়। আপাতদৃষ্টিতে, বর্ণিত অ্যালগরিদমটির জন্য পূর্ববর্তী সমস্ত অনুসন্ধানের দিকনির্দেশ এবং অবশিষ্টাংশ ভেক্টরের পাশাপাশি অনেক ম্যাট্রিক্স-ভেক্টর গুণনের সঞ্চয় প্রয়োজন, এবং এইভাবে গণনামূলকভাবে ব্যয়বহুল হতে পারে। যাইহোক, অ্যালগরিদমের একটি ঘনিষ্ঠ বিশ্লেষণ দেখায় যে এটি অর্থোগোনাল, অর্থাৎ। , i  ঒ত্ত j-এর জন্য। এবং-অর্থোগোনাল, অর্থাৎ। , জন্য। এটি বিবেচনা করা যেতে পারে যে অ্যালগরিদমের অগ্রগতির সাথে সাথে একই ক্রাইলভ সাবস্পেস প্রসারিত হয়। যেখানে স্ট্যান্ডার্ড অভ্যন্তরীণ পণ্যের সাপেক্ষে অর্থোগোনাল ভিত্তি গঠন করে এবং দ্বারা প্ররোচিত অভ্যন্তরীণ পণ্যের সাপেক্ষে অর্থোগোনাল ভিত্তি গঠন করে। অতএব, ক্রাইলভ সাবস্পেসের অভিক্ষেপ হিসাবে বিবেচনা করা যেতে পারে। Ax = b সমাধানের জন্য অ্যালগরিদমটি নীচে বিস্তারিতভাবে দেওয়া হয়েছে যেখানে এটি একটি বাস্তব, প্রতিসম, ধনাত্মক-নির্দিষ্ট ম্যাট্রিক্স। ইনপুট ভেক্টর একটি আনুমানিক প্রাথমিক সমাধান বা 0 হতে পারে। এটি উপরে বর্ণিত সঠিক পদ্ধতির একটি ভিন্ন গঠন। এটি সর্বাধিক ব্যবহৃত অ্যালগরিদম। ফ্লেচার-রিভস অরৈখিক কনজুগেট গ্রেডিয়েন্ট পদ্ধতিতেও একই সূত্র ব্যবহার করা হয়। পুনরায় চালু করুন আমরা লক্ষ্য করি যে এটি প্রয়োগ করা গ্রেডিয়েন্ট ডিসেন্ট পদ্ধতি দ্বারা গণনা করা হয়। সেটিং একইভাবে গ্রেডিয়েন্ট ডিসেন্ট পদ্ধতি দ্বারা গণনা করা হবে, অর্থাৎ, কনজুগেট গ্রেডিয়েন্ট পুনরাবৃত্তির পুনরায় চালু করার সহজ বাস্তবায়ন হিসাবে ব্যবহার করা যেতে পারে। পুনরায় চালু করলে অভিসরণ ধীর হয়ে যেতে পারে, তবে স্থিতিশীলতা উন্নত হতে পারে যদি কনজুগেট গ্রেডিয়েন্ট পদ্ধতিটি ভুল আচরণ করে, উদাহরণস্বরূপ, রাউন্ড-অফ ত্রুটির কারণে। সুস্পষ্ট অবশিষ্টাংশ গণনা সূত্র এবং, যা উভয়ই সঠিক গাণিতিক ধারণ করে, সূত্র এবং গাণিতিকভাবে সমতুল্য করে তোলে। পূর্ববর্তীটি অ্যালগরিদমে একটি অতিরিক্ত গুণ এড়াতে ব্যবহৃত হয় কারণ ভেক্টরটি ইতিমধ্যে মূল্যায়নের জন্য গণনা করা হয়েছে। পরেরটি আরও সঠিক হতে পারে, রাউন্ড-অফ ত্রুটি সঞ্চয়ের সাপেক্ষে পুনরাবৃত্তি দ্বারা অন্তর্নিহিতটির জন্য স্পষ্ট গণনা প্রতিস্থাপন করে এবং এইভাবে মাঝে মাঝে মূল্যায়নের জন্য সুপারিশ করা হয়। অবশিষ্টাংশের একটি আদর্শ সাধারণত মানদণ্ড বন্ধ করার জন্য ব্যবহৃত হয়। সুস্পষ্ট অবশিষ্টাংশের মান সঠিক গাণিতিক এবং বৃত্তাকার ত্রুটির উপস্থিতিতে উভয় ক্ষেত্রেই নির্ভুলতার একটি নিশ্চিত স্তর সরবরাহ করে, যেখানে অভিসরণ স্বাভাবিকভাবেই স্থবির হয়ে পড়ে। বিপরীতে, অন্তর্নিহিত অবশিষ্টাংশ বৃত্তাকার ত্রুটির স্তরের নিচে প্রশস্ততায় ছোট হতে থাকে এবং তাই অভিসারের স্থবিরতা নির্ধারণ করতে ব্যবহার করা যায় না। আলফা এবং বিটার গণনা অ্যালগরিদমে, এমনভাবে বেছে নেওয়া হয় যা অর্থোগোনাল। তারপর থেকে হরটি সরলীকৃত করা হয়েছে। এটি এমনভাবে বেছে নেওয়া হয় যা এর সাথে সংযুক্ত। প্রাথমিকভাবে, ব্যবহার করা হচ্ছে এবং সমতুল্যভাবে এর সংখ্যাটি কারণ হিসাবে পুনর্লিখন করা হয়েছে এবং নকশা দ্বারা অর্থোগোনাল। সন্ধানের দিকগুলি pk সংযুক্ত এবং অবশিষ্টাংশগুলি অর্থোগোনাল ব্যবহার করে হরটি পুনর্লিখন করা হয়। এটি বাতিল করার পরে অ্যালগরিদম দেয়। জুলিয়ার উদাহরণ কোড (প্রোগ্রামিং ভাষা) "" কনজুগেট _ গ্রেডিয়েন্ট! (এ, বি, এক্স) কনজুগেট গ্রেডিয়েন্ট পদ্ধতি ব্যবহার করে সমাধানটি 'এ * এক্স = বি'-তে ফিরিয়ে দিন। ফাংশন কনজুগেট _ গ্রেডিয়েন্ট! (উঃ: অ্যাবস্ট্রাক্টম্যাট্রিক্স, খঃ অ্যাবস্ট্রাক্টভেক্টর, x:: অ্যাবস্ট্রাক্টভেক্টর; টোল = ই. পি. এস (এলটাইপ (বি))) #অবশিষ্ট ভেক্টর অবশিষ্টাংশ শুরু করুন = বি-এ * এক্স #অনুসন্ধানের দিকনির্দেশ ভেক্টর অনুসন্ধান শুরু করুন = অবশিষ্টাংশ #প্রাথমিক বর্গ অবশিষ্টাংশ আদর্শ পুরানো _ এসকিউআর _ অবশিষ্টাংশ আদর্শ = অবশিষ্টাংশ '* অবশিষ্টাংশ #রূপান্তর না হওয়া পর্যন্ত পুনরাবৃত্তি করুন যখন পুরানো _ এসকিউআর _ অবশিষ্টাংশ আদর্শ> টোল এ _ সার্চ _ দিকনির্দেশ = এ * অনুসন্ধান _ দিকনির্দেশ পদক্ষেপ _ আকার = পুরানো _ এসকিউআর _ অবশিষ্টাংশ আদর্শ 2/(অনুসন্ধান _ দিকনির্দেশ' * এ _ অনুসন্ধান _ দিকনির্দেশ) #আপডেট সমাধান @ x = x + ধাপ _ আকার * অনুসন্ধান _ দিকনির্দেশ #অবশিষ্টাংশ আপডেট করুন @। অবশিষ্টাংশ = অবশিষ্টাংশ-ধাপ _ আকার * A _ অনুসন্ধান _ দিক নতুন _ sqr _ অবশিষ্টাংশ _ আদর্শ = বিন্দু (অবশিষ্টাংশ, অবশিষ্টাংশ) #অনুসন্ধানের দিক ভেক্টর @আপডেট করুন। সার্চ _ ডাইরেকশন = রেসিডুয়াল + (নতুন _ এসকিউআর _ রেসিডুয়াল _ নর্ম/পুরানো _ এসকিউআর _ রেসিডুয়াল _ নর্ম) 2 * সার্চ _ ডাইরেকশন #পরবর্তী পুনরাবৃত্তির জন্য স্কোয়ার্ড রেসিডুয়াল নর্ম আপডেট করুন পুরানো _ এসকিউআর _ রেসিডুয়াল _ নর্ম = নতুন _ এসকিউআর _ রেসিডুয়াল _ নর্ম এন্ড রিটার্ন x এন্ড সংখ্যাসূচক উদাহরণ বিবেচনা করুন। সমাধান রেফারেন্সের জন্য, সঠিক সমাধান হল আমাদের প্রথম ধাপ হল x0-এর সাথে যুক্ত অবশিষ্ট ভেক্টর r0 গণনা করা। এই অবশিষ্টাংশটি r0 = b-Ax0 সূত্র থেকে গণনা করা হয় এবং আমাদের ক্ষেত্রে এটি সমান। যেহেতু এটি প্রথম পুনরাবৃত্তি, তাই আমরা অবশিষ্টাংশ ভেক্টর r0 কে আমাদের প্রাথমিক অনুসন্ধানের দিক p0 হিসাবে ব্যবহার করব; pk নির্বাচন করার পদ্ধতিটি পরবর্তী পুনরাবৃত্তিতে পরিবর্তিত হবে। আমরা এখন সম্পর্কটি ব্যবহার করে স্কেলার গণনা করি আমরা এখন সূত্রটি ব্যবহার করে x1 গণনা করতে পারি এই ফলাফলটি প্রথম পুনরাবৃত্তিটি সম্পূর্ণ করে, ফলাফলটি সিস্টেমের একটি "উন্নত" আনুমানিক সমাধান, x1। আমরা এখন এগিয়ে যেতে পারি এবং সূত্রটি ব্যবহার করে পরবর্তী অবশিষ্ট ভেক্টর r1 গণনা করতে পারি আমাদের প্রক্রিয়াটির পরবর্তী ধাপ হল স্কেলার গণনা করা যা শেষ পর্যন্ত পরবর্তী অনুসন্ধানের দিক p1 নির্ধারণ করতে ব্যবহৃত হবে। এখন, এই স্কেলারটি ব্যবহার করে, আমরা পরবর্তী অনুসন্ধানের দিক p1 গণনা করতে পারি সম্পর্কটি ব্যবহার করে আমরা এখন আমাদের নতুন অর্জিত p1 ব্যবহার করে স্কেলারটি একই পদ্ধতি ব্যবহার করে গণনা করি যা ব্যবহৃত হয়েছিল। অবশেষে, আমরা x1 খুঁজে বের করার জন্য ব্যবহৃত একই পদ্ধতি ব্যবহার করে x2 খুঁজে পাই। ফলাফল, x2, x1 এবং x0 এর তুলনায় সিস্টেমের সমাধানের একটি "ভাল" অনুমান। যদি এই উদাহরণে সীমিত-নির্ভুলতার পরিবর্তে সঠিক গাণিতিক ব্যবহার করা হত, তবে তাত্ত্বিকভাবে সঠিক সমাধানটি n = 2 পুনরাবৃত্তির পরে পৌঁছানো যেত (n হল সিস্টেমের ক্রম)। কনভার্জেন্স বৈশিষ্ট্য কনজুগেট গ্রেডিয়েন্ট পদ্ধতিকে তাত্ত্বিকভাবে একটি সরাসরি পদ্ধতি হিসাবে দেখা যেতে পারে, কারণ রাউন্ড-অফ ত্রুটির অনুপস্থিতিতে এটি সীমিত সংখ্যক পুনরাবৃত্তির পরে সঠিক সমাধান তৈরি করে, যা ম্যাট্রিক্সের আকারের চেয়ে বড় নয়। বাস্তবে, সঠিক সমাধান কখনই পাওয়া যায় না কারণ কনজুগেট গ্রেডিয়েন্ট পদ্ধতি এমনকি ছোট বিশৃঙ্খলার ক্ষেত্রেও অস্থির, উদাহরণস্বরূপ, ক্রিলোভ সাবস্পেস তৈরির অবক্ষয়মূলক প্রকৃতির কারণে বেশিরভাগ দিকগুলি বাস্তবে কনজুগেট হয় না। একটি পুনরাবৃত্তিমূলক পদ্ধতি হিসাবে, কনজুগেট গ্রেডিয়েন্ট পদ্ধতিটি একঘেয়েভাবে (শক্তির নিয়মে) সঠিক সমাধানের আনুমানিক উন্নতি করে এবং তুলনামূলকভাবে কম (সমস্যার আকারের তুলনায়) পুনরাবৃত্তির পরে প্রয়োজনীয় সহনশীলতায় পৌঁছতে পারে। উন্নতি সাধারণত রৈখিক হয় এবং এর গতি সিস্টেম ম্যাট্রিক্সের শর্ত সংখ্যা দ্বারা নির্ধারিত হয়ঃ যত বড় হবে, উন্নতি তত ধীর হবে। যদি বড় হয়, তবে পূর্বশর্ত সাধারণত মূল ব্যবস্থাটিকে এমনভাবে প্রতিস্থাপনের জন্য ব্যবহার করা হয় যা নীচে দেখুন। কনভারজেন্স উপপাদ্য বহুপদগুলির একটি উপসেটকে সংজ্ঞায়িত করুন যেখানে সর্বাধিক মাত্রার বহুপদগুলির সেট রয়েছে। সঠিক সমাধানের পুনরাবৃত্তিমূলক অনুমান করা যাক, এবং ত্রুটিগুলি হিসাবে সংজ্ঞায়িত করুন। এখন, অভিসারের হার আনুমানিক হিসাবে অনুমান করা যেতে পারে যেখানে বর্ণালী বোঝায়, এবং শর্ত সংখ্যা বোঝায়। লক্ষ্য করুন, এই সীমাটি জ্যাকোবি বা গাউস-সিডেলের পুনরাবৃত্তিমূলক পদ্ধতির তুলনায় দ্রুত অভিসারের হার দেখায় যা হিসাবে স্কেল করে। কনভারজেন্স উপপাদ্যতে কোনও রাউন্ড-অফ ত্রুটি অনুমান করা হয় না, তবে কনভারজেন্স বাউন্ড সাধারণত অনুশীলনে বৈধ যেমন তাত্ত্বিকভাবে অ্যান গ্রিনবাম দ্বারা ব্যাখ্যা করা হয়েছে। ব্যবহারিক অভিসরণ যদি এলোমেলোভাবে শুরু করা হয়, তবে পুনরাবৃত্তির প্রথম পর্যায়টি প্রায়শই দ্রুততম হয়, কারণ ক্রিলোভ সাবস্পেসের মধ্যে ত্রুটিটি নির্মূল করা হয় যা প্রাথমিকভাবে একটি ছোট কার্যকর শর্ত সংখ্যাকে প্রতিফলিত করে। অভিসারের দ্বিতীয় পর্যায়টি সাধারণত তাত্ত্বিক অভিসরণ দ্বারা ভালভাবে সংজ্ঞায়িত করা হয়, তবে ম্যাট্রিক্সের বর্ণালীর বিতরণ এবং ত্রুটির বর্ণালী বিতরণের উপর নির্ভর করে অতি-রৈখিক হতে পারে। শেষ পর্যায়ে, ক্ষুদ্রতম অর্জনযোগ্য নির্ভুলতায় পৌঁছানো যায় এবং কনভারজেন্স স্টল বা পদ্ধতিটি এমনকি বিচ্যুত হতে শুরু করতে পারে। বড় আকারের ম্যাট্রিক্সের জন্য ডাবল-প্রিসিশন ফ্লোটিং-পয়েন্ট ফর্ম্যাটে সাধারণ বৈজ্ঞানিক কম্পিউটিং অ্যাপ্লিকেশনগুলিতে, কনজুগেট গ্রেডিয়েন্ট পদ্ধতি একটি সহনশীলতার সাথে একটি স্টপিং মানদণ্ড ব্যবহার করে যা প্রথম বা দ্বিতীয় পর্যায়ে পুনরাবৃত্তিগুলি শেষ করে। পূর্বশর্তযুক্ত কনজুগেট গ্রেডিয়েন্ট পদ্ধতি বেশিরভাগ ক্ষেত্রে, কনজুগেট গ্রেডিয়েন্ট পদ্ধতির দ্রুত অভিসরণ নিশ্চিত করার জন্য পূর্বশর্ত প্রয়োজন। যদি প্রতিসম ধনাত্মক-নির্দিষ্ট হয় এবং এর চেয়ে ভাল শর্ত সংখ্যা থাকে, তবে একটি পূর্বশর্তযুক্ত কনজুগেট গ্রেডিয়েন্ট পদ্ধতি ব্যবহার করা যেতে পারে। এটি নিম্নলিখিত রূপ নেয়ঃ পুনরাবৃত্তি করুন যদি rk + 1 যথেষ্ট ছোট হয় তবে প্রস্থান লুপ শেষ হয় যদি শেষ পুনরাবৃত্তি হয় ফলাফলটি xk + 1 পূর্বশর্তযুক্ত সিস্টেমে নিয়মিত কনজুগেট গ্রেডিয়েন্ট পদ্ধতি প্রয়োগ করার সমতুল্য যেখানে সিস্টেমের প্রতিসাম্য (এবং ইতিবাচক নিশ্চিততা) বজায় রাখতে পূর্বশর্তের চোলস্কি পচন অবশ্যই ব্যবহার করতে হবে। যাইহোক, এই পচন গণনা করার প্রয়োজন নেই, এবং এটি জানার জন্য যথেষ্ট। এটি দেখানো যেতে পারে যে এর একই বর্ণালী রয়েছে। পূর্বশর্ত ম্যাট্রিক্স এম-কে প্রতিসম ধনাত্মক-নির্দিষ্ট এবং স্থির হতে হবে, অর্থাৎ, পুনরাবৃত্তি থেকে পুনরাবৃত্তিতে পরিবর্তিত হতে পারে না। যদি পূর্বশর্তের উপর এই অনুমানগুলির কোনওটি লঙ্ঘন করা হয়, তবে পূর্বশর্তযুক্ত কনজুগেট গ্রেডিয়েন্ট পদ্ধতির আচরণ অপ্রত্যাশিত হতে পারে। সাধারণভাবে ব্যবহৃত পূর্বশর্তের একটি উদাহরণ হল অসম্পূর্ণ চোল্স্কি ফ্যাক্টরাইজেশন। নমনীয় পূর্বশর্তযুক্ত কনজুগেট গ্রেডিয়েন্ট পদ্ধতি সংখ্যার দিক থেকে চ্যালেঞ্জিং প্রয়োগগুলিতে, পরিশীলিত পূর্বশর্ত ব্যবহার করা হয়, যা পরিবর্তনশীল পূর্বশর্তের দিকে নিয়ে যেতে পারে, পুনরাবৃত্তির মধ্যে পরিবর্তিত হতে পারে। এমনকি যদি পূর্বশর্তকারী প্রতিটি পুনরাবৃত্তিতে প্রতিসম ধনাত্মক-নির্দিষ্ট হয়, তবে এটি পরিবর্তিত হতে পারে এই বিষয়টি উপরের আর্গুমেন্টগুলিকে অবৈধ করে তোলে এবং ব্যবহারিক পরীক্ষায় উপরে উপস্থাপিত অ্যালগরিদমের অভিসারের উল্লেখযোগ্য ধীর গতির দিকে পরিচালিত করে। ফ্লেচার-রিভস সূত্রের পরিবর্তে পোলাক-রিবিয়ার সূত্র ব্যবহার করলে এই ক্ষেত্রে সংমিশ্রণ নাটকীয়ভাবে উন্নত হতে পারে। পূর্বশর্তযুক্ত কনজুগেট গ্রেডিয়েন্ট পদ্ধতির এই সংস্করণটিকে নমনীয় বলা যেতে পারে, কারণ এটি পরিবর্তনশীল পূর্বশর্তের অনুমতি দেয়। নমনীয় সংস্করণটিও শক্তিশালী হিসাবে দেখানো হয়েছে যদিও পূর্বশর্তটি প্রতিসম ধনাত্মক নির্দিষ্ট (এস. পি. ডি) নয়। নমনীয় সংস্করণ বাস্তবায়নের জন্য একটি অতিরিক্ত ভেক্টর সংরক্ষণ করা প্রয়োজন। একটি নির্দিষ্ট এস. পি. ডি পূর্বশর্তের জন্য, সুতরাং উভয় সূত্রই সঠিক গণিতে সমতুল্য, অর্থাৎ, রাউন্ড-অফ ত্রুটি ছাড়াই। পোলাক-রিবিয়ার সূত্রের সাথে পদ্ধতির আরও ভাল অভিসরণ আচরণের গাণিতিক ব্যাখ্যাটি হল যে এই ক্ষেত্রে পদ্ধতিটি স্থানীয়ভাবে সর্বোত্তম, বিশেষত, এটি স্থানীয়ভাবে সর্বোত্তম খাড়া অবতরণ পদ্ধতির চেয়ে ধীর গতিতে একত্রিত হয় না। বনাম স্থানীয়ভাবে সর্বোত্তম স্টিপেস্ট ডিসেন্ট পদ্ধতি মূল এবং পূর্বশর্তযুক্ত কনজুগেট গ্রেডিয়েন্ট উভয় পদ্ধতিতে লাইন অনুসন্ধান, স্টিপেস্ট ডিসেন্ট পদ্ধতি ব্যবহার করে এগুলিকে স্থানীয়ভাবে সর্বোত্তম করার জন্য কেবল সেট করতে হবে। এই প্রতিস্থাপনের সাথে, ভেক্টরগুলি সর্বদা ভেক্টরগুলির মতো একই থাকে, তাই ভেক্টরগুলি সংরক্ষণ করার কোনও প্রয়োজন নেই। সুতরাং, এই স্টিপেস্ট ডিসেন্ট পদ্ধতির প্রতিটি পুনরাবৃত্তি কনজুগেট গ্রেডিয়েন্ট পদ্ধতির তুলনায় কিছুটা সস্তা। যাইহোক, পরেরটি দ্রুত একত্রিত হয়, যদি না একটি (অত্যন্ত) পরিবর্তনশীল এবং/অথবা অ-এস. পি. ডি পূর্বশর্ত ব্যবহার করা হয়, উপরে দেখুন। ডবল ইন্টিগ্রেটারের জন্য সর্বোত্তম প্রতিক্রিয়া নিয়ামক হিসাবে কনজুগেট গ্রেডিয়েন্ট পদ্ধতি কনজুগেট গ্রেডিয়েন্ট পদ্ধতিটি সর্বোত্তম নিয়ন্ত্রণ তত্ত্ব ব্যবহার করেও উদ্ভূত করা যেতে পারে। এই পদ্ধতিতে, কনজুগেট গ্রেডিয়েন্ট পদ্ধতিটি ডাবল ইন্টিগ্রেটর সিস্টেমের জন্য একটি সর্বোত্তম প্রতিক্রিয়া নিয়ন্ত্রক হিসাবে পড়ে, পরিমাণ এবং পরিবর্তনশীল প্রতিক্রিয়া লাভ। স্বাভাবিক সমীকরণের উপর কনজুগেট গ্রেডিয়েন্ট কনজুগেট গ্রেডিয়েন্ট পদ্ধতিটি সাধারণ সমীকরণ এ. টি. এ এবং ডানদিকের ভেক্টর এ. টি. বি-তে প্রয়োগ করে একটি স্বেচ্ছাচারী এন-বাই-এম ম্যাট্রিক্সে প্রয়োগ করা যেতে পারে, যেহেতু এ. টি. এ যে কোনও এ-এর জন্য একটি প্রতিসম ধনাত্মক-সেমিডিফাইনাইট ম্যাট্রিক্স। ফলাফল হল স্বাভাবিক সমীকরণের (সি. জি. এন. আর) উপর কনজুগেট গ্রেডিয়েন্ট। এ. টি. এ. এক্স = এ. টি. বি একটি পুনরাবৃত্তিমূলক পদ্ধতি হিসাবে, স্মৃতিতে স্পষ্টভাবে এ. টি. এ গঠন করার প্রয়োজন নেই, তবে শুধুমাত্র ম্যাট্রিক্স-ভেক্টর সম্পাদন এবং ম্যাট্রিক্স-ভেক্টর গুণন স্থানান্তর করার জন্য। অতএব, সিজিএনআর বিশেষভাবে কার্যকর হয় যখন এ একটি বিরল ম্যাট্রিক্স হয় কারণ এই ক্রিয়াকলাপগুলি সাধারণত অত্যন্ত দক্ষ হয়। তবে স্বাভাবিক সমীকরণ গঠনের নেতিবাচক দিকটি হল শর্ত সংখ্যা κ (ATA) κ2 (A) এর সমান এবং তাই CGNR-এর অভিসারের হার ধীর হতে পারে এবং আনুমানিক সমাধানের গুণমান রাউন্ডঅফ ত্রুটির প্রতি সংবেদনশীল হতে পারে। একটি ভাল পূর্বশর্তকারী খুঁজে পাওয়া প্রায়শই সিজিএনআর পদ্ধতি ব্যবহারের একটি গুরুত্বপূর্ণ অংশ। বেশ কয়েকটি অ্যালগরিদম প্রস্তাব করা হয়েছে (যেমন, সিজিএলএস, এলএসকিউআর)। এলএসকিউআর অ্যালগরিদমের সর্বোত্তম সংখ্যাসূচক স্থায়িত্ব থাকে যখন এ-এর অবস্থা খারাপ হয়, অর্থাৎ, এ-এর একটি বড় শর্ত সংখ্যা থাকে। জটিল হার্মিশিয়ান ম্যাট্রিক্সের জন্য কনজুগেট গ্রেডিয়েন্ট পদ্ধতি একটি তুচ্ছ পরিবর্তনের সাথে কনজুগেট গ্রেডিয়েন্ট পদ্ধতি জটিল-মূল্যবান ম্যাট্রিক্স এ এবং ভেক্টর বি দেওয়া জটিল-মূল্যবান ভেক্টর x-এর জন্য রৈখিক সমীকরণের ব্যবস্থার সমাধানের জন্য প্রসারিত, যেখানে এ হল হার্মিশিয়ান (অর্থাৎ, এ '= এ) এবং ধনাত্মক-নির্দিষ্ট ম্যাট্রিক্স, এবং প্রতীক' কনজুগেট ট্রান্সপোজকে বোঝায়। তুচ্ছ পরিবর্তনটি কেবল সর্বত্র বাস্তব ট্রান্সপোজের জন্য কনজুগেট ট্রান্সপোজকে প্রতিস্থাপন করছে। আরও দেখুন বাইকনজুগেট গ্রেডিয়েন্ট পদ্ধতি (বিআইসিজি) কনজুগেট গ্রেডিয়েন্ট বর্গ পদ্ধতি (সিজিএস) কনজুগেট অবশিষ্ট পদ্ধতি গাউসিয়ান বিশ্বাস প্রচার পুনরাবৃত্তিমূলক পদ্ধতিঃ লিনিয়ার সিস্টেম ক্রিলোভ সাবস্পেস ননলাইনিয়ার কনজুগেট গ্রেডিয়েন্ট পদ্ধতি প্রি-কন্ডিশনিং স্পার্স ম্যাট্রিক্স-ভেক্টর গুণন রেফারেন্স আরও পড়া জেরার্ড মিউরান্টঃ "কনজুগেট গ্রেডিয়েন্ট অ্যালগরিদমে নীরব ত্রুটি সনাক্তকরণ এবং সংশোধন", সংখ্যাসূচক অ্যালগরিদম, vol.92 (2023), pp.869-891। ইউআরএল = https://doi.org/10.1007/s11075-022-01380-1 বাহ্যিক লিঙ্ক সংখ্যাসূচক রৈখিক বীজগণিত গ্রেডিয়েন্ট পদ্ধতি উদাহরণস্বরূপ ম্যাটল্যাব/অক্টেভ কোড সহ নিবন্ধ