Higher-order singular value decomposition
বহু-রৈখিক বীজগণিতে, একটি টেনসরের উচ্চ-ক্রমের একক মান পচন (এইচ. ও. এস. ভি. ডি) হল একটি নির্দিষ্ট অর্থোগোনাল টাকার পচন। এটিকে ম্যাট্রিক্স সিঙ্গুলার ভ্যালু ডিকম্পোসিশনের এক ধরনের সাধারণীকরণ হিসাবে বিবেচনা করা যেতে পারে। কম্পিউটার ভিশন, কম্পিউটার গ্রাফিক্স, মেশিন লার্নিং, সায়েন্টিফিক কম্পিউটিং এবং সিগন্যাল প্রসেসিংয়ে এর প্রয়োগ রয়েছে। কিছু দিক 1928 সালে এফ. এল. হিচকক পর্যন্ত খুঁজে পাওয়া যায়, তবে এটি এল. আর. টাকার ছিলেন যিনি 1960-এর দশকে তৃতীয়-ক্রমের টেনসরের জন্য সাধারণ টাকার পচন তৈরি করেছিলেন, এল. ডি লাথাউয়ার এট আল দ্বারা আরও সমর্থন করেছিলেন। তাদের মাল্টিলিনিয়ার এস. ভি. ডি কাজে যা শক্তি পদ্ধতি ব্যবহার করে, বা ভাসিলেস্কু এবং টেরজোপোলোস দ্বারা সমর্থিত যা এম-মোড এস. ভি. ডি একটি সমান্তরাল অ্যালগরিদম তৈরি করে যা ম্যাট্রিক্স এস. ভি. ডি নিয়োগ করে। হায়ার অর্ডার সিঙ্গুলার ভ্যালু ডিকম্পোজিশন (এইচ. ও. এস. ভি. ডি) শব্দটি তৈরি করা হয়েছিল ডিলাথাউয়ার হিসাবে, তবে সাহিত্যে সাধারণত এইচ. ও. এস. ভি. ডি হিসাবে উল্লেখ করা অ্যালগরিদমটি এবং টাকার বা ডিলাথাউয়ারের জন্য দায়ী যা ভাসিলেস্কু এবং টেরজোপোলোস দ্বারা তৈরি করা হয়েছিল। এইচ. ও. এস. ভি. ডি-র শক্তিশালী এবং এল1-আদর্শ-ভিত্তিক রূপগুলিও প্রস্তাব করা হয়েছে। সংজ্ঞা এই নিবন্ধের উদ্দেশ্যে, বিমূর্ত টেনসরটি এম-ওয়ে অ্যারে হিসাবে কিছু ভিত্তির সাপেক্ষে স্থানাঙ্কে দেওয়া হয়েছে বলে ধরে নেওয়া হয়, যা দ্বারাও চিহ্নিত করা হয়, যেখানে এম হল মোডের সংখ্যা এবং টেনসরের ক্রম। এটি জটিল সংখ্যা এবং এতে বাস্তব সংখ্যা এবং বিশুদ্ধ কাল্পনিক সংখ্যা উভয়ই রয়েছে। ধরা যাক একটি একক ম্যাট্রিক্স যা স্ট্যান্ডার্ড মোডের বাম একক ভেক্টরের একটি ভিত্তি ধারণ করে-m এর সমতলকরণ যাতে এর jth কলামটি এর jth বৃহত্তম একক মানের সাথে মিলে যায়। লক্ষ্য করুন যে মোড/ফ্যাক্টর ম্যাট্রিক্স মোড এম সমতলকরণের নির্দিষ্ট সংজ্ঞার উপর নির্ভর করে না। মাল্টিলিনিয়ার গুণনের বৈশিষ্ট্য দ্বারা, আমাদের আছে যেখানে কনজুগেট ট্রান্সপোজকে বোঝায়। দ্বিতীয় সমতা হল কারণ 'গুলি হল একক ম্যাট্রিক্স। তারপর, এর এইচ. ও. এস. ভি. ডি হল পচন উপরের গঠনটি দেখায় যে প্রতিটি টেনসরের একটি এইচ. ও. এস. ভি. ডি রয়েছে। কমপ্যাক্ট এইচ. ও. এস. ভি. ডি একটি ম্যাট্রিক্সের কমপ্যাক্ট সিঙ্গুলার মান পচনের ক্ষেত্রে, একটি কমপ্যাক্ট এইচ. ও. এস. ভি. ডি বিবেচনা করাও সম্ভব, যা প্রয়োগগুলিতে খুব কার্যকর। ধরে নিন যে এটি একটি একক কলাম সহ একটি ম্যাট্রিক্স যা বাম একক ভেক্টরগুলির একটি ভিত্তি ধারণ করে যা স্ট্যান্ডার্ড ফ্যাক্টর-এম এর সমতলকরণের অ-শূন্য একক মানের সাথে সম্পর্কিত। এর কলামগুলি এমনভাবে সাজানো যাক যাতে এর তম কলামটি এর বৃহত্তম অ-শূন্য একক মানের সাথে মিলে যায়। যেহেতু কলামগুলি এর চিত্রের জন্য একটি ভিত্তি গঠন করে, তাই আমাদের যেখানে প্রথম সমতা অর্থোগোনাল অনুমানের বৈশিষ্ট্যগুলির কারণে হয় (হার্মিশিয়ান অভ্যন্তরীণ উৎপাদনে) এবং শেষ সমতা বহুরেখীয গুণের বৈশিষ্ট্যগুলির কারণে হয়। যেহেতু সমতলকরণগুলি বাইজেক্টিভ মানচিত্র এবং উপরের সূত্রটি সকলের জন্য বৈধ, তাই আমরা আগের মতো দেখতে পাই যেখানে মূল টেনসরটি এখন আকারের। মাল্টিলিনিয়ার র্যাঙ্ক এর মাল্টিলিনিয়ার র্যাঙ্ককে র্যাঙ্ক-দিয়ে চিহ্নিত করা হয়। মাল্টিলিনিয়ার র্যাঙ্ক হল যেখানে একটি টুপল। সমস্ত টুপল বহু-রৈখিক র্যাঙ্ক নয়। মাল্টিলিনিয়ার র্যাঙ্কগুলি দ্বারা আবদ্ধ এবং এটি ধরে রাখতে হবে এমন সীমাবদ্ধতা পূরণ করে। কম্প্যাক্ট এইচ. ও. এস. ভি. ডি একটি র্যাঙ্ক-প্রকাশকারী বিকৃতি এই অর্থে যে এর মূল টেনসরের মাত্রা টেনসরের বহু-রৈখিক র্যাঙ্কের উপাদানগুলির সাথে মিলে যায়। নিম্নলিখিত জ্যামিতিক ব্যাখ্যাটি সম্পূর্ণ এবং সংক্ষিপ্ত এইচ. ও. এস. ভি. ডি উভয়ের জন্যই বৈধ। ধরা যাক টেনসরের মাল্টিলিনিয়ার র্যাঙ্ক। যেহেতু এটি একটি বহুমাত্রিক অ্যারে, তাই আমরা এটিকে অনুসরণ হিসাবে প্রসারিত করতে পারি যেখানে এর দশম স্ট্যান্ডার্ড বেসিস ভেক্টর। বহুমাত্রিক গুণনের সংজ্ঞা অনুসারে, এটি ধরে রাখে যে যেখানে এর কলামগুলি রয়েছে। এটি যাচাই করা সহজ যে এটি টেনসরের একটি অর্থোনর্মাল সেট। এর মানে হল যে এইচ. ও. এস. ভি. ডি-কে বহুমাত্রিক অ্যারে হিসাবে প্রদত্ত সহগগুলির সাথে একটি বিশেষভাবে নির্বাচিত অর্থোনর্মাল ভিত্তির সাপেক্ষে টেনসরকে প্রকাশ করার একটি উপায় হিসাবে ব্যাখ্যা করা যেতে পারে। গণনা ধরা যাক একটি র্যাঙ্ক-সহ একটি টেনসর, যেখানে একটি উপসেট হিসাবে রিয়েল রয়েছে। ক্লাসিক গণনা মাল্টিলিনিয়ার এস. ভি. ডি এবং এম-মোড এস. ভি. ডি গণনার কৌশলটি 1960-এর দশকে এল. আর. টাকার দ্বারা চালু করা হয়েছিল, এল. ডি লাথাউয়ার এবং অন্যান্যরা এবং ভাসিলেস্কু এবং টারজোপুলাস দ্বারা আরও সমর্থন করেছিলেন। এইচ. ও. এস. ভি. ডি শব্দটি লিভেন ডি লাথাউয়ার তৈরি করেছিলেন, তবে সাধারণত সাহিত্যে এইচ. ও. এস. ভি. ডি হিসাবে উল্লেখ করা অ্যালগরিদমটি ভাসিলেস্কু এবং টেরজোপোলোস এম-মোড এস. ভি. ডি নামে চালু করেছিলেন। এটি একটি সমান্তরাল গণনা যা ম্যাট্রিক্স এস. ভি. ডি-কে অর্থোনর্মাল মোড ম্যাট্রিক্স গণনা করতে নিযুক্ত করে। এম-মোড এসভিডিঃ এর জন্য, নিম্নলিখিতগুলি করুনঃ মোড-এম সমতলকরণ তৈরি করুন; (কম্প্যাক্ট) একক মান পচন গণনা করুন, এবং বাম একক ভেক্টরগুলি সংরক্ষণ করুন; মাল্টিলিনিয়ার গুণন ইন্টারলেসিং গণনার মাধ্যমে মূল টেনসরটি গণনা করুন একটি কৌশল যা উল্লেখযোগ্যভাবে দ্রুত হয় যখন কিছু বা সমস্ত কোর টেনসর এবং ফ্যাক্টর ম্যাট্রিক্সের গণনার আন্তঃবিন্যাস নিয়ে গঠিত হয়, নিম্নরূপঃ সেট করুন; নিম্নলিখিতগুলি সম্পাদন করার জন্যঃ স্ট্যান্ডার্ড মোড-সমতলকরণ তৈরি করুন; (কম্প্যাক্ট) একক মান পচন গণনা করুন, এবং বাম একক ভেক্টরগুলি সঞ্চয় করুন; সেট করুন, বা, সমতুল্যভাবে,। ইন-প্লেস গণনা এইচ. ও. এস. ভি. ডি মূল টেনসরকে এইচ. ও. এস. ভি. ডি কোর টেনসর দ্বারা ওভাররাইট করে ফিউজড ইন-প্লেস সিকোয়েন্সিয়ালি ট্রাঙ্কেটেড হায়ার অর্ডার সিঙ্গুলার ভ্যালু ডিকম্পোজিশন (এফ. আই. এস. টি-এইচ. ও. এস. ভি. ডি) অ্যালগরিদমের মাধ্যমে ইন-প্লেস গণনা করা যেতে পারে, যা এইচ. ও. এস. ভি. ডি কম্পিউটিংয়ের মেমরি খরচকে উল্লেখযোগ্যভাবে হ্রাস করে। অ্যাপ্লিকেশনগুলিতে, যেমন নীচে উল্লিখিত অ্যাপ্লিকেশনগুলিতে, একটি সাধারণ সমস্যা একটি প্রদত্ত টেনসরকে একটি হ্রাসকৃত বহু-রৈখিক র্যাঙ্কের সাথে আনুমানিক করে তোলে। আনুষ্ঠানিকভাবে, যদি এর মাল্টিলিনিয়ার র্যাঙ্ক দ্বারা চিহ্নিত করা হয়, তবে প্রদত্ত হ্রাসের জন্য আনুমানিক সর্বোত্তম গণনা করা একটি অরৈখিক অ-উত্তল-অপ্টিমাইজেশন সমস্যা যেখানে হ্রাসকৃত মাল্টিলিনিয়ার র্যাঙ্ক সহ, এবং আদর্শ হল ফ্রোবেনিয়াস আদর্শ। এই অপ্টিমাইজেশান সমস্যা সমাধানের চেষ্টা করার জন্য একটি সহজ ধারণা হল ক্লাসিক বা ইন্টারলেসড গণনার দ্বিতীয় ধাপে (কম্প্যাক্ট) এসভিডি-কে ছাঁটাই করা। একটি ধ্রুপদীভাবে কাটা এইচ. ও. এস. ভি. ডি পাওয়া যায় ধ্রুপদী গণনার ধাপ 2 প্রতিস্থাপন করে একটি র্যাঙ্ক-কাটা এস. ভি. ডি গণনা করে, এবং উপরের বাম একক ভেক্টরগুলি সংরক্ষণ করে; অন্যদিকে একটি ক্রমানুসারে কাটা এইচ. ও. এস. ভি. ডি (বা ক্রমানুসারে কাটা এইচ. ও. এস. ভি. ডি) ইন্টারলেস গণনার ধাপ 2 প্রতিস্থাপন করে একটি র্যাঙ্ক-কাটা এস. ভি. ডি গণনা করে এবং উপরের বাম একক ভেক্টরগুলি সংরক্ষণ করে। দুর্ভাগ্যবশত, ছাঁটাইয়ের ফলে সেরা নিম্ন মাল্টিলিনিয়ার র্যাঙ্ক অপ্টিমাইজেশান সমস্যার জন্য একটি সর্বোত্তম সমাধান হয় না। যাইহোক, ক্লাসিক্যালি এবং ইন্টারলিভেড কাটা এইচ. ও. এস. ভি. ডি উভয়ই একটি আধা-সর্বোত্তম সমাধানের ফলাফল দেয়ঃ যদি ক্লাসিক্যালি বা ক্রমানুসারে কাটা এইচ. ও. এস. ভি. ডি নির্দেশ করে এবং সেরা নিম্ন মাল্টিলিনিয়ার র্যাঙ্ক আনুমানিক সমস্যার সর্বোত্তম সমাধান নির্দেশ করে, তবে অনুশীলনে এর অর্থ হল যে যদি একটি ছোট ত্রুটির সাথে একটি সর্বোত্তম সমাধান বিদ্যমান থাকে, তবে একটি কাটা এইচ. ও. এস. ভি. ডি অনেক উদ্দেশ্যেও যথেষ্ট ভাল সমাধান দেবে। অ্যাপ্লিকেশন এইচ. ও. এস. ভি. ডি সাধারণত মাল্টি-ওয়ে অ্যারে থেকে প্রাসঙ্গিক তথ্য উত্তোলনে প্রয়োগ করা হয়। 2000-এর দশকের গোড়ার দিকে, ভাসিলেস্কু তথ্য বিশ্লেষণ, স্বীকৃতি এবং সংশ্লেষণ সমস্যাগুলিকে বহু-রৈখিক টেনসর সমস্যা হিসাবে পুনর্বিন্যাস করে কার্যকারণগত প্রশ্নগুলিকে সম্বোধন করেছিলেন। চলাফেরা শনাক্তকরণ, মুখ শনাক্তকরণ-টেনসরফেস এবং কম্পিউটার গ্রাফিক্স-টেনসর টেক্সচারের জন্য হিউম্যান মোশন সিগনেচারের প্রসঙ্গে, তথ্য গঠনের কারণগত কারণগুলির পরিপ্রেক্ষিতে একটি চিত্রকে পচিয়ে এবং প্রতিনিধিত্ব করে টেনসর কাঠামোর শক্তি প্রদর্শিত হয়েছিল। এইচ. ও. এস. ভি. ডি সফলভাবে সংকেত প্রক্রিয়াকরণ এবং বড় তথ্যের ক্ষেত্রে প্রয়োগ করা হয়েছে, যেমন, জিনোমিক সংকেত প্রক্রিয়াকরণে। এই অ্যাপ্লিকেশনগুলি একটি উচ্চ-ক্রমের জিএসভিডি (এইচও জিএসভিডি) এবং একটি টেনসর জিএসভিডিকেও অনুপ্রাণিত করেছিল। এইচ. ও. এস. ভি. ডি এবং এস. ভি. ডি-র সংমিশ্রণ রোগ নজরদারিতে জটিল ডেটা স্ট্রিম (স্থান এবং সময়ের মাত্রা সহ মাল্টিভ্যারিয়েট ডেটা) থেকে রিয়েল-টাইম ইভেন্ট সনাক্তকরণের জন্যও প্রয়োগ করা হয়েছে। এটি টেনসর পণ্য মডেল রূপান্তর-ভিত্তিক নিয়ামক নকশাতেও ব্যবহৃত হয়। এইচ. ও. এস. ভি. ডি-র ধারণাটি টিপি মডেল রূপান্তরের মাধ্যমে বারানাই এবং ইয়াম দ্বারা ক্রিয়াকলাপে নিয়ে যাওয়া হয়েছিল। এই সম্প্রসারণ এইচ. ও. এস. ভি. ডি-ভিত্তিক টেনসর প্রোডাক্ট ফাংশন এবং লিনিয়ার প্যারামিটার ভেরাইং সিস্টেম মডেলের ক্যানোনিকাল ফর্মের সংজ্ঞার দিকে পরিচালিত করে এবং উত্তল হুল ম্যানিপুলেশন ভিত্তিক নিয়ন্ত্রণ অপ্টিমাইজেশন তত্ত্বের দিকে পরিচালিত করে, নিয়ন্ত্রণ তত্ত্বগুলিতে টিপি মডেল রূপান্তর দেখুন। এইচ. ও. এস. ভি. ডি-কে মাল্টি-ভিউ ডেটা বিশ্লেষণে প্রয়োগ করার প্রস্তাব দেওয়া হয়েছিল এবং জিন এক্সপ্রেশন থেকে সিলিকো ড্রাগ আবিষ্কারের ক্ষেত্রে সফলভাবে প্রয়োগ করা হয়েছিল। শক্তিশালী এল1-আদর্শ বৈকল্পিক এল1-টাকার হল এল1-আদর্শ-ভিত্তিক, টাকার পচনের শক্তিশালী বৈকল্পিক। এল-1-এইচ. ও. এস. ভি. ডি হল এল-1-টাকার সমাধানের জন্য এইচ. ও. এস. ভি. ডি-র অনুরূপ। তথ্যসূত্র বহুরেখীয বীজগণিত টেনসর