Gated recurrent unit
গেটেড পুনরাবৃত্ত ইউনিট (জিআরইউ) হল পুনরাবৃত্ত নিউরাল নেটওয়ার্কের একটি গেটিং প্রক্রিয়া, যা 2014 সালে কিউঙ্গিয়ুন চো এট আল দ্বারা প্রবর্তিত হয়েছিল। জিআরইউ একটি দীর্ঘ স্বল্পমেয়াদী মেমরির (এলএসটিএম) মতো যা নির্দিষ্ট বৈশিষ্ট্যগুলি ইনপুট বা ভুলে যাওয়ার জন্য একটি গেটিং প্রক্রিয়া সহ, তবে একটি প্রসঙ্গ ভেক্টর বা আউটপুট গেটের অভাব রয়েছে, যার ফলে এলএসটিএম-এর তুলনায় কম পরামিতি রয়েছে। পলিফোনিক সঙ্গীত মডেলিং, স্পিচ সিগন্যাল মডেলিং এবং প্রাকৃতিক ভাষা প্রক্রিয়াকরণের কিছু কাজে জিআরইউ-এর পারফরম্যান্স এলএসটিএম-এর অনুরূপ বলে দেখা গেছে। জিআরইউ দেখিয়েছে যে গেটিং প্রকৃতপক্ষে সাধারণভাবে সহায়ক, এবং বেঞ্জিওর দল দুটি গেটিং ইউনিটের মধ্যে কোনটি ভাল সে সম্পর্কে কোনও সুনির্দিষ্ট সিদ্ধান্তে পৌঁছায়নি। স্থাপত্য পূর্ণ গেটেড ইউনিটে বেশ কয়েকটি বৈচিত্র্য রয়েছে, যার মধ্যে পূর্ববর্তী লুকানো অবস্থা এবং বিভিন্ন সংমিশ্রণে পক্ষপাত ব্যবহার করে গেটিং করা হয় এবং একটি সরলীকৃত রূপ যা ন্যূনতম গেটেড ইউনিট নামে পরিচিত। অপারেটর নিম্নলিখিতগুলিতে হাদামার্ড পণ্যকে নির্দেশ করে। সম্পূর্ণ গেটেড একক প্রাথমিকভাবে, আউটপুট ভেক্টর হল। পরিবর্তনশীলঃ ইনপুট ভেক্টরঃ আউটপুট ভেক্টরঃ প্রার্থী সক্রিয়করণ ভেক্টরঃ আপডেট গেট ভেক্টরঃ রিসেট গেট ভেক্টর, এবংঃ প্যারামিটার ম্যাট্রিক্স এবং ভেক্টর সক্রিয়করণ ফাংশনঃ মূলটি একটি লজিস্টিক ফাংশন। : মূলটি একটি হাইপারবোলিক স্পর্শক। বিকল্প সক্রিয়করণ ফাংশন সম্ভব, যদি তা হয়। বিকল্প ফর্মগুলি পরিবর্তন করে তৈরি করা যেতে পারে এবং টাইপ 1, প্রতিটি গেট শুধুমাত্র পূর্ববর্তী লুকানো অবস্থা এবং পক্ষপাতের উপর নির্ভর করে। টাইপ 2, প্রতিটি গেট শুধুমাত্র পূর্ববর্তী লুকানো অবস্থার উপর নির্ভর করে। টাইপ 3, প্রতিটি গেট শুধুমাত্র পক্ষপাত ব্যবহার করে গণনা করা হয়। ন্যূনতম গেটেড ইউনিট ন্যূনতম গেটেড ইউনিট (এমজিইউ) সম্পূর্ণ গেটেড ইউনিটের অনুরূপ, তবে আপডেট এবং রিসেট গেট ভেক্টর একটি ভুলে যাওয়া গেটে একত্রিত করা হয়। এটি আরও বোঝায় যে আউটপুট ভেক্টরের সমীকরণ অবশ্যই পরিবর্তন করতে হবেঃ পরিবর্তনশীলঃ ইনপুট ভেক্টরঃ আউটপুট ভেক্টরঃ প্রার্থী সক্রিয়করণ ভেক্টরঃ ভেক্টর ভুলে যান, এবংঃ প্যারামিটার ম্যাট্রিক্স এবং ভেক্টর লাইট গেটেড পুনরাবৃত্ত একক হালকা গেটেড পুনরাবৃত্ত একক (এল. আই. জি. আর. ইউ) সম্পূর্ণরূপে রিসেট গেটটি সরিয়ে দেয়, ট্যানহকে আর. ই. এল. ইউ সক্রিয়করণের সাথে প্রতিস্থাপন করে এবং ব্যাচ স্বাভাবিকীকরণ (বি. এন) প্রয়োগ করেঃ এল. আই. জি. আর. ইউ একটি বায়েসিয়ান দৃষ্টিকোণ থেকে অধ্যয়ন করা হয়েছে। এই বিশ্লেষণে হালকা বায়েসিয়ান পুনরাবৃত্ত একক (এল. আই. বি. আর. ইউ) নামে একটি বৈকল্পিক পাওয়া গেছে, যা বক্তৃতা শনাক্তকরণের কাজে এল. আই. জি. আর. ইউ-এর তুলনায় সামান্য উন্নতি দেখিয়েছে। তথ্যসূত্র কৃত্রিম স্নায়ুতন্ত্র