Context mixing
প্রসঙ্গ মিশ্রণ হল এক ধরনের তথ্য সংকোচন অ্যালগরিদম যেখানে দুই বা ততোধিক পরিসংখ্যানগত মডেলের পরবর্তী-প্রতীক ভবিষ্যদ্বাণীগুলিকে একত্রিত করে একটি ভবিষ্যদ্বাণী করা হয় যা প্রায়শই যে কোনও পৃথক ভবিষ্যদ্বাণীর চেয়ে বেশি নির্ভুল হয়। উদাহরণস্বরূপ, একটি সহজ পদ্ধতি (অগত্যা সেরা নয়) হল প্রতিটি মডেল দ্বারা নির্ধারিত সম্ভাবনার গড় করা। এলোমেলো বন আরেকটি পদ্ধতিঃ এটি ভবিষ্যদ্বাণী আউটপুট করে যা পৃথক মডেল দ্বারা পূর্বাভাস আউটপুটের মোড। মডেলগুলির সংমিশ্রণ মেশিন লার্নিংয়ের গবেষণার একটি সক্রিয় ক্ষেত্র। ডেটা কম্প্রেশন প্রোগ্রামগুলির পিএকিউ সিরিজ ইনপুটের পৃথক বিটগুলিতে সম্ভাব্যতা নির্ধারণ করতে প্রসঙ্গ মিশ্রণ ব্যবহার করে। ডেটা সংকোচনের প্রয়োগ ধরুন যে আমাদের দুটি শর্তাধীন সম্ভাবনা দেওয়া হয়েছে, এবং আমরা অনুমান করতে চাই, উভয় শর্ত এবং শর্তের পরিপ্রেক্ষিতে ইভেন্ট এক্স-এর সম্ভাবনা। একটি ফলাফল দেওয়ার জন্য সম্ভাব্যতা তত্ত্বের জন্য অপর্যাপ্ত তথ্য রয়েছে। প্রকৃতপক্ষে, এমন পরিস্থিতি তৈরি করা সম্ভব যেখানে ফলাফল যে কোনও কিছুই হতে পারে। কিন্তু স্বজ্ঞাতভাবে, আমরা আশা করব যে ফলাফলটি দুটির মধ্যে কিছুটা গড় হবে। তথ্য সংকোচনের জন্য সমস্যাটি গুরুত্বপূর্ণ। এই অ্যাপ্লিকেশনটিতে, এবং প্রসঙ্গগুলি হল ঘটনা যে পরবর্তী বিট বা সংকুচিত করা তথ্যের প্রতীকটির একটি নির্দিষ্ট মান রয়েছে এবং দুটি স্বাধীন মডেল দ্বারা সম্ভাব্যতা অনুমান করা হয়। সংকোচন অনুপাত নির্ভর করে আনুমানিক সম্ভাব্যতা ঘটনার সত্য কিন্তু অজানা সম্ভাবনার কতটা কাছাকাছি পৌঁছায় তার উপর। প্রায়শই এমন হয় যে প্রসঙ্গ এবং ঘটনাগুলি প্রায়শই সঠিকভাবে অনুমান করার জন্য এবং প্রতিটি প্রসঙ্গে ঘটনাগুলি গণনা করার জন্য যথেষ্ট হয়েছে, তবে দুটি প্রসঙ্গ হয় ঘন ঘন একসাথে ঘটেনি, অথবা মিলিত মামলার জন্য পরিসংখ্যান সংগ্রহের জন্য অপর্যাপ্ত কম্পিউটিং সংস্থান (সময় এবং মেমরি) রয়েছে। উদাহরণস্বরূপ, ধরুন আমরা একটি টেক্সট ফাইল সংকুচিত করছি। আমরা ভবিষ্যদ্বাণী করতে চাই যে পরবর্তী অক্ষরটি একটি লাইনফিড হবে কিনা, যেহেতু পূর্ববর্তী অক্ষরটি একটি পিরিয়ড (প্রসঙ্গ) ছিল এবং শেষ লাইনফিডটি 72 অক্ষর আগে ঘটেছিল (প্রসঙ্গ)। ধরুন যে একটি লাইনফিড পূর্বে শেষ 5টি পিরিয়ডের () 1টির পরে এবং 72 () কলামে শেষ 10টি লাইনের মধ্যে 5টিতে ঘটেছে। এই ভবিষ্যদ্বাণীগুলিকে কীভাবে একত্রিত করা উচিত? দুটি সাধারণ পদ্ধতি ব্যবহার করা হয়েছে, রৈখিক এবং লজিস্টিক মিশ্রণ। রৈখিক মিশ্রণ প্রমাণ দ্বারা ওজন করা ভবিষ্যদ্বাণীগুলির একটি ওজনযুক্ত গড় ব্যবহার করে। এই উদাহরণে, বেশি সংখ্যক পরীক্ষার উপর ভিত্তি করে ওজন বেশি হয়। পিএকিউ-এর পুরনো সংস্করণগুলি এই পদ্ধতিটি ব্যবহার করে। নতুন সংস্করণগুলি গড়ের আগে পূর্বাভাসগুলিকে লজিস্টিক ডোমেনে, লগ (পি/(1-পি)) রূপান্তরিত করে লজিস্টিক (বা নিউরাল নেটওয়ার্ক) মিশ্রণ ব্যবহার করে। এই ক্ষেত্রে এটি কার্যকরভাবে 0 বা 1-এর কাছাকাছি ভবিষ্যদ্বাণীগুলিকে আরও বেশি গুরুত্ব দেয়। উভয় ক্ষেত্রেই, প্রতিটি ইনপুট মডেলকে অতিরিক্ত ওজন দেওয়া যেতে পারে এবং অতীতে সবচেয়ে সঠিক ভবিষ্যদ্বাণী দেওয়া মডেলগুলির পক্ষে অভিযোজিত হতে পারে। পিএকিউ-এর সমস্ত প্রাচীনতম সংস্করণগুলি অভিযোজিত ওজন ব্যবহার করে। বেশিরভাগ প্রসঙ্গ মিশ্রণকারী সংকোচকারী একবারে এক বিট ইনপুটের পূর্বাভাস দেয়। আউটপুট সম্ভাব্যতা হল কেবল সম্ভাবনা যে পরবর্তী বিটটি 1 হবে। রৈখিক মিশ্রণ আমাদের পূর্বাভাসের একটি সেট দেওয়া হয়েছে পাই (1) = এন1আই/এনআই, যেখানে এনআই = এন0আই + এন1আই, এবং এন0আই এবং এন1আই যথাক্রমে আই 'থ মডেলের জন্য 0 এবং 1 বিটের গণনা। সম্ভাব্যতা গণনা করা হয় 0 এবং 1 গণনার ওজনযুক্ত সংযোজন দ্বারাঃ S0 = σi wi n0i S1 = σi wi n1i S = S0 + S1 P (0) = S0/SP (1) = S1/S ওজনগুলি প্রাথমিকভাবে সমান এবং সর্বদা 1 এর যোগফল হয়। প্রাথমিক পরিস্থিতিতে, প্রতিটি মডেল প্রমাণের অনুপাতে ওজন করা হয়। ওজনগুলি তখন আরও সঠিক মডেলগুলির পক্ষে সামঞ্জস্য করা হয়। ধরুন আমাদের দেওয়া হয়েছে যে প্রকৃত বিটটি পূর্বাভাস দেওয়া হচ্ছে y (0 বা 1)। তারপর ওজন সমন্বয় হয়ঃ ni = n0i + n1i ত্রুটি = y-P (1) wi → wi + [(S n1i-S1 ni)/(S0 S1)] ত্রুটি সংকোচনকে ni বেঁধে উন্নত করা যেতে পারে যাতে মডেলের ওজন আরও ভাল ভারসাম্যপূর্ণ হয়। পি. এ. কিউ. 6-এ, যখনই একটি বিট গণনা বৃদ্ধি করা হয়, অন্য গণনার যে অংশটি 2 অতিক্রম করে তা অর্ধেক হয়ে যায়। উদাহরণস্বরূপ, 000000001 ক্রমের পরে, গণনাগুলি (n0, n1) = (8,0) থেকে (5,1) পর্যন্ত যাবে। লজিস্টিক মিক্সিং পাই (1) কে আই 'থ মডেলের ভবিষ্যদ্বাণী হতে দিন যে পরবর্তী বিটটি 1 হবে। তারপর চূড়ান্ত ভবিষ্যদ্বাণী পি (1) গণনা করা হয়ঃ xi = প্রসারিত (পাই (1)) পি (1) = স্কোয়াশ (σi wi xi) যেখানে পি (1) হল পরবর্তী বিটটি 1 হওয়ার সম্ভাবনা, পাই (1) হল i 'th মডেল দ্বারা আনুমানিক সম্ভাবনা, এবং প্রসারিত (x) = ln (x/(1-x)) স্কোয়াশ (x) = 1/(1 + e−x) (প্রসারিতের বিপরীত)। প্রতিটি পূর্বাভাসের পরে, কোডিং খরচ কমাতে ওজন সামঞ্জস্য করে মডেলটি আপডেট করা হয়। যেখানে η হল শেখার হার (সাধারণত 0.002 থেকে 0.01), y হল পূর্বাভাস বিট, এবং (y-P (1)) হল পূর্বাভাস ত্রুটি। প্রসঙ্গ মিশ্রণকারী সংকোচকারীগুলির তালিকা নীচের সমস্ত সংস্করণ লজিস্টিক মিশ্রণ ব্যবহার করে যদি না অন্যথায় নির্দেশিত হয়। সমস্ত পিএকিউ সংস্করণ (ম্যাট মাহোনি, সার্জ ওসনাচ, আলেকজান্ডার রতুশনিয়াক, প্রিজমিস্ল স্কিবিনস্কি, জ্যান ওন্ড্রাস এবং অন্যান্য)। PAQAR এবং PAQ7-এর আগের সংস্করণগুলি রৈখিক মিশ্রণ ব্যবহার করত। পরবর্তী সংস্করণগুলিতে লজিস্টিক মিশ্রণ ব্যবহার করা হয়। সমস্ত এল. পি. এ. কিউ সংস্করণ (ম্যাট মাহোনি, আলেকজান্ডার রতুশনিয়াক)। জেড. পি. এ. কিউ (ম্যাট মাহোনি)। সর্বাধিক সংকোচন পিডব্লিউসিএম মোডে উইনআরকে 3.0 (ম্যালকম টেলর)। সংস্করণ 3.0.2 রৈখিক মিশ্রণের উপর ভিত্তি করে তৈরি করা হয়েছিল। সর্বাধিক সংকোচন মোডে (বিকল্প-সিসি) ন্যানোজিপ (সামি রানসাস)। xwrt 3.2 (প্রিজমিস্লা স্কিবিন্সকি) সর্বাধিক সংকোচন মোডে (বিকল্প-i10 থেকে-i14) একটি অভিধান এনকোডারের পিছনের প্রান্ত হিসাবে। সি. এম. এম 1 থেকে সি. এম. এম 4, এম 1, এবং এম 1 এক্স 2 (ক্রিস্টোফার ম্যাটার্ন) উচ্চ গতির জন্য অল্প সংখ্যক প্রসঙ্গ ব্যবহার করে। এম1 এবং এম1এক্স2 একটি পৃথক অপ্টিমাইজেশান পাসে দুটি বিট মাস্কেড প্রসঙ্গ নির্বাচন করতে একটি জেনেটিক অ্যালগরিদম ব্যবহার করে। সিসিএম (ক্রিশ্চিয়ান মার্টলক)। বিট (ওসমান তুরান)। পিম্পল, পিম্পল2, টিসি এবং পিএক্স (ইলিয়া মুরাভিয়েভ)। এনসি (সার্জ ওসনাচ) পিপিএম এবং (রৈখিক) প্রসঙ্গ মিশ্রণের উপর ভিত্তি করে বেশ কয়েকটি পদ্ধতি চেষ্টা করে এবং সেরাটি বেছে নেয়। উচ্চ গতির জন্য নির্দিষ্ট ওজন গড় ব্যবহার করে fPAq2 (নানিয়া ফ্রান্সেসকো আন্তোনিও)। সেমিক্স (বায়রন নোল) অনেক মডেলের মিশ্রণ, এবং বর্তমানে লার্জ টেক্সট কম্প্রেশন বেঞ্চমার্কের পাশাপাশি সিলেসিয়া কর্পাস-এ প্রথম স্থানে রয়েছে এবং হাটার পুরস্কারের বিজয়ী প্রবেশকে অতিক্রম করেছে যদিও এটি অত্যধিক মেমরি ব্যবহারের কারণে যোগ্য নয়। রেফারেন্স তথ্য সংকোচন