Full-text search
পাঠ্য পুনরুদ্ধারে, পূর্ণ-পাঠ্য অনুসন্ধান একটি একক কম্পিউটার-সংরক্ষিত নথি বা একটি পূর্ণ-পাঠ্য ডাটাবেসে একটি সংগ্রহ অনুসন্ধানের কৌশলকে বোঝায়। পূর্ণ-পাঠ্য অনুসন্ধান মেটাডেটা বা ডাটাবেসে উপস্থাপিত মূল পাঠ্যের অংশগুলির (যেমন শিরোনাম, বিমূর্ত, নির্বাচিত বিভাগ বা গ্রন্থপঞ্জিগত রেফারেন্স) উপর ভিত্তি করে অনুসন্ধান থেকে আলাদা করা হয়। একটি পূর্ণ-পাঠ্য অনুসন্ধানে, একটি সার্চ ইঞ্জিন প্রতিটি সংরক্ষিত নথির সমস্ত শব্দ পরীক্ষা করে কারণ এটি অনুসন্ধানের মানদণ্ডের (উদাহরণস্বরূপ, কোনও ব্যবহারকারীর দ্বারা নির্দিষ্ট পাঠ্য) সাথে মেলে ধরার চেষ্টা করে। পূর্ণ-পাঠ্য-অনুসন্ধান কৌশলগুলি 1960-এর দশকে আবির্ভূত হয়েছিল, উদাহরণস্বরূপ 1969 সাল থেকে আইবিএম স্টেয়ার্স, এবং 1990-এর দশকে অনলাইন গ্রন্থপঞ্জিগত ডাটাবেসে প্রচলিত হয়ে ওঠে। অনেক ওয়েবসাইট এবং অ্যাপ্লিকেশন প্রোগ্রাম (যেমন ওয়ার্ড প্রসেসিং সফ্টওয়্যার) পূর্ণ-পাঠ্য-অনুসন্ধান ক্ষমতা প্রদান করে। কিছু ওয়েব সার্চ ইঞ্জিন, যেমন প্রাক্তন আল্টাভিস্তা, পূর্ণ-পাঠ্য-অনুসন্ধান কৌশল ব্যবহার করে, অন্যরা তাদের সূচীকরণ ব্যবস্থা দ্বারা পরীক্ষিত ওয়েব পৃষ্ঠাগুলির শুধুমাত্র একটি অংশকে সূচীভুক্ত করে। সূচীকরণ অল্প সংখ্যক নথির সাথে কাজ করার সময়, পূর্ণ-পাঠ্য-অনুসন্ধান ইঞ্জিনের পক্ষে প্রতিটি প্রশ্নের সাথে নথির বিষয়বস্তু সরাসরি স্ক্যান করা সম্ভব, একটি কৌশল যা "সিরিয়াল স্ক্যানিং" নামে পরিচিত। কিছু সরঞ্জাম, যেমন গ্রেপ, অনুসন্ধান করার সময় এটিই করে। যাইহোক, যখন অনুসন্ধান করার জন্য নথির সংখ্যা সম্ভাব্যভাবে বেশি হয়, বা সম্পাদন করার জন্য অনুসন্ধান প্রশ্নের পরিমাণ যথেষ্ট হয়, তখন পূর্ণ-পাঠ্য অনুসন্ধানের সমস্যাটি প্রায়শই দুটি কাজে বিভক্ত হয়ঃ সূচীকরণ এবং অনুসন্ধান। সূচীকরণ পর্যায়টি সমস্ত নথির পাঠ্য স্ক্যান করবে এবং অনুসন্ধান পদগুলির একটি তালিকা তৈরি করবে (প্রায়শই একটি সূচী বলা হয়, তবে আরও সঠিকভাবে একটি সমন্বয় নামকরণ করা হয়)। অনুসন্ধানের পর্যায়ে, একটি নির্দিষ্ট প্রশ্ন করার সময়, মূল নথির পাঠ্যের পরিবর্তে শুধুমাত্র সূচকটি উল্লেখ করা হয়। সূচীকার একটি নথিতে পাওয়া প্রতিটি শব্দ বা শব্দের জন্য সূচকে একটি এন্ট্রি করবেন এবং সম্ভবত নথির মধ্যে তার আপেক্ষিক অবস্থানটি নোট করবেন। সাধারণত সূচকটি স্টপ শব্দগুলি (যেমন "দ্য" এবং "এবং") উপেক্ষা করবে যা অনুসন্ধানে কার্যকর হওয়ার জন্য সাধারণ এবং অপর্যাপ্ত অর্থবহ উভয়ই। কিছু সূচক সূচীভুক্ত শব্দের উপর ভাষা-নির্দিষ্ট স্টেমিংও ব্যবহার করে। উদাহরণস্বরূপ, "ড্রাইভ", "ড্রাইভ" এবং "চালিত" শব্দগুলি একক ধারণা শব্দ "ড্রাইভ"-এর অধীনে সূচকে রেকর্ড করা হবে। প্রিসিশন বনাম রিকল ট্রেডঅফ রিকল একটি অনুসন্ধানের মাধ্যমে ফিরে আসা প্রাসঙ্গিক ফলাফলের পরিমাণ পরিমাপ করে, অন্যদিকে প্রিসিশন হল ফিরে আসা ফলাফলের মানের পরিমাপ। রিকল হল সমস্ত প্রাসঙ্গিক ফলাফলের সাথে প্রাসঙ্গিক ফলাফলের অনুপাত। নির্ভুলতা হল প্রাসঙ্গিক ফলাফলের সংখ্যা এবং মোট ফলাফলের অনুপাত। ডানদিকের চিত্রটি একটি কম-নির্ভুল, কম-রিকল অনুসন্ধানের প্রতিনিধিত্ব করে। রেখাচিত্রে লাল এবং সবুজ বিন্দুগুলি একটি প্রদত্ত অনুসন্ধানের জন্য সম্ভাব্য অনুসন্ধান ফলাফলের মোট জনসংখ্যার প্রতিনিধিত্ব করে। লাল বিন্দু অপ্রাসঙ্গিক ফলাফলের প্রতিনিধিত্ব করে এবং সবুজ বিন্দু প্রাসঙ্গিক ফলাফলের প্রতিনিধিত্ব করে। অভ্যন্তরীণ বৃত্তের কেন্দ্রে অনুসন্ধান ফলাফলের নৈকট্য দ্বারা প্রাসঙ্গিকতা নির্দেশ করা হয়। দেখানো সমস্ত সম্ভাব্য ফলাফলের মধ্যে, যেগুলি প্রকৃতপক্ষে অনুসন্ধানের মাধ্যমে ফেরত দেওয়া হয়েছিল সেগুলি হালকা-নীল পটভূমিতে দেখানো হয়েছে। উদাহরণস্বরূপ, 3টি সম্ভাব্য প্রাসঙ্গিক ফলাফলের মধ্যে শুধুমাত্র 1টি প্রাসঙ্গিক ফলাফল ফেরত দেওয়া হয়েছিল, তাই প্রত্যাহারের অনুপাত 1/3 বা 33 শতাংশের খুব কম। উদাহরণের জন্য নির্ভুলতা খুব কম 1/4, বা 25 শতাংশ, যেহেতু 4টি ফলাফলের মধ্যে মাত্র 1টি প্রাসঙ্গিক ছিল। প্রাকৃতিক ভাষার অস্পষ্টতার কারণে, পূর্ণ-পাঠ্য-অনুসন্ধান ব্যবস্থায় সাধারণত নির্ভুলতা বাড়ানোর জন্য স্টপ ওয়ার্ড এবং স্মৃতিশক্তি বাড়ানোর জন্য স্টেমিংয়ের মতো বিকল্পগুলি অন্তর্ভুক্ত থাকে। নিয়ন্ত্রিত-শব্দভাণ্ডার অনুসন্ধান নথিগুলিকে এমনভাবে ট্যাগ করে কম-নির্ভুলতার সমস্যাগুলি দূর করতে সহায়তা করে যাতে অস্পষ্টতা দূর হয়। নির্ভুলতা এবং প্রত্যাহারের মধ্যে সমঝোতা সহজঃ নির্ভুলতার বৃদ্ধি সামগ্রিক প্রত্যাহারকে হ্রাস করতে পারে, অন্যদিকে প্রত্যাহারের বৃদ্ধি নির্ভুলতাকে হ্রাস করে। মিথ্যা-ইতিবাচক সমস্যা পূর্ণ-পাঠ্য অনুসন্ধান সম্ভবত এমন অনেক নথি পুনরুদ্ধার করতে পারে যা কাঙ্ক্ষিত অনুসন্ধান প্রশ্নের সাথে প্রাসঙ্গিক নয়। এই ধরনের নথিগুলিকে ফলস পজিটিভ বলা হয় (প্রথম প্রকারের ত্রুটি দেখুন)। অপ্রাসঙ্গিক নথির পুনরুদ্ধার প্রায়শই প্রাকৃতিক ভাষার অন্তর্নিহিত অস্পষ্টতার কারণে হয়। ডানদিকে নমুনা রেখাচিত্রে, মিথ্যা ধনাত্মকগুলি অপ্রাসঙ্গিক ফলাফল (লাল বিন্দু) দ্বারা প্রতিনিধিত্ব করা হয় যা অনুসন্ধানের মাধ্যমে ফিরে আসে (একটি হালকা-নীল পটভূমিতে)। বায়েসিয়ান অ্যালগরিদমের উপর ভিত্তি করে ক্লাস্টারিং কৌশলগুলি মিথ্যা ইতিবাচকতা হ্রাস করতে সহায়তা করতে পারে। "ব্যাঙ্ক"-এর একটি অনুসন্ধান শব্দের জন্য, ক্লাস্টারিং নথি/ডেটা মহাবিশ্বকে "আর্থিক প্রতিষ্ঠান", "বসার জায়গা", "সঞ্চয় করার জায়গা" ইত্যাদিতে শ্রেণীবদ্ধ করতে ব্যবহার করা যেতে পারে। বিভাগগুলির সাথে প্রাসঙ্গিক শব্দের উপস্থিতির উপর নির্ভর করে, অনুসন্ধান শব্দ বা অনুসন্ধানের ফলাফল এক বা একাধিক বিভাগে স্থাপন করা যেতে পারে। এই কৌশলটি ই-আবিষ্কারের ক্ষেত্রে ব্যাপকভাবে প্রয়োগ করা হচ্ছে। কর্মক্ষমতার উন্নতি সম্পূর্ণ পাঠ্য অনুসন্ধানের ঘাটতিগুলি দুটি উপায়ে সমাধান করা হয়েছেঃ ব্যবহারকারীদের এমন সরঞ্জাম সরবরাহ করে যা তাদের অনুসন্ধানের প্রশ্নগুলি আরও সুনির্দিষ্টভাবে প্রকাশ করতে সক্ষম করে এবং নতুন অনুসন্ধান অ্যালগরিদম তৈরি করে যা পুনরুদ্ধারের নির্ভুলতার উন্নতি করে। উন্নত অনুসন্ধান সরঞ্জাম কীওয়ার্ডস। নথি নির্মাতাদের (বা প্রশিক্ষিত সূচক) এই বিষয়টিকে বর্ণনা করে এমন শব্দের সমার্থক শব্দ সহ পাঠ্যের বিষয়টিকে বর্ণনা করে এমন শব্দের একটি তালিকা সরবরাহ করতে বলা হয়। কীওয়ার্ডগুলি স্মরণকে উন্নত করে, বিশেষত যদি কীওয়ার্ড তালিকায় এমন একটি অনুসন্ধান শব্দ থাকে যা নথির পাঠ্যে থাকে না। ক্ষেত্র-সীমাবদ্ধ অনুসন্ধান। কিছু সার্চ ইঞ্জিন ব্যবহারকারীদের "শিরোনাম" বা "লেখক"-এর মতো সংরক্ষিত ডেটা রেকর্ডের মধ্যে একটি নির্দিষ্ট ক্ষেত্রে সম্পূর্ণ পাঠ্য অনুসন্ধান সীমাবদ্ধ করতে সক্ষম করে। । বুলিয়ান অপারেটর ব্যবহার করে এমন অনুসন্ধানগুলি (উদাহরণস্বরূপ,) একটি সম্পূর্ণ পাঠ্য অনুসন্ধানের নির্ভুলতা নাটকীয়ভাবে বাড়িয়ে তুলতে পারে। অপারেটর কার্যত বলে, "কোনও নথি পুনরুদ্ধার করবেন না যদি না এতে এই দুটি শর্ত থাকে"। অপারেটর কার্যত বলে, "এই শব্দটি রয়েছে এমন কোনও নথি পুনরুদ্ধার করবেন না"। যদি পুনরুদ্ধার তালিকা খুব কম নথি পুনরুদ্ধার করে, তবে অপারেটরকে প্রত্যাহার বাড়ানোর জন্য ব্যবহার করা যেতে পারে; উদাহরণস্বরূপ, বিবেচনা করুন। এই অনুসন্ধানটি অনলাইন বিশ্বকোষ সম্পর্কে নথিগুলি পুনরুদ্ধার করবে যা "অনলাইন" এর পরিবর্তে "ইন্টারনেট" শব্দটি ব্যবহার করে। নির্ভুলতার এই বৃদ্ধি খুব সাধারণভাবে বিপরীত-উত্পাদনশীল কারণ এটি সাধারণত স্মরণের নাটকীয় ক্ষতির সাথে আসে। বাক্যাংশ অনুসন্ধান। একটি বাক্যাংশ অনুসন্ধান শুধুমাত্র সেই নথিগুলির সাথে মেলে যা একটি নির্দিষ্ট বাক্যাংশ ধারণ করে, যেমন ধারণা অনুসন্ধান। একটি অনুসন্ধান যা বহু-শব্দের ধারণার উপর ভিত্তি করে, উদাহরণস্বরূপ যৌগিক শব্দ প্রক্রিয়াকরণ। এই ধরনের অনুসন্ধান অনেক ই-আবিষ্কার সমাধানে জনপ্রিয় হয়ে উঠছে। সংযোগ অনুসন্ধান। একটি সঙ্গতিপূর্ণ অনুসন্ধান একটি পাঠ্যের সমস্ত প্রধান শব্দের একটি বর্ণানুক্রমিক তালিকা তৈরি করে যা তাদের তাৎক্ষণিক প্রসঙ্গের সাথে ঘটে। নিকটবর্তী অনুসন্ধান। একটি বাক্যাংশ অনুসন্ধান শুধুমাত্র সেই নথিগুলির সাথে মেলে যেখানে দুই বা ততোধিক শব্দ থাকে যা নির্দিষ্ট সংখ্যক শব্দের দ্বারা পৃথক করা হয়; একটি অনুসন্ধান কেবল সেই নথিগুলি পুনরুদ্ধার করবে যেখানে শব্দগুলি একে অপরের দুটি শব্দের মধ্যে ঘটে। নিয়মিত অভিব্যক্তি। একটি নিয়মিত অভিব্যক্তি একটি জটিল কিন্তু শক্তিশালী অনুসন্ধানের বাক্যবিন্যাস নিয়োগ করে যা নির্ভুলতার সাথে পুনরুদ্ধারের শর্তগুলি নির্দিষ্ট করতে ব্যবহার করা যেতে পারে। অস্পষ্ট অনুসন্ধান এমন নথির জন্য অনুসন্ধান করবে যা প্রদত্ত পদগুলির সাথে মেলে এবং তাদের চারপাশে কিছু বৈচিত্র্য (উদাহরণস্বরূপ একাধিক বৈচিত্র্যের সীমা নির্ধারণের জন্য সম্পাদনা দূরত্ব ব্যবহার করে) ওয়াইল্ডকার্ড অনুসন্ধান। একটি অনুসন্ধান যা একটি ওয়াইল্ডকার্ড অক্ষরের জন্য অনুসন্ধান অনুসন্ধানে এক বা একাধিক অক্ষর প্রতিস্থাপন করে যেমন একটি তারকাচিহ্ন। উদাহরণস্বরূপ, একটি অনুসন্ধান অনুসন্ধানে তারকাচিহ্ন ব্যবহার করলে "sin", "son", "সূর্য" ইত্যাদি পাওয়া যাবে। একটি লেখায়। উন্নত অনুসন্ধান অ্যালগরিদম গুগল দ্বারা বিকশিত পেজর্যাঙ্ক অ্যালগরিদম অন্যান্য ওয়েব পৃষ্ঠাগুলির সাথে সংযুক্ত নথিগুলিকে আরও প্রাধান্য দেয়। অতিরিক্ত উদাহরণের জন্য সার্চ ইঞ্জিন দেখুন। নিম্নলিখিত সফ্টওয়্যারটি উপলব্ধ সফ্টওয়্যার পণ্যগুলির একটি আংশিক তালিকা যার প্রধান উদ্দেশ্য হল পূর্ণ-পাঠ্য সূচীকরণ এবং অনুসন্ধান করা। এর মধ্যে কয়েকটি তাদের অপারেশন তত্ত্ব বা অভ্যন্তরীণ অ্যালগরিদমের বিশদ বিবরণের সাথে রয়েছে, যা কীভাবে পূর্ণ-পাঠ্য অনুসন্ধান সম্পন্ন করা যেতে পারে সে সম্পর্কে অতিরিক্ত অন্তর্দৃষ্টি প্রদান করতে পারে। ফ্রি এবং ওপেন সোর্স সফ্টওয়্যার অ্যাপাচি লুসিন অ্যাপাচি সোলার আরঙ্গোসার্চ বেসএক্স কিনোসার্চ লেমুর/ইন্দ্রি মনোগোসার্চ ওপেনসার্চ পোস্টগ্রেএসকিউএল সার্চডাইমন স্ফিংক্স সুইশ-ই টেরিয়ার আইআর প্ল্যাটফর্ম জ্যাপিয়ান প্রোপ্রাইটারি সফ্টওয়্যার অ্যালগোলিয়া অটোনমি কর্পোরেশন অ্যাজুরে সার্চ বার ইলান রেসপন্স প্রজেক্ট বেসিস ডাটাবেস ব্রেইনওয়্যার বিআরএস/সার্চ কনসেপ্ট সার্চিং লিমিটেড ডিজেলপয়েন্ট ডিটিসার্চ ইলাস্টিক্স সার্চ এন্ডেকা এক্সালেড ফাস্ট সার্চ অ্যান্ড ট্রান্সফার ইঙ্কটোমি লুসিড ইমাজিনেশন মার্কলজিক এসএপি হানা সুইফটি থান্ডারস্টোন সফ্টওয়্যার এলএলসি। ভেস্পা ভিভিসিমো রেফারেন্স আরও দেখুন প্যাটার্ন ম্যাচিং এবং স্ট্রিং ম্যাচিং কম্পাউন্ড টার্ম প্রসেসিং এন্টারপ্রাইজ সার্চ ইনফরমেশন এক্সট্রাকশন তথ্য পুনরুদ্ধার ফেসটেড সার্চ ওয়েবক্রলার, প্রথম এফটিএস ইঞ্জিন সার্চ ইঞ্জিন ইনডেক্সিং-কীভাবে সার্চ ইঞ্জিনগুলি পূর্ণ-পাঠ্য অনুসন্ধানকে সমর্থন করার জন্য সূচক তৈরি করে পাঠ্য সম্পাদক বৈশিষ্ট্যগুলি তথ্য পুনরুদ্ধারের ঘরানার