Data mesh
ডেটা মেশ হল একটি সামাজিক-প্রযুক্তিগত পদ্ধতি যা একটি ডোমেন-ভিত্তিক, স্ব-পরিষেবা নকশা (একটি সফ্টওয়্যার বিকাশের পরিপ্রেক্ষিতে) ব্যবহার করে একটি বিকেন্দ্রীভূত ডেটা আর্কিটেকচার তৈরি করার জন্য, এবং এরিক ইভান্সের ডোমেন-চালিত নকশার তত্ত্ব এবং ম্যানুয়েল পাইস এবং ম্যাথিউ স্কেলটনের টিম টপোলজির তত্ত্ব ধার করে। তথ্য জাল মূলত তথ্যের সাথে সম্পর্কিত, যা তথ্য হ্রদ এবং পাইপলাইনগুলিকে একটি গৌণ উদ্বেগ হিসাবে গ্রহণ করে। মূল প্রস্তাবটি হল ক্ষেত্র-ভিত্তিক বিকেন্দ্রীকরণের মাধ্যমে বিশ্লেষণাত্মক তথ্যের স্কেলিং। ডেটা মেশের সাথে, বিশ্লেষণাত্মক ডেটার দায়িত্ব কেন্দ্রীয় ডেটা টিম থেকে ডোমেন টিমগুলিতে স্থানান্তরিত হয়, যা একটি ডেটা প্ল্যাটফর্ম টিম দ্বারা সমর্থিত যা একটি ডোমেন-অ্যাগনস্টিক ডেটা প্ল্যাটফর্ম সরবরাহ করে। ডেটা মেশ শব্দটি প্রথম সংজ্ঞায়িত করেছিলেন ঝামক দেহঘানি 2019 সালে যখন তিনি প্রযুক্তি সংস্থা থটওয়ার্কসে প্রধান পরামর্শদাতা হিসাবে কাজ করছিলেন। দেহঘানি 2019 সালে এই শব্দটি প্রবর্তন করেন এবং তারপর 2020 সাল জুড়ে এর নীতি এবং যৌক্তিক স্থাপত্য সম্পর্কে আরও বিশদ বিবরণ প্রদান করেন। এই প্রক্রিয়াটি 2022 সালে কোম্পানিগুলির জন্য একটি "বড় প্রতিযোগী" হবে বলে পূর্বাভাস দেওয়া হয়েছিল। জালান্ডো, নেটফ্লিক্স, ইনটুইট, ভিস্তাপ্রিংট, পেপ্যাল এবং অন্যান্য সংস্থাগুলি ডেটা মেশ প্রয়োগ করেছে। 2022 সালে, দেহঘানি বিকেন্দ্রীভূত ডেটাতে মনোনিবেশ করার জন্য নেক্সটডাটা টেকনোলজিস প্রতিষ্ঠার জন্য থটওয়ার্কস ছেড়ে দেন। নীতিমালা ডেটা জাল চারটি মূল নীতির উপর ভিত্তি করেঃ একটি পণ্য হিসাবে ডোমেন মালিকানা ডেটা '' স্ব-পরিষেবা ডেটা প্ল্যাটফর্ম ফেডারেটেড গণনামূলক শাসন এই নীতিগুলির পাশাপাশি, দেহঘানি লিখেছেন যে প্রতিটি ডোমেন দলের দ্বারা তৈরি ডেটা পণ্যগুলি আবিষ্কারযোগ্য, ঠিকানাযুক্ত, বিশ্বাসযোগ্য, স্ব-বর্ণনাকারী শব্দার্থবিদ্যা এবং বাক্যবিন্যাসের অধিকারী, আন্তঃব্যবহারযোগ্য, সুরক্ষিত এবং বৈশ্বিক মান এবং অ্যাক্সেস নিয়ন্ত্রণ দ্বারা পরিচালিত হওয়া উচিত। অন্য কথায়, তথ্যকে এমন একটি পণ্য হিসাবে বিবেচনা করা উচিত যা ব্যবহারের জন্য প্রস্তুত এবং নির্ভরযোগ্য। বাস্তবে ডেটা জাল 2019 সালে এর প্রবর্তনের পর একাধিক সংস্থা একটি ডেটা জাল বাস্তবায়ন করতে এবং তাদের অভিজ্ঞতা ভাগ করে নিতে শুরু করে। অনুশীলনকারীদের জন্য চ্যালেঞ্জ (সি) এবং সেরা অনুশীলন (বিপি) এর মধ্যে রয়েছেঃ সি1। ফেডারেটেড ডেটা গভর্নেন্স কোম্পানিগুলি পূর্বে কেন্দ্রীয় মালিকানাধীন এবং প্রয়োগ করা ক্রিয়াকলাপ এবং প্রক্রিয়াগুলির জন্য একটি ফেডারেটেড গভর্নেন্স কাঠামো গ্রহণ করতে অসুবিধার কথা জানায়। এটি নিরাপত্তা, গোপনীয়তা এবং নিয়ন্ত্রণমূলক বিষয়গুলির ক্ষেত্রে বিশেষভাবে সত্য। সি2। দায়িত্ব পরিবর্তন ডেটা মেশে ডোমেনগুলির মধ্যে ব্যক্তিরা ডেটা পণ্যগুলির জন্য শেষ থেকে শেষ পর্যন্ত দায়বদ্ধ। এই নতুন দায়িত্ব চ্যালেঞ্জিং হতে পারে, কারণ এটি খুব কমই ক্ষতিপূরণ দেওয়া হয় এবং সাধারণত অন্যান্য ক্ষেত্রে উপকৃত হয়। সি3। বোধগম্যতা গবেষণা একটি ডেটা জাল প্রয়োগকারী সংস্থাগুলির কর্মচারীদের মধ্যে ডেটা জাল দৃষ্টান্তের জন্য বোঝার গুরুতর অভাব দেখিয়েছে। বিপি1। ক্রস-ডোমেইন ইউনিট সি1-কে সম্বোধন করে, সংস্থাগুলির কৌশলগত পরিকল্পনা, ব্যবহারের ক্ষেত্রে অগ্রাধিকার এবং নির্দিষ্ট প্রশাসনের নিয়ম প্রয়োগের জন্য দায়ী একটি ক্রস-ডোমেইন স্টিয়ারিং ইউনিট চালু করা উচিত-বিশেষত সুরক্ষা, নিয়ন্ত্রক এবং গোপনীয়তা সম্পর্কিত বিষয় সম্পর্কিত। তা সত্ত্বেও, একটি ক্রস-ডোমেইন স্টিয়ারিং ইউনিট শুধুমাত্র যুক্তরাষ্ট্রীয় শাসন কাঠামোর পরিপূরক এবং সমর্থন করতে পারে এবং ডেটা জালের ক্রমবর্ধমান পরিপক্কতার সাথে অপ্রচলিত হতে পারে। বিপি2। সি2-কে সম্বোধন করে, সংস্থাগুলির ডেটা পণ্যের গুণমান পর্যবেক্ষণ এবং স্কোর করা উচিত কারণ মূল ডেটা পণ্যগুলি ট্র্যাকিং এবং র্যাঙ্কিং উচ্চ-মানের অফারগুলিকে উত্সাহিত করতে পারে, ডোমেন মালিকদের অনুপ্রাণিত করতে পারে এবং বাজেট আলোচনাকে সমর্থন করতে পারে। বিপি3। সচেতনভাবে গ্রহণকারী সংস্থাগুলির উচিত তাদের বিদ্যমান ডেটা সিস্টেমগুলি পুঙ্খানুপুঙ্খভাবে মূল্যায়ন ও মূল্যায়ন করা, সাংগঠনিক কারণগুলি বিবেচনা করা এবং ডেটা জাল বাস্তবায়নের আগে সম্ভাব্য সুবিধাগুলি মূল্যায়ন করা। ডেটা জাল প্রবর্তন করার সময়, ধারণাটি (সি3) সম্পর্কে একটি স্পষ্ট ধারণা নিশ্চিত করার জন্য সাবধানে এবং সচেতনভাবে ডেটা জাল পরিভাষা প্রবর্তন করার পরামর্শ দেওয়া হয়। কমিউনিটি স্কট হারলেম্যান একটি ডেটা মেশ কমিউনিটি শুরু করেছে যেখানে তাদের স্ল্যাক চ্যানেলে 7,500 জনেরও বেশি লোক রয়েছে। আরও দেখুন ডেটা ম্যানেজমেন্ট প্ল্যাটফর্ম ডেটা ভল্ট মডেলিং, বিভিন্ন অপারেশনাল সিস্টেম থেকে ডেটা সংরক্ষণের সাথে ডেটা মডেলিংয়ের পদ্ধতি এবং ডেটা উত্সের সন্ধান, অডিটিং, লোডিং গতি এবং স্থিতিস্থাপকতা ডেটা গুদামের সুবিধার্থে, একটি থিম্যাটিক উপায়ে ডেটা সংগঠিত করার জন্য একটি সুপ্রতিষ্ঠিত ধরণের ডাটাবেস সিস্টেম ETL এবং ELT রেফারেন্স ডেটাবেস