ডেটা ক্যাটালগ
ক্যাটালগগুলি অবিচ্ছিন্ন মেটাডেটা স্তর সরবরাহ করে যা স্পার্ককে সেশন এবং চাকরি জুড়ে টেবিলের সংজ্ঞাগুলি সঞ্চয়, পুনরুদ্ধার এবং সংগঠিত করতে দেয়। ইলাম হাইভ এবং নেসি উভয়কেই স্পার্ক ওয়ার্কলোড, ডেটা স্টোরেজ এবং সেশন ম্যানেজমেন্টের সাথে শক্তভাবে সংহত করে, নির্ভরযোগ্য এবং সহযোগী ডেটা ওয়ার্কফ্লো সক্ষম করে।
সমর্থিত ক্যাটালগ
হাইভ ক্যাটালগ (ডিফল্ট)
- মৌচাক ক্যাটালগ টেবিল মেটাডেটা অবিচ্ছিন্নভাবে সঞ্চয় করতে অ্যাপাচি হাইভ মেটাস্টোরকে ব্যবহার করে।
- এটা ডিফল্টরূপে সক্ষম করা হয়েছে ইলুমে এবং সমস্ত স্পার্ক এসকিউএল অপারেশনগুলির জন্য স্বয়ংক্রিয়ভাবে ব্যবহৃত।
- No additional setup is required—Ilum configures Hive Metastore and integrates it with Spark, storage, and the Table Explorer UI.
- ক্লাসিক ডেটা লেকহাউস দৃশ্যের জন্য আদর্শ যেখানে মেটাডেটা স্থায়িত্ব, স্কিমা আবিষ্কার এবং ট্রিনো, হাইভ বা সুপারসেটের মতো সরঞ্জামগুলির সাথে সামঞ্জস্যতা সমালোচনামূলক।
নেসি ক্যাটালগ (ঐচ্ছিক)
- নেসি ক্যাটালগ একীভূত করে প্রজেক্ট নেসি , সক্ষম করা হচ্ছে গিট-মত সংস্করণ নিয়ন্ত্রণ আপনার ডাটা লেকের জন্য।
- এটি আপনাকে অনুমতি দেয় শাখা , ট্যাগ এবং মার্জ আপনার ডেটা ক্যাটালগে পরিবর্তন, আপনার টেবিলগুলিতে সহযোগী এবং শ্রবণযোগ্য ওয়ার্কফ্লো আনা।
- নেসি হলেন ঐচ্ছিক ইলুমে এবং অতিরিক্ত সেটআপ প্রয়োজন। একবার কনফিগার হয়ে গেলে, এটি অ্যাপাচি আইসবার্গের মাধ্যমে স্পার্কের সাথে সংহত হয়।
- সংস্করণযুক্ত বিশ্লেষণ, ডেটা পরীক্ষা, সিআই / সিডি পাইপলাইন এবং সম্পূর্ণ ক্যাটালগ-স্তরের রোলব্যাক বা বিচ্ছিন্ন পরিবেশের প্রয়োজন এমন দৃশ্যের জন্য সবচেয়ে উপযুক্ত।
বৈশিষ্ট্য তুলনা
| বৈশিষ্ট্য / দৃষ্টিভঙ্গি | হাইভ ক্যাটালগ (ডিফল্ট) | নেসি ক্যাটালগ (ঐচ্ছিক) |
|---|---|---|
| অধ্যবসায় | Yes – table metadata stored in Hive Metastore | Yes – versioned metadata via Nessie service |
| সংস্করণ নিয়ন্ত্রণ | না | Yes – supports branches, tags, merges |
| মাল্টি-টেবিল লেনদেন | না | Yes – atomic changes across multiple tables |
| ডিফল্টরূপে সক্ষম করা হয়েছে | হ্যাঁ | না (ঐচ্ছিক, ম্যানুয়ালি কনফিগার করা আবশ্যক) |
| ফরম্যাট সমর্থন | পারকুয়েট, ওআরসি, ডেল্টা, আইসবার্গ (বাহ্যিক ক্যাটালগের মাধ্যমে) | হিমশৈল |
| নিরীক্ষণযোগ্যতা | ম্যানুয়াল (বাহ্যিক লগিং প্রয়োজনীয়) | অন্তর্নির্মিত প্রতিশ্রুতিবদ্ধ ইতিহাস এবং মেটাডেটা ট্র্যাকিং |
| এর জন্য সেরা | স্থিতিশীল স্কিমা, এসকিউএল বিশ্লেষণ, ঐতিহ্যগত ডেটা লেকহাউস | পরীক্ষামূলক শাখা, শাসন, ডেটা প্রচার কর্মপ্রবাহ |
| সুসঙ্গতি | স্পার্ক, হাইভ, ট্রিনো, সুপারসেট ইত্যাদি দ্বারা ব্যাপকভাবে সমর্থিত। | স্পার্ক, ফ্লিঙ্ক, ট্রিনোতে সমর্থিত |
| ইলুমে ইন্টিগ্রেশন | সম্পূর্ণ স্বয়ংক্রিয়, কনফিগার করা আউট-অফ-দ্য-বক্স | বাহ্যিক নেসি পরিষেবা এবং স্পার্ক কনফিগারেশন প্রয়োজন |
ক্যাটালগ নির্বাচন গাইড
| কেস ব্যবহার করুন | মৌচাক ক্যাটালগ | নেসি ক্যাটালগ |
|---|---|---|
| দীর্ঘমেয়াদী টেবিল স্টোরেজ | ✅ | ✅ |
| গিট-এর মতো শাখা/ডেটার ট্যাগিং | ✅ | |
| মাল্টি-টেবিল লেনদেনের পাইপলাইন | ✅ | |
| ঐতিহ্যগত এসকিউএল বিশ্লেষণ + বিআই | ✅ | |
| Development → Staging → Prod workflows | ✅ | |
| নিরীক্ষণযোগ্যতা এবং রোলব্যাক | ✅ | |
| ট্রিনো / সুপারসেটের সাথে সহজ সামঞ্জস্য | ✅ | (পরোক্ষ) |
ইলামে ক্যাটালগগুলি কীভাবে কাজ করে
- মৌচাক ক্যাটালগ ইলাম কোরে সরাসরি সংহত করা হয়। এটি একটি প্রাক-মোতায়েন করা হাইভ মেটাস্টোরের সাথে আসে এবং ডিফল্ট ইলাম স্টোরেজের সাথে সংযুক্ত (যেমন, মিনিও বা এস 3)।
- নেসি ক্যাটালগ ব্যবহারকারী-কনফিগার করা হয়। আইসবার্গ ক্যাটালগ বৈশিষ্ট্যগুলি ব্যবহার করে এটির সাথে সংযোগ করতে আপনাকে অবশ্যই একটি নেসি পরিষেবা স্থাপন করতে হবে এবং আপনার স্পার্ক সেশনগুলি কনফিগার করতে হবে।
- ইলামের টেবিল এক্সপ্লোরার স্বয়ংক্রিয়ভাবে হাইভ টেবিলগুলি তালিকাভুক্ত করে। নেসি-ট্র্যাকড টেবিলগুলি স্পার্ক জবগুলিতে যথাযথ ক্যাটালগ কনফিগারেশনের সাথেও দৃশ্যমান করা যেতে পারে।
নেসির মতো ঐচ্ছিক উপাদান স্থাপন এবং সক্ষম করার বিষয়ে বিস্তারিত জানার জন্য, দেখুন:
👉 ইলাম স্থাপনার গাইড