মূল বিষয়বস্তুতে যান

ব্যবহারকারী গাইড

ইলম ব্যবহারকারী নির্দেশিকা পৃষ্ঠায় স্বাগতম! এখানে, আপনি ইলমের সম্পূর্ণ সম্ভাবনা কাজে লাগাতে সহায়তা করার জন্য ডিজাইন করা বিস্তৃত সংস্থানগুলি পাবেন।

📄️ Simple spark job

ইলামের একটি সাধারণ স্পার্ক কাজ স্পার্ক-সাবমিটের মাধ্যমে জমা দেওয়ার মতোই কাজ করে, তবে ব্যবহারের স্বাচ্ছন্দ্য, কনফিগারেশন এবং বাহ্যিক সরঞ্জামগুলির সাথে সংহতকরণের জন্য অতিরিক্ত বর্ধন সহ।

📄️ Interactive spark job

একটি ইন্টারেক্টিভ স্পার্ক কাজ স্পার্ক কাজগুলি সম্পাদন করার একটি গতিশীল এবং প্রতিক্রিয়াশীল উপায় যা লাইভ স্পার্ক সেশনের মধ্যে সরাসরি রিয়েল-টাইম ম্যানিপুলেশন এবং ডেটা অনুসন্ধানের অনুমতি দেয়। একটি ঐতিহ্যবাহী স্পার্ক কাজের বিপরীতে, যা সাধারণত ব্যাচ-ভিত্তিক এবং একক, পূর্বনির্ধারিত কর্মপ্রবাহ হিসাবে কার্যকর করা হয়, একটি ইন্টারেক্টিভ কাজ আরও নমনীয় এবং অনুসন্ধানমূলক পরিবেশ সরবরাহ করে।

📄️ Simple Spark Job via `spark-submit`

ইলামের একটি সাধারণ স্পার্ক কাজ স্ট্যান্ডার্ড স্পার্ক-সাবমিট কমান্ডের মাধ্যমে জমা দেওয়া একটির মতোই কাজ করে, তবে ব্যবহারের স্বাচ্ছন্দ্য, কনফিগারেশন এবং বাহ্যিক সরঞ্জামগুলির সাথে সংহতকরণের জন্য অতিরিক্ত বর্ধন সহ।

📄️ dbt-spark with ilum

এটি স্পার্ক কম্পিউটেশন ইঞ্জিন হিসাবে ইলাম প্ল্যাটফর্মটি ব্যবহার করে কুবারনেটস ক্লাস্টারে অ্যাপাচি স্পার্কের সাথে ডিবিটি-কোর সেট আপ করার জন্য একটি শিক্ষানবিস-বান্ধব গাইড। ডিফল্ট পদ্ধতিটি এসকিউএল ক্যোয়ারী এক্সিকিউশনের জন্য থ্রিফ্ট সার্ভার এবং মেটাডেটা পরিচালনার জন্য হাইভ মেটাস্টোর হিসাবে ইলাম এসকিউএল মডিউলটি ব্যবহার করে। অতিরিক্তভাবে, এই গাইডটিতে পদ্ধতির সাথে স্পার্ক কানেক্ট ব্যবহার করে একটি বিকল্প পদ্ধতি অন্তর্ভুক্ত রয়েছে: সেশন, যা থ্রিফ্ট সার্ভার ছাড়াই সরাসরি একটি স্পার্ক ক্লাস্টারের সাথে সংযোগ স্থাপন করে। গাইডটি ইলুম মোতায়েন, থ্রিফ্ট সার্ভার বা স্পার্ক কানেক্টের সাথে সংযোগ স্থাপন, ডিবিটি-স্পার্ক কনফিগার করা এবং ডেটা তৈরি ও পড়ার জন্য সাধারণ ডিবিটি মডেল চালানোর মাধ্যমে হাঁটে।

📄️ Setup spark cluster in air gapped (offline) environment

নীচে অফলাইন (এয়ার-গ্যাপড) পরিবেশে ইলাম ইনস্টল করার জন্য একটি ধাপে ধাপে গাইড রয়েছে। এই গাইডটি আপনার কুবারনেটস বিতরণের জন্য অজ্ঞেয়বাদী হওয়ার জন্য লেখা হয়েছে এবং ধারক চিত্রগুলি পরিচালনার জন্য উভয় পদ্ধতির কভার করে - কনটেইনারড (সিটিআর সরঞ্জাম সহ) বা ডকার ব্যবহার করে। নির্দেশাবলী অনুমান করে যে আপনার আছে: