📄️ Simple spark job
ইলামের একটি সাধারণ স্পার্ক কাজ স্পার্ক-সাবমিটের মাধ্যমে জমা দেওয়ার মতোই কাজ করে, তবে ব্যবহারের স্বাচ্ছন্দ্য, কনফিগারেশন এবং বাহ্যিক সরঞ্জামগুলির সাথে সংহতকরণের জন্য অতিরিক্ত বর্ধন সহ।
📄️ Interactive spark job
একটি ইন্টারেক্টিভ স্পার্ক কাজ স্পার্ক কাজগুলি সম্পাদন করার একটি গতিশীল এবং প্রতিক্রিয়াশীল উপায় যা লাইভ স্পার্ক সেশনের মধ্যে সরাসরি রিয়েল-টাইম ম্যানিপুলেশন এবং ডেটা অনুসন্ধানের অনুমতি দেয়। একটি ঐতিহ্যবাহী স্পার্ক কাজের বিপরীতে, যা সাধারণত ব্যাচ-ভিত্তিক এবং একক, পূর্বনির্ধারিত কর্মপ্রবাহ হিসাবে কার্যকর করা হয়, একটি ইন্টারেক্টিভ কাজ আরও নমনীয় এবং অনুসন্ধানমূলক পরিবেশ সরবরাহ করে।
📄️ Interactive code group
ইলামের ইন্টারেক্টিভ কোড গ্রুপ রিয়েল-টাইম ডেটা এক্সপ্লোরেশন এবং বিশ্লেষণের জন্য একটি শক্তিশালী এবং গতিশীল পরিবেশ সরবরাহ করে।
📄️ Simple Spark Job via `spark-submit`
ইলামের একটি সাধারণ স্পার্ক কাজ স্ট্যান্ডার্ড স্পার্ক-সাবমিট কমান্ডের মাধ্যমে জমা দেওয়া একটির মতোই কাজ করে, তবে ব্যবহারের স্বাচ্ছন্দ্য, কনফিগারেশন এবং বাহ্যিক সরঞ্জামগুলির সাথে সংহতকরণের জন্য অতিরিক্ত বর্ধন সহ।
📄️ Create local cluster
স্থানীয় ক্লাস্টার কীভাবে তৈরি করবেন সে সম্পর্কে সহজ গাইড
📄️ Add Kubernetes cluster to Ilum
ভূমিকা
📄️ Create a storage
ইলাম আপনাকে আপনার ক্লাস্টারগুলিতে জিসিএস, এস 3, ডাব্লুএএসডিবি এবং এইচডিএফএস স্টোরেজ লিঙ্ক করতে দেয়। এই জাতীয় লিঙ্কটি ইলুমকে স্বয়ংক্রিয়ভাবে আপনার সমস্ত কাজ কনফিগার করতে দেয়
📄️ Spark Jobs in Different Namespaces
This guide explains how to configure Ilum to run Spark jobs in namespaces different from the default application deployment namespace. By default, Ilum creates a default cluster that runs jobs within the same namespace as the Ilum deployment, but you can modify Helm values to enable job execution in arbitrary namespaces.
📄️ dbt-spark with ilum
এটি স্পার্ক কম্পিউটেশন ইঞ্জিন হিসাবে ইলাম প্ল্যাটফর্মটি ব্যবহার করে কুবারনেটস ক্লাস্টারে অ্যাপাচি স্পার্কের সাথে ডিবিটি-কোর সেট আপ করার জন্য একটি শিক্ষানবিস-বান্ধব গাইড। ডিফল্ট পদ্ধতিটি এসকিউএল ক্যোয়ারী এক্সিকিউশনের জন্য থ্রিফ্ট সার্ভার এবং মেটাডেটা পরিচালনার জন্য হাইভ মেটাস্টোর হিসাবে ইলাম এসকিউএল মডিউলটি ব্যবহার করে। অতিরিক্তভাবে, এই গাইডটিতে পদ্ধতির সাথে স্পার্ক কানেক্ট ব্যবহার করে একটি বিকল্প পদ্ধতি অন্তর্ভুক্ত রয়েছে: সেশন, যা থ্রিফ্ট সার্ভার ছাড়াই সরাসরি একটি স্পার্ক ক্লাস্টারের সাথে সংযোগ স্থাপন করে। গাইডটি ইলুম মোতায়েন, থ্রিফ্ট সার্ভার বা স্পার্ক কানেক্টের সাথে সংযোগ স্থাপন, ডিবিটি-স্পার্ক কনফিগার করা এবং ডেটা তৈরি ও পড়ার জন্য সাধারণ ডিবিটি মডেল চালানোর মাধ্যমে হাঁটে।
📄️ Setup spark cluster in air gapped (offline) environment
নীচে অফলাইন (এয়ার-গ্যাপড) পরিবেশে ইলাম ইনস্টল করার জন্য একটি ধাপে ধাপে গাইড রয়েছে। এই গাইডটি আপনার কুবারনেটস বিতরণের জন্য অজ্ঞেয়বাদী হওয়ার জন্য লেখা হয়েছে এবং ধারক চিত্রগুলি পরিচালনার জন্য উভয় পদ্ধতির কভার করে - কনটেইনারড (সিটিআর সরঞ্জাম সহ) বা ডকার ব্যবহার করে। নির্দেশাবলী অনুমান করে যে আপনার আছে:
📄️ Ilum's Jupyter via VS Code
This guide explains how to connect your local VS Code installation to Ilum's JupyterLab kernel, allowing you to work with Ilum notebooks directly from your preferred development environment while using Ilum's Spark clusters and data infrastructure.
📄️ ইলামে অ্যাপাচি স্পার্ক কানেক্ট: কনফিগারেশন এবং সংযোগ গাইড
আইলাম ক্লাস্টারে অ্যাপাচি স্পার্ক কানেক্ট কনফিগার করা এবং সংযোগ করা। স্পার্ক মাইক্রোসার্ভিসেসের পরিচিতি।
📄️ ইলুমে স্পার্ক নির্ভরতা পরিচালনা করা
ইলাম নির্ভরতা পরিচালনা করার জন্য তিনটি পদ্ধতি সরবরাহ করে, প্রতিটি বিভিন্ন ব্যবহারের ক্ষেত্রে উপযুক্ত।