স্থাপত্য
ইলুম কুবারনেটস পরিবেশে অ্যাপাচি স্পার্কের শক্তি আনার জন্য ডিজাইন করা হয়েছে, উভয় বাস্তুতন্ত্রের সেরাটি ব্যবহার করে। এর মূলে, এটি অন্তর্নিহিত ক্লাস্টার ম্যানেজার নির্বিশেষে স্পার্ক চাকরি স্থাপন, পরিচালনা এবং নিরীক্ষণের প্রক্রিয়াটি সহজ করার লক্ষ্য রাখে।
ইন্টারেক্টিভ স্পার্ক কাজের ধারণাটি হ'ল কোনও ব্যবহারকারীকে দীর্ঘ স্পার্ক অ্যাপ্লিকেশন প্রারম্ভিক সময় ছাড়াই ধারাবাহিক স্পার্ক কাজ চালানোর সম্ভাবনা দেওয়া। এটি স্পার্ক অ্যাপ্লিকেশন লজিককে একটি দীর্ঘ চলমান স্পার্ক কাজের মধ্যে মোড়ানো যা তাত্ক্ষণিকভাবে গণনার অনুরোধগুলি পরিচালনা করতে সক্ষম।
মূল উপাদানসমূহ
-
ইলুম-কোর : ইলাম আর্কিটেকচারের কেন্দ্রীয় অংশটি হ'ল ইলুম-কোর, যা স্পার্কের কাজগুলি তৈরি, পরিচালনা এবং পর্যবেক্ষণের জন্য দায়ী। এটি ক্লায়েন্টদের সাথে ইন্টারঅ্যাক্ট করার জন্য আরইএসটি এপিআই (ওপেনএপিআই 3.0 স্ট্যান্ডার্ডের সাথে সামঞ্জস্যপূর্ণ) প্রকাশ করে এবং সংযুক্ত কুবারনেটস ক্লাস্টারগুলিতে স্পার্ক কাজের সময়সূচী এবং সম্পাদনের জন্য দায়ী।
-
ইলুম-ইউআই : এটি একটি ব্যবহারকারী-বান্ধব ওয়েব ইন্টারফেস যা ব্যবহারকারীদের স্পার্ক কাজগুলি পরিচালনা এবং নিরীক্ষণ করতে দেয়। এটি রেস্ট এপিআইগুলির মাধ্যমে ইলাম-কোরের সাথে যোগাযোগ করে।
-
Kubernetes Cluster : ইলাম কুবারনেটস ক্লাস্টারগুলির সাথে নির্বিঘ্নে সংহত করে, যেখানে স্পার্কের কাজগুলি কার্যকর করা হয়। কুবারনেটস ক্লাস্টার ম্যানেজার হিসাবে ব্যবহৃত হয় এবং আইলাম-কোর কুবারনেটস পড হিসাবে স্পার্কের কাজগুলি মোতায়েন করে।
-
অবজেক্ট স্টোরেজ : ইলাম কুবারনেটস-ভিত্তিক অবজেক্ট স্টোরেজ সমাধানগুলির সাথে সংহত করে, হ্যাডোপের এইচডিএফএসের বিকল্প সরবরাহ করে। এটি একটি বিতরণ এবং স্কেলযোগ্য পদ্ধতিতে বৃহত পরিমাণে ডেটা সংরক্ষণ এবং পুনরুদ্ধারের অনুমতি দেয়।
-
মঙ্গোডিবি : ইলাম কাজের মেটাডেটা, ক্লাস্টার তথ্য এবং অন্যান্য অপারেশনাল ডেটা সংরক্ষণের জন্য মঙ্গোডিবিকে তার অভ্যন্তরীণ ডাটাবেস হিসাবে ব্যবহার করে।
-
অ্যাপাচি কাফকা : কাফকা নির্ভরযোগ্য এবং দক্ষ ডেটা স্ট্রিমিং এবং প্রক্রিয়াকরণের জন্য ইলুমে যোগাযোগ স্তর হিসাবে ব্যবহার করা যেতে পারে।
কর্মপ্রবাহ
-
ব্যবহারকারীরা ইলাম ইউআইয়ের মাধ্যমে বা সরাসরি রেস্ট এপিআইয়ের মাধ্যমে স্পার্ক জব জমা দিতে পারেন। এই কাজগুলি দীর্ঘ চলমান ইন্টারেক্টিভ সেশন বা ব্যাচ কাজের অংশ হতে পারে।
-
আইলুম-কোর এই অনুরোধগুলি গ্রহণ করে, স্পার্কের কাজগুলি নির্ধারণ করে এবং সংযুক্ত কুবারনেটস ক্লাস্টারে তাদের মোতায়েন করে।
-
স্পার্ক কাজগুলি কুবারনেটস পড হিসাবে চলে, কুবারনেটস ক্লাস্টারের নোডগুলি জুড়ে অনুভূমিকভাবে স্কেলিং করে। স্পার্ক এক্সিকিউটর পডের সংখ্যা ব্যবহারকারীদের দ্বারা নিয়ন্ত্রণ করা যেতে পারে।
-
স্পার্ক কাজের ফলাফলগুলি আইলাম-কোরের মাধ্যমে ফিরে আসে এবং ইলাম ইউআইতে দেখা যায় বা রেস্ট এপিআইয়ের মাধ্যমে আনা যায়।
-
ডেটা সংরক্ষণ এবং পুনরুদ্ধারের জন্য, স্পার্ক কাজগুলি ইন্টিগ্রেটেড অবজেক্ট স্টোরেজ ব্যবহার করতে পারে, যা এস 3-সামঞ্জস্যপূর্ণ স্টোরেজ সমাধানের মতো আচরণ করে।
যোগাযোগের ধরন
ইলাম স্পার্ক চাকরি এবং ইলুম-কোরের মধ্যে যোগাযোগের দুটি প্রাথমিক ফর্মকে সমর্থন করে: অ্যাপাচি কাফকা এবং জিআরপিসি।
অ্যাপাচি কাফকা যোগাযোগ
অ্যাপাচি কাফকার সাথে ইলুমের ইন্টিগ্রেশন নির্ভরযোগ্য এবং স্কেলযোগ্য যোগাযোগকে সহজতর করে, উচ্চ প্রাপ্যতা (এইচএ) এবং স্কেলেবিলিটি সহ ইলুমের সমস্ত বৈশিষ্ট্যকে সমর্থন করে। সমস্ত ইভেন্ট এক্সচেঞ্জ অ্যাপাচি কাফকা ব্রোকার ব্যবহার করে স্বয়ংক্রিয়ভাবে তৈরি বিষয়গুলির মাধ্যমে পরিচালিত হয়।
জিআরপিসি যোগাযোগ (ডিফল্ট)
বিকল্প হিসাবে, জিআরপিসি যোগাযোগের জন্য ব্যবহার করা যেতে পারে। এই বিকল্পটি ইনস্টলেশনের সময় অ্যাপাচি কাফকার প্রয়োজনীয়তা দূর করে স্থাপনার প্রক্রিয়াটিকে সহজ করে তোলে। জিআরপিসি আইএলএম-কোর এবং স্পার্ক কাজের মধ্যে সরাসরি সংযোগ স্থাপন করে, একটি পৃথক বার্তা দালালের প্রয়োজনীয়তা সরিয়ে দেয়। যাইহোক, জিআরপিসি ব্যবহার বর্তমান বাস্তবায়নের অধীনে আইলুম-কোরের জন্য উচ্চ প্রাপ্যতা (এইচএ) সমর্থন করে না। যদিও আইলাম-কোর স্কেল করা যেতে পারে, বিদ্যমান স্পার্ক কাজগুলি একই আইলাম-কোর দৃষ্টান্তগুলির সাথে যোগাযোগ চালিয়ে যাবে।
ক্লাস্টারের প্রকারভেদ
ইলাম স্পার্ক ক্লাস্টার কনফিগারেশনকে সহজ করে তোলে এবং একবার কনফিগার হয়ে গেলে, ক্লাস্টারটি তাদের ধরণ বা পরিমাণ নির্বিশেষে বিভিন্ন কাজের জন্য ব্যবহার করা যেতে পারে। ইলাম বর্তমানে তিন ধরণের ক্লাস্টার সমর্থন করে: কুবারনেটস, ইয়ার্ন এবং লোকাল।
প্রাথমিক প্রবর্তনের সময়, ইলাম স্বয়ংক্রিয়ভাবে একটি ডিফল্ট ক্লাস্টার তৈরি করে, একই কুবারনেটস ক্লাস্টার ব্যবহার করে যার উপর ইলাম ইনস্টল করা আছে। যদি এই ডিফল্ট ক্লাস্টারটি দুর্ঘটনাক্রমে মুছে ফেলা হয় তবে আপনি ইলাম-কোর পডটি পুনরায় চালু করে সহজেই এটি পুনরায় তৈরি করতে পারেন।
Kubernetes Cluster
ইলামের প্রাথমিক ফোকাস হ'ল স্পার্ক এবং কুবারনেটসের মধ্যে সহজ সংহতকরণের সুবিধার্থে। এটি কুবারনেটসে স্পার্ক অ্যাপ্লিকেশনগুলির কনফিগারেশন এবং প্রবর্তনকে সহজ করে তোলে। বিদ্যমান কুবারনেটস ক্লাস্টারের সাথে সংযোগ স্থাপনের জন্য, ব্যবহারকারীদের ডিফল্ট কনফিগারেশন তথ্য সরবরাহ করতে হবে, যেমন কুবারনেটস এপিআই ইউআরএল এবং প্রমাণীকরণ পরামিতি। Ilum ব্যবহারকারী / পাসওয়ার্ড এবং শংসাপত্র-ভিত্তিক প্রমাণীকরণ পদ্ধতি উভয়ই সমর্থন করে। একাধিক কুবারনেটস ক্লাস্টারগুলি ইলুম দ্বারা পরিচালিত হতে পারে, যদি সেগুলি অ্যাক্সেসযোগ্য হয়। এই বৈশিষ্ট্যটি একক অবস্থান থেকে অসংখ্য স্পার্ক পরিবেশ পরিচালনার জন্য একটি হাব তৈরি করতে সক্ষম করে।
সুতার গুচ্ছ
ইলাম অ্যাপাচি সুতা ক্লাস্টারগুলিও সমর্থন করে, যা সুতা ইনস্টলেশনে উপস্থিত সুতা কনফিগারেশন ফাইলগুলি ব্যবহার করে সহজেই কনফিগার করা যায়।
স্থানীয় ক্লাস্টার
স্থানীয় ক্লাস্টার প্রকারটি স্পার্ক অ্যাপ্লিকেশনগুলি চালায় যেখানে আইলাম-কোর মোতায়েন করা হয়, যার অর্থ এটি ডকার / কুবারনেটসে মোতায়েন করার সময় ইলাম-কোর ধারকের অভ্যন্তরে বা অর্কেস্ট্রেটর ছাড়াই মোতায়েন করার সময় হোস্ট মেশিনে স্পার্ক অ্যাপ্লিকেশন চালায়। এই ক্লাস্টার টাইপটি তার সংস্থান সীমাবদ্ধতার কারণে পরীক্ষার উদ্দেশ্যে উপযুক্ত।
স্কেলেবিলিটি
আইএলইউএম-কোর স্কেলেবিলিটি মাথায় রেখে ডিজাইন করা হয়েছিল। সম্পূর্ণরূপে রাষ্ট্রহীন হওয়ার কারণে, আইলুম-কোর ক্র্যাশের পরে তার পুরো বিদ্যমান অবস্থা পুনরুদ্ধার করতে পারে, লোডের প্রয়োজনীয়তার উপর ভিত্তি করে স্কেল আপ বা ডাউন করা সহজ করে তোলে।
উচ্চ প্রাপ্যতা
আইলাম-কোর এবং এর প্রয়োজনীয় উপাদানগুলি উচ্চ প্রাপ্যতা (এইচএ) স্থাপনার সমর্থন করে। ইলাম, মঙ্গোডিবি, অ্যাপাচি কাফকা এবং মিনিও সম্পূর্ণ উচ্চ প্রাপ্যতা পরিবেশ সরবরাহ করতে কনফিগার করা যেতে পারে। নোট করুন যে একটি এইচএ স্থাপনার জন্য যোগাযোগের ধরণ হিসাবে অ্যাপাচি কাফকা ব্যবহারের প্রয়োজন হয়, কারণ জিআরপিসি ব্যবহার করা এইচএ সমর্থন করে না।
নিরাপত্তা
ইলুম ইলুম-ইউআই ওয়েব কনসোলে অ্যাক্সেস সুরক্ষিত করার জন্য একটি সরল প্রক্রিয়া অন্তর্ভুক্ত করে। এটি স্থাপনার সময় একটি ডিফল্ট অ্যাডমিন ব্যবহারকারীর নাম এবং পাসওয়ার্ড সেট করার অনুমতি দেয়। বর্তমানে, সুরক্ষা ব্যবস্থা শুধুমাত্র ilum-ui ওয়েব কনসোলে প্রযোজ্য।