Create local cluster

স্থানীয় ক্লাস্টার কীভাবে তৈরি করবেন সে সম্পর্কে সহজ গাইড

ভূমিকা ​

ইলাম একক কেন্দ্রীয় নিয়ন্ত্রণ সমতল থেকে মাল্টি-ক্লাস্টার আর্কিটেকচার পরিচালনা করা সম্ভব করে তোলে এবং এটি স্বয়ংক্রিয়ভাবে সমস্ত কনফিগারেশন করে। আপনাকে কেবল ইলুমে আপনার ক্লাস্টারটি নিবন্ধন করতে হবে এবং নেটওয়ার্কিংটি কিছুটা কনফিগার করতে হবে। ইলুমে ক্লাস্টার ম্যানেজমেন্ট সম্পর্কে আরও পড়ুন এখানে।

এই গাইডটি একটি স্থানীয় ক্লাস্টার তৈরির মধ্য দিয়ে যায় - ক্লাস্টারের একটি সিমুলেশন যা আইলাম-কোর সার্ভারের অভ্যন্তরে চালু হয়। আপনি এটি ইলুমে ক্লাস্টার পরিচালনার ক্ষমতা পরীক্ষার জন্য ব্যবহার করতে পারেন।

ডেমো ​

ইলুমে কীভাবে স্থানীয় ক্লাস্টার যুক্ত করবেন সে সম্পর্কে আপনি এখানে একটি ডেমো দেখতে পারেন পূর্ণ স্ক্রিনে সহায়িকা

নির্দেশিকা: ​

ক্লাস্টার তৈরির পৃষ্ঠায় যান ​

• ওয়ার্কলোডে ক্লাস্টার বিভাগে যান
• ক্লিক করুন নতুন ক্লাস্টার বোতাম

সাধারণ সেটিংস নির্দিষ্টভাবে উল্লেখ করুন: ​

• আপনি চান এমন একটি নাম এবং একটি বিবরণ চয়ন করুন: তারা আপনার দলের সদস্যদের বুঝতে সাহায্য করবে যে ক্লাস্টারটি কীসের জন্য তৈরি করা হয়েছে
• এতে ক্লাস্টারের প্রকার সেট করুন স্থানীয়
• একটি স্পার্ক সংস্করণ চয়ন করুন

স্পার্ক সংস্করণটি স্পার্ক কাজের জন্য একটি চিত্র নির্বাচন করে নির্দিষ্ট করা হয়েছে।

ইলুমের নিজস্ব চিত্রগুলির ব্যবহার প্রয়োজন, যার মধ্যে প্রাক-ইনস্টল করা সমস্ত প্রয়োজনীয় নির্ভরতা অন্তর্ভুক্ত রয়েছে।

এখানে সমস্ত উপলব্ধ চিত্রের একটি তালিকা রয়েছে:

স্পার্ক কনফিগারেশন নির্দিষ্টভাবে উল্লেখ করুন ​

ক্লাস্টার স্তরে আপনি যে স্পার্ক কনফিগারেশনগুলি নির্দিষ্ট করেন তা সেই ক্লাস্টারে মোতায়েন করা প্রতিটি পৃথক আইলাম কাজে প্রয়োগ করা হবে।

আপনি যদি পুনরাবৃত্তি কনফিগারেশন এড়াতে চান তবে এটি কার্যকর হতে পারে। উদাহরণস্বরূপ, আপনি যদি আইসবার্গকে আপনার স্পার্ক ক্যাটালগ হিসাবে ব্যবহার করেন তবে আপনি এটি ক্লাস্টার স্তরে একবার কনফিগার করতে পারেন এবং তারপরে এই ক্লাস্টারে মোতায়েন করা সমস্ত ইলাম কাজ স্বয়ংক্রিয়ভাবে এই কনফিগারেশনগুলি ব্যবহার করবে।

স্টোরেজ যোগ করুন ​

ডিফল্ট ক্লাস্টার স্টোরেজ ব্যবহারকারী এবং ইলাম নিজেই সরবরাহ করা ইলাম জবস চালানোর জন্য প্রয়োজনীয় সমস্ত ফাইল সংরক্ষণ করতে ইলাম দ্বারা ব্যবহৃত হবে।

আপনি যে কোনও ধরণের ক্লাস্টার চয়ন করতে পারেন: এস 3, জিসিএস, ডাব্লুএএসবিএস, এইচডিএফএস . উপরের উদাহরণে আমরা ডিফল্টরূপে ইলাম ক্লাস্টারে মোতায়েন করা মিনিও স্টোরেজের জন্য এস 3 বালতি যুক্ত করি।

• ক্লিক করুন "স্টোরেজ যোগ করুন" বোতাম
• নাম উল্লেখ করুন এবং S3 স্টোরেজ প্রকারটি চয়ন করুন
• চয়ন স্পার্ক বালতি - ইলম জবস ফাইলগুলি সংরক্ষণ করতে ব্যবহৃত প্রধান বালতি। সেট ইলুম-ফাইল , যা ডিফল্ট মিনিও স্টোরেজের ডিফল্ট বালতি
• চয়ন ডাটা বাকেট - আপনি যদি ইলাম টেবিল স্পার্ক ফর্ম্যাট ব্যবহার করেন তবে প্রয়োজনীয়। সেট ইলুম-ফাইল , যা ডিফল্ট মিনিও স্টোরেজের ডিফল্ট বালতি
• এস 3 এন্ডপয়েন্ট এবং শংসাপত্রগুলি নির্দিষ্ট করুন: সরলতা ব্যবহারের জন্য ইলুম-মিনিও: 9000 এন্ডপয়েন্টের জন্য এবং মিনিওঅ্যাডমিন অ্যাক্সেস এবং গোপন কী জন্য। এগুলি মিনিও বালতির জন্য শেষ পয়েন্ট এবং শংসাপত্র, যা ডিফল্টরূপে ইলাম ক্লাস্টারে মোতায়েন করা হয়।
• ক্লিক করুন "জমা দিন" বোতাম

আপনি যে কোনও সংখ্যক স্টোরেজ যুক্ত করতে পারেন এবং ইলাম জবস সেগুলির প্রত্যেকটি ব্যবহার করার জন্য কনফিগার করা হবে।

স্থানীয় ক্লাস্টার কনফিগারেশনে যান ​

ক্লাস্টারের স্থানীয় সিমুলেশন চালানোর জন্য কতগুলি জাভা থ্রেড ব্যবহার করা হবে তা কনফিগার করতে আপনি এখানে স্লাইডার ব্যবহার করতে পারেন।

অবশেষে, আপনি ক্লিক করতে পারেন জমা একটি ক্লাস্টার যোগ করার জন্য বোতাম।

একটি কাজ তৈরি করুন এবং পরীক্ষা করুন ​

• এ যান ক্লাস্টার খণ্ড
• এর গ্রুপ তালিকায় যেতে তালিকায় স্থানীয় ক্লাস্টারটি চয়ন করুন
• ক্লিক করুন নতুন গ্রুপ একটি গ্রুপ তৈরি করতে বোতাম।
• গ্রুপের নাম টাইপ করুন ও চয়ন করুন কোড টাইপ।
• ক্লিক করুন কার্যকর বোতাম, যা আপনি গোষ্ঠী তালিকায় সবেমাত্র তৈরি করেছেন এমন গোষ্ঠীতে স্থাপন করা হয়েছে
• এখন আপনার কোড প্যানেলে থাকার কথা। এই কোডটি লিখুন:

valডাটা =  Seq( ( "Alice",  29) ,  ( "Bob",  35) ,  ( "Cathy",  23 ) ) 
valডিএফ = স্ফুলিঙ্গ . createDataFrame ( ডাটা ) . toDF( "নাম" ,  "age") 
val s3Path =  "s3a://ilum-files/output"

ডিএফ . লিখন . format( "csv") . save( s3Path)  

এবং ক্লিক করুন কার্যকর বোতাম

কোডটি সফলভাবে চালানো হলে, সবকিছু সঠিকভাবে সেট আপ করা হয়, অভিনন্দন!