Simple spark job

ইলুমে একটি সাধারণ স্পার্ক কাজ ঠিক যেমন জমা দেওয়া হয় তেমন কাজ করে স্পার্ক-সাবমিট , কিন্তু ব্যবহারের সহজতা, কনফিগারেশন, এবং বহিরাগত সরঞ্জামগুলির সাথে ইন্টিগ্রেশনের জন্য অতিরিক্ত বর্ধন সহ।

আপনি এই থেকে স্পার্ক উদাহরণ সঙ্গে জার ফাইল ব্যবহার করতে পারেন যোগসূত্র .

ইন্টারেক্টিভ গাইড ​

পূর্ণ স্ক্রিনে সহায়িকা

ইলুম ব্যবহার করে একটি সাধারণ স্পার্ক কাজ স্থাপনের জন্য এখানে একটি ধাপে ধাপে গাইড রয়েছে। এই গাইডটি আপনাকে আইলাম প্ল্যাটফর্মের মধ্যে মিনিরিডরাইটটেস্ট নামে একটি প্রাথমিক কাজ কনফিগার করা, সম্পাদন করা এবং পর্যবেক্ষণের মধ্য দিয়ে নিয়ে যাবে।

ইলামে মিনিরিডরাইটটেস্ট চালানোর জন্য ধাপে ধাপে গাইড ​

1. জবস সেকশনে নেভিগেট করুনঃ এই অঞ্চলটি আপনাকে আপনার সমস্ত ডেটা প্রক্রিয়াকরণের কাজগুলি পরিচালনা করতে দেয়।

2. নতুন চাকরি তৈরি করুনঃ

   • Click on the ‘New Job’ button to start the setup process.

3. কাজের বিবরণ পূরণ করুন:

   • পদের নাম: সহজ সনাক্তকরণের জন্য আপনার কাজের একটি অনন্য নাম দিন।
   • পূর্ণ শ্রেণীর নাম: ইনপুট মিনিরিডরাইটটেস্ট , একটি সহজ উদাহরণ কাজ যা নিম্নলিখিতগুলি সম্পাদন করে:
     • একটি স্থানীয় ফাইল পড়ে।
     • ফাইলে একটি শব্দ গণনা গণনা করে।
     • প্রতিটি নির্বাহকের একটি ডিরেক্টরিতে আউটপুট লেখে।
     • প্রতিটি এক্সিকিউটর থেকে আউটপুট ফেরত পড়ে।
     • স্পার্ক ব্যবহার করে শব্দ গণনা পুনরায় গণনা করে।
     • ধারাবাহিকতা নিশ্চিত করতে শব্দ গণনার ফলাফলের তুলনা করে।

4. কাজের প্যারামিটার এবং কনফিগারেশন সেট করুন:

   • নির্বাহকদের বিতরণ করার জন্য স্থানীয় ফাইলের অবস্থান নির্দিষ্ট করুন। ব্যবহার kv1.txt , প্রতিটি স্পার্ক পরিবেশে উপলব্ধ একটি পরীক্ষা ফাইল।

5. রিসোর্স আপলোড করুন:

   • আপনি আপনার কাজের জন্য প্রয়োজনীয় ফাইল বা স্ক্রিপ্টের মতো অতিরিক্ত সংস্থান আপলোড করতে পারেন।
   • আপনার কাজের কোড রয়েছে এমন এক্সিকিউটেবল জার ফাইলটি আপলোড করুন।

6. সম্পদ বরাদ্দ:

   • সিপিইউ এবং মেমরির মতো সংস্থান সেটিংস কনফিগার করুন। এই গাইডের জন্য, আমরা ডিফল্ট সেটিংস নিয়ে এগিয়ে যাব।

7. জব সাবমিট ও মনিটর করুনঃ

   • চাকরি জমা দিন।
   • প্রতিটি নির্বাহকের লগগুলি পর্যালোচনা করতে লগ বিভাগে নেভিগেট করুন।

8. রিভিউ জব এক্সিকিউশন:

   • কাজ শুরু হয়ে গেলে জব ওভারভিউ সেকশনে স্ট্যাটাস চেক করুন।
   • এক্সিকিউটর বিভাগে মেমরির ব্যবহার এবং অন্যান্য পারফরম্যান্স মেট্রিকগুলি পর্যবেক্ষণ করুন।
   • টাইমলাইনে প্রতিটি পর্যায়ের মাধ্যমে আপনার কাজের অগ্রগতি পর্যবেক্ষণ করুন।

9. সমাপ্তি এবং পর্যালোচনা:

   • সমাপ্তির পরে, কাজের বিবরণ এবং ফলাফলগুলি স্পার্ক ইতিহাস সার্ভারে লগ ইন করা হয়।
   • আপনার সমাপ্ত কাজটি দেখতে এবং বিস্তারিত মৃত্যুদন্ড কার্যকর করার পর্যায়গুলি পর্যালোচনা করতে ইতিহাস সার্ভার বিভাগটি দেখুন।

10. চূড়ান্ত পদক্ষেপ:

• অভিনন্দন! আপনি ইলামে আপনার মিনিরিডরাইটটেস্ট কাজটি সফলভাবে সেট আপ এবং চালাচ্ছেন। আরও তথ্য বা সহায়তার জন্য, যোগাযোগ করুন [email protected] .

এই পদক্ষেপগুলি অনুসরণ করে, আপনি ইলাম প্ল্যাটফর্মের মধ্যে একটি বেসিক স্পার্ক কাজ দক্ষতার সাথে সেট আপ, চালাতে এবং নিরীক্ষণ করতে সক্ষম হবেন, এর কার্যকারিতাগুলির সাথে পরিচিতি অর্জন করতে এবং আরও জটিল ডেটা প্রসেসিং কাজের জন্য আপনাকে প্রস্তুত করতে পারবেন।

ইলাম কীভাবে স্পার্ক জব জমা দেওয়ার সুবিধা দেয় তার একটি সংহত ব্যাখ্যা এখানে রয়েছে, এর ঐতিহ্যগত বৈশিষ্ট্যগুলি মিশ্রিত করে স্পার্ক-সাবমিট ইলুমের উন্নত পরিচালনার ক্ষমতা সহ:

লোড হচ্ছে উদাহরণ কাজ ​

নতুন ব্যবহারকারীদের দ্রুত শুরু করতে সহায়তা করার জন্য ইলাম একটি উদাহরণ কাজ সরবরাহ করে। কাজের লোডিংয়ের উদাহরণ সক্ষম করা হয়েছে ডিফল্টরূপে। তবে আপনি এটি ব্যবহার করে অক্ষম করতে পারেন --সেট ilum-core.examples.job=false .

বিজোড় ইন্টিগ্রেশন এবং সরলীকৃত ব্যবস্থাপনা ​

• সার্বজনীন সামঞ্জস্যতা: ইলাম ব্যবহারের অনুরূপ যে কোনও স্পার্ক কাজ জমা দিতে সক্ষম করে স্পার্ক-সাবমিট . এটি স্কালা, পাইথন এবং আর সহ স্পার্কের সাথে ব্যবহৃত বিভিন্ন প্রোগ্রামিং ভাষাগুলিকে সমর্থন করে, ব্যাচ প্রসেসিং, স্ট্রিমিং জব বা ইন্টারেক্টিভ কোয়েরিগুলির মতো সমস্ত সাধারণ স্পার্ক অপারেশনগুলি সরবরাহ করে।

• সরলীকৃত কমান্ড এক্সিকিউশন: সময় স্পার্ক-সাবমিট প্রায়শই লাইব্রেরি নির্ভরতা, কাজের পরামিতি এবং ক্লাস্টার কনফিগারেশনের জন্য জটিল কমান্ড-লাইন ইনপুটগুলি জড়িত, ইলাম এগুলি একটি স্বজ্ঞাত ব্যবহারকারী ইন্টারফেসে বিমূর্ত করে। এই পদ্ধতিটি ত্রুটির ঝুঁকিগুলি হ্রাস করে এবং অপারেশনগুলিকে সহজ করে তোলে, বিশেষত কমান্ড-লাইন জটিলতার সাথে কম পরিচিতদের জন্য উপকারী।

• সরাসরি কোড স্থাপনা: ব্যবহারকারীরা তাদের জেএআর ফাইল, পাইথন স্ক্রিপ্ট বা নোটবুকগুলি সরাসরি ইলুমে আপলোড করতে পারেন, একটি সংস্থান নির্দিষ্ট করার অনুরূপ স্পার্ক-সাবমিট আদেশ। ইলাম এই সংস্থানগুলিকে নির্ধারিত বা ইভেন্ট-ট্রিগার এক্সিকিউশনের জন্য কনফিগার করার অনুমতি দিয়ে এটিকে বাড়িয়ে তোলে, বৃহত্তর অপারেশনাল নমনীয়তা সরবরাহ করে।

• স্বয়ংক্রিয় পরিবেশ হ্যান্ডলিং: প্রয়োজনীয় ম্যানুয়াল সেটআপের বিপরীতে স্পার্ক-সাবমিট , ইলাম নিশ্চিত করে যে সমস্ত নির্ভরতা এবং কনফিগারেশন স্বয়ংক্রিয়ভাবে পরিচালিত হয়। এটি গ্যারান্টি দেয় যে এক্সিকিউশন পরিবেশটি স্থানীয় ক্লাস্টার, ক্লাউড বা হাইব্রিড সেটআপগুলিতে কাজ সম্পাদনের জন্য ধারাবাহিকভাবে প্রস্তুত।

• ইন্টিগ্রেটেড মনিটরিং এবং টুলিং: ইলাম পর্যবেক্ষণ এবং লগিং সরঞ্জামগুলির জন্য অন্তর্নির্মিত ইন্টিগ্রেশন নিয়ে আসে, যা স্পার্ক-সাবমিট ওয়ার্কফ্লোর জন্য অতিরিক্ত সেটআপ প্রয়োজন। এই ইন্টিগ্রেশন ব্যবহারকারীদের কাজের পারফরম্যান্স ট্র্যাকিং, লগ পরিচালনা এবং অন্যান্য ডেটা পরিষেবাদির সাথে নির্বিঘ্নে সংযোগ স্থাপনের জন্য ব্যবহারের জন্য প্রস্তুত সমাধান সরবরাহ করে।

উন্নত চাকরি জমা দেওয়ার অভিজ্ঞতা ​

ইলুম কেবল এর ক্ষমতার সাথে মেলে না স্পার্ক-সাবমিট তবে কাজের কনফিগারেশন এবং পরিবেশগত সেটআপের সাথে সম্পর্কিত ওভারহেড হ্রাস করে তাদের প্রসারিত করে। এটি একটি সর্বাত্মক প্ল্যাটফর্ম সরবরাহ করে যা স্পার্ক জবগুলির স্থাপনা, পরিচালনা এবং স্কেলিংকে সহজতর করে, এটি অ্যাপাচি স্পার্কের শক্তি এবং নমনীয়তার সাথে আপস না করে তাদের ডেটা প্রসেসিং ওয়ার্কফ্লো বাড়ানোর লক্ষ্যে সংস্থাগুলির জন্য একটি আদর্শ সমাধান তৈরি করে।