ক্লাস্টার এবং স্টোরেজ
সংক্ষিপ্ত বিবরণ
ক্লাস্টার ম্যানেজমেন্ট
একক ক্লাস্টারের মধ্যে স্পার্ক অবকাঠামো পরিচালনা করা অসংখ্য চ্যালেঞ্জ উপস্থাপন করে। আমাদের লক্ষ্য নিশ্চিত করা যে অবকাঠামোতে সমস্ত প্রয়োজনীয় বৈশিষ্ট্য রয়েছে, যেমন ডেটা ভিজ্যুয়ালাইজেশন এবং ডেটা প্রবাহের পর্যবেক্ষণ। আমরা এটি বিল্ট-ইন প্রতিলিপি এবং সংস্করণ ক্ষমতা সহ সুরক্ষিত হতে চাই। উপরন্তু, আমাদের কাজের স্বাস্থ্য এবং কর্মক্ষমতা পর্যবেক্ষণ করা অত্যন্ত গুরুত্বপূর্ণ। যাইহোক, এই সমস্ত বৈশিষ্ট্য একত্রিত করার জন্য সময় সাপেক্ষ কনফিগারেশন প্রয়োজন, যা জটিলতা এবং ব্যয় যুক্ত করে।
তদুপরি, একটি মাল্টি-ক্লাস্টার অবকাঠামোতে রূপান্তর করার সময়, এই কাজগুলি প্রায়শই প্রতিটি অতিরিক্ত ক্লাস্টারের জন্য প্রতিলিপি করা প্রয়োজন, যার ফলে সম্ভাব্য উচ্চ ব্যয় হয়। উপরন্তু, রক্ষণাবেক্ষণ ব্যয় প্রতিটি অতিরিক্ত ক্লাস্টারের সাথে একটি রৈখিক বৃদ্ধি প্রয়োজন।
ইলাম শুধু অফারই দেয় না স্বয়ংক্রিয় ইন্টিগ্রে আপনার ডেটা অবকাঠামোতে উপরে উল্লিখিত সমস্ত বৈশিষ্ট্যগুলির মধ্যে, তবে এটিও তৈরি করে একটি মাল্টি-ক্লাস্টারে রূপান্তর যতটা সম্ভব নির্বিঘ্নে স্থাপত্য। আপনাকে যা পরিচালনা করতে হবে তা হ'ল নেটওয়ার্কিং এবং অ্যাক্সেস
ইলুমের সাহায্যে তুমি একটি এর মাধ্যমে তোমার মাল্টি-ক্লাস্টার আর্কিটেকচার পরিচালনা করতে পারো কেন্দ্রীয় নিয়ন্ত্রণ বিমান . ইলম অ্যাপ্লিকেশনের মধ্যে সবকিছু করা যেতে পারে।
স্টোরেজ ম্যানেজমেন্ট
এমন পরিস্থিতি রয়েছে যেখানে আপনার ডেটা অবকাঠামোতে একাধিক স্টোরেজ সমাধান ব্যবহার করা প্রয়োজনীয় হয়ে ওঠে। এটি ব্যয় বিবেচনার কারণে, বিভিন্ন সরবরাহকারীদের দ্বারা প্রদত্ত অনন্য বৈশিষ্ট্য বা নেটওয়ার্কের বিলম্ব হ্রাস করতে একাধিক অঞ্চলে স্টোরেজ থাকার প্রয়োজনীয়তার কারণে হতে পারে। তবে, স্পার্ক আর্কিটেকচারে একাধিক স্টোরেজকে সংহত করার জন্য প্রায়শই পুনরাবৃত্তিমূলক এবং সময় সাপেক্ষ কাজগুলি জড়িত থাকে যেমন স্টোরেজ অ্যাক্সেস করার জন্য প্রতিটি স্পার্ক কাজকে পৃথকভাবে কনফিগার করা।
ইলাম আপনার জন্য এই প্রক্রিয়াটি সহজ করে তোলে। আপনাকে যা করতে হবে তা হ'ল ক্লাস্টারে সংযুক্ত করার সময় প্রমাণীকরণের বিশদ যুক্ত করে স্টোরেজটি একবার কনফিগার করা। এর পরে, সমস্ত ইলম কাজগুলি স্বয়ংক্রিয়ভাবে স্টোরেজ থেকে পড়তে এবং লিখতে অনুমোদিত হয়, প্রতিটি কাজের জন্য ম্যানুয়াল কনফিগারেশনের প্রয়োজনীয়তা দূর করে।
উদাহরণস্বরূপ, বিল্ট-ইন মিনিও স্টোরেজ ব্যবহার করার সময়, প্রতিটি ইলম জবস হবে প্রাক-কনফিগার করা এই স্পার্ক পরামিতি সঙ্গে:
ক্লাস্টারের প্রতিটি স্টোরেজের জন্য অনুরূপ পরামিতি যুক্ত করা হবে।
ইলুমে আপনি 4 ধরণের স্টোরেজ ব্যবহার করতে পারেন: জিসিএস, এস 3, ডাব্লুএএসবিএস, এইচডিএফএস .
ক্লাস্টারগুলিতে কীভাবে স্টোরেজ যুক্ত করবেন সে সম্পর্কে আরও জানতে, দেখুন স্টোরেজ সংযোজন গাইড .
সেন্ট্রালাইজড জবস ম্যানেজমেন্ট
সমস্যা
একটি উদাহরণ দেখা যাক। আমাদের বিভিন্ন অঞ্চলে ১০ টি ক্লাস্টার রয়েছে এবং আমরা তাদের মধ্যে একটিতে একটি চাকরি স্থাপন করতে চাই। ইলুম ছাড়া দেখতে কেমন হবে?
আমাদের আপডেট করতে হবে Kubectl config নির্বাচিত ক্লাস্টার প্রসঙ্গটি বর্তমান হিসাবে সেট করতে।
Kubectl config use-context cluster_i_context
এর অর্থ, আমাদের একটি প্রসঙ্গ হিসাবে প্রতিটি একক ক্লাস্টার লেখা সহ একটি বিশাল কুবেকনফিগ ফাইল থাকতে হবে:
apiVersion : v1
ক্লাস্টার :
- ক্লাস্টার :
সার্টিফিকেট-কর্তৃপক্ষ : /পাথ/টু/সিএ - ১. সিআরটি
সার্ভার : এইচটিটিপিএস : <ক্লাস্টার - 1 - আইপি > : 6443
নাম : ক্লাস্টার - 1
...
- ক্লাস্টার :
সার্টিফিকেট-কর্তৃপক্ষ : /পাথ/টু/সিএ - এন.সিআরটি
সার্ভার : এইচটিটিপিএস : <ক্লাস্টার - n - আইপি > : 6443
নাম : ক্লাস্টার - n
প্রসঙ্গ :
- প্রসঙ্গে :
ক্লাস্টার : ক্লাস্টার - 1
নামস্থান : ডিফল্ট
ব্যবহারকারী : ব্যবহারকারী - 1
নাম : ক্লাস্টার - 1 - প্রসঙ্গে
...
- প্রসঙ্গে :
ক্লাস্টার : ক্লাস্টার - n
নামস্থান : ডিফল্ট
ব্যবহারকারী : ব্যবহারকারী - n
নাম : ক্লাস্টার - n - প্রসঙ্গে
বর্তমান-প্রেক্ষাপট : ক্লাস্টার - আমি
প্রকার : কনফিগার
অগ্রাধিকার : { }
ব্যবহারকারী :
- নাম : ব্যবহারকারী - 1
ব্যবহারকারী :
ক্লায়েন্ট-সার্টিফিকেট : / পাথ / টু / ক্লায়েন্ট/সার্টিফিকেট - ১. সিআরটি
ক্লায়েন্ট-কী : / পাথ / টু / ক্লায়েন্ট / কী - 1.key
...
- নাম : ব্যবহারকারী - n
ব্যবহারকারী :
ক্লায়েন্ট-সার্টিফিকেট : / পাথ / টু / ক্লায়েন্ট/সার্টিফিকেট - এন.সিআরটি
ক্লায়েন্ট-কী : / পাথ / টু / ক্লায়েন্ট / কী - n.key
এই ধরনের পদ্ধতি বেশ কয়েকটি চ্যালেঞ্জ প্রবর্তন করে। নিম্নলিখিত পরিস্থিতিগুলি বিবেচনা করুন:
-
হারানো Kubeconfig : আপনি যদি আপনার কুবেকনফিগ ফাইলটি হারিয়ে ফেলেন তবে কী হবে? এটি ক্লাস্টারে আপনার অ্যাক্সেসকে ব্যাহত করবে, ম্যানুয়াল পুনরুদ্ধার বা পুনর্জন্মের প্রয়োজন।
-
সার্টিফিকেট নির্ভরতা : যদি কুবেকনফিগ আপনার পিসিতে স্থানীয়ভাবে সঞ্চিত কোনও শংসাপত্রের উপর নির্ভর করে এবং আপনি এটি হারান? প্রবেশাধিকার পুনরুদ্ধার করা জটিল হয়ে উঠবে।
-
মাল্টি-ইউজার অ্যাক্সেস : আপনি যদি একাধিক লোককে ক্লাস্টার অ্যাক্সেস দিতে চান তবে আপনাকে কি কুবেকনফিগ ফাইল এবং শংসাপত্রগুলি প্রত্যেকের কাছে বিতরণ করতে হবে? এই প্রক্রিয়া শুধু অদক্ষই নয়, নিরাপত্তা ঝুঁকিও তৈরি করে।
-
সার্টিফিকেট আপডেট : সার্টিফিকেটের মেয়াদ শেষ হয়ে গেলে বা আপডেট করার প্রয়োজন হলে কী হবে? আপনাকে প্রতিটি ব্যবহারকারীর কুবেকনফিগ ফাইল এবং শংসাপত্রগুলি আপডেট করতে হবে, আরও জটিলতা যুক্ত করতে হবে।
এমনকি যদি আপনি এই সমস্ত সমস্যার সমাধান করেন তবে আপনি এখনও একটি স্পার্ক কাজ তৈরির কাজটির মুখোমুখি হন। উদাহরণস্বরূপ, আপনি নিম্নলিখিত কমান্ডটি ব্যবহার করে একটি চাকরি জমা দিতে পারেন:
স্পার্ক-সাবমিট \
--master k8s://https://<kubernetes-api-server>:6443 \
--মোতায়েন-মোড ক্লাস্টার \
--নাম স্পার্ক-অ্যাপ \
--ক্লাস কম.উদাহরণ.মাইঅ্যাপ \
--conf spark.executor.instances=5 \
--conf spark.kubernetes.container.image=<spark-image> \
/পথ/থেকে/application.jar
এবং আপনি যখনই কাজটি পুনরায় স্কেল করবেন বা কনফিগারেশনগুলি আপডেট করবেন তখন আপনাকে এই কমান্ডটি চালাতে হবে, যার ফলে প্রচুর অপ্রয়োজনীয় প্রচেষ্টা এবং অদক্ষতা দেখা দেয়।
সমাধান
ইলাম তার সুবিন্যস্ত পদ্ধতির মাধ্যমে এই সমস্ত সমস্যা দূর করে:
- একক সময় সেটআপ : Simply add the cluster’s certificates once to connect Ilum to your cluster, and you're done. No need to manage lengthy kubeconfig files or track multiple certificates and keys.
- কোনও ইঞ্জিনিয়ার-সাইড কনফিগারেশন নেই : Your engineers won’t have to configure cluster connections manually or deal with kubeconfig files.
- ইউআই-চালিত ব্যবস্থাপনা : স্পার্ক চাকরি স্থাপনের জন্য কুবেক্টল ব্যবহার করার কথা ভুলে যান। ইলুমের সাথে, সবকিছু একটি স্বজ্ঞাত ইউআইয়ের মাধ্যমে পরিচালিত হয়।
শুরু করতে, উপযুক্ত গাইড / l অনুসরণ করে কেবল একটি ক্লাস্টার যুক্ত করুন
আপনার যদি শংসাপত্র বা অন্য কোনও ক্লাস্টার কনফিগারেশন আপডেট করতে হয় তবে কেবল ক্লিক করুন সম্পাদনা পছন্দসই ক্লাস্টারের জন্য বোতাম এবং একই গাইড অনুসরণ করুন।
Note: Jobs launched with Ilum require access to the centralized control plane. To ensure this, you’ll need to expose Ilum services to the outside world and create external services in your remote cluster.
একবার আপনার ক্লাস্টারটি সংযুক্ত হয়ে গেলে ক্লাস্টার তালিকায় নেভিগেট করুন এবং ক্লাস্টারটি নির্বাচন করুন যেখানে আপনি নিজের স্পার্ক কাজটি স্থাপন করতে চান। এখান থেকে আপনি এই গাইডগুলি অনুসরণ করে ইলম জবস স্থাপন করতে পারেন:
- কীভাবে একটি সাধারণ স্পার্ক কাজ চালাবেন
- কীভাবে একটি ইন্টারেক্টিভ স্পার্ক কাজ চালাবেন
- কীভাবে একটি ইন্টারেক্টিভ কোড গ্রুপ চালাবেন
With Ilum’s ইন্টারেক্টিভ জবস বৈশিষ্ট্য, আপনি স্পার্ক প্যারামিটারগুলি কনফিগার করতে পারেন, ফাইলগুলি আপলোড করতে পারেন, একবার স্পার্ক পড স্থাপন করতে পারেন এবং পুনরায় স্থাপন না করে আপনার স্পার্ক অ্যাপ্লিকেশনগুলি একাধিকবার চালাতে পারেন। উপরন্তু, ইন্টারেক্টিভ কোড গ্রুপ বৈশিষ্ট্যটি আপনাকে ইলাম ইউআইয়ের মধ্যে সরাসরি স্পার্ক কোড কার্যকর করতে দেয়।
যে কোনও সময়, আপনি এটি করতে পারেন:
- সম্পাদনা your job’s Spark parameters or assigned resources.
- রিস্কেল প্রয়োজনে চাকরি।
- পুনঃশুরু করুন বা মুছুন কখনও কনসোল ব্যবহার না করে সরাসরি ইউআই থেকে কাজ করে।
ইলাম ক্লাস্টার এবং স্পার্ক জব ম্যানেজমেন্টকে সহজ করে, সময় সাশ্রয় করে এবং অপারেশনাল জটিলতা হ্রাস করে।
সেন্ট্রালাইজড মনিটরিং
ইলুমে তুমি তোমার ডেটা অবকাঠামো সম্পর্কে সমস্ত গুরুত্বপূর্ণ তথ্য নিরীক্ষণ করতে পারো কেন্দ্রীয় নিয়ন্ত্রণ বিমান
ইতিহাস সার্ভার
স্পার্ক যখন আপনার অ্যাপ্লিকেশনটি চালায়, তখন এটি একটি এক্সিকিউশন প্ল্যান তৈরি করে, এটিকে পৃথক পর্যায়ে, চাকরি এবং কার্যগুলিতে বিভক্ত করে। পথে, এটি মূল মেট্রিকগুলি ট্র্যাক করে যেমন পর্যায়গুলির মধ্যে স্থানান্তরিত ডেটার সারি এবং বাইটের সংখ্যা, পাশাপাশি অন্যান্য গুরুত্বপূর্ণ পারফরম্যান্স বিশদ।
ইলুমে, সমস্ত চাকরি এই তথ্যটি প্রেরণ করে ইভেন্ট লগ , যা তারপর ইতিহাস সার্ভার দ্বারা সংগঠিত হয়। এটি আপনাকে ইলাম ইউআইয়ের মধ্যে সরাসরি ডেটা সুবিধাজনকভাবে বিশ্লেষণ করতে দেয়।
The Event Log is stored on the default Ilum Storage. To collect data from Spark jobs running on remote clusters, you’ll need to expose the storage. Detailed instructions for this process can be found on the জিকেই সংযোজন গাইড
ইতিহাস সার্ভার এবং আপনার কাজগুলি কীভাবে নিরীক্ষণ করবেন সে সম্পর্কে আরও তথ্যের জন্য, দেখুন মনিটরিং পেজ
গ্রাফাইট
গ্রাফাইট প্রমিথিউসের অনুরূপ একটি মেট্রিক্স সংগ্রহের সরঞ্জাম তবে এটি একটি পুশ-ভিত্তিক মডেলটিতে কাজ করে, এটি বহু-ক্লাস্টার পরিবেশে ব্যবহারের জন্য বিশেষভাবে উপযুক্ত করে তোলে।
সমস্ত ইলাম কাজগুলি তাদের মেট্রিক্স ডেটা গ্রাফাইটে ঠেলে দেওয়ার জন্য প্রাক-কনফিগার করা হয়, আপনার অ্যাপ্লিকেশন এবং অবকাঠামোর কেন্দ্রীভূত পর্যবেক্ষণ সক্ষম করে।
গ্রাফাইট সক্ষম করতে, এতে প্রদত্ত নির্দেশাবলী অনুসরণ করুন পর্যবেক্ষণ পাতা . একবার সক্ষম হয়ে গেলে, আপনার ক্লাস্টারগুলি উল্লেখ করে গ্রাফাইটের সাথে সংহত করতে কনফিগার করুন GKS সংযোজন পাতা .
উপাত্ত বংশ
বংশ একটি আইএলএম বৈশিষ্ট্য যা আপনাকে আপনার প্রকল্পগুলির মধ্যে ডেটাসেট এবং কাজের মধ্যে সম্পর্কগুলি কল্পনা করতে দেয়।
উদাহরণস্বরূপ, আপনি একটি ডেটাফ্লো ভিজ্যুয়ালাইজেশন দেখতে পারেন যা দেখায় যে কীভাবে দুটি কাজ স্টোরেজে ডেটা প্রবেশ করে, তারপরে অন্য একটি কাজ এই ডেটাটিকে চূড়ান্ত ডেটাসেটে প্রক্রিয়া করে। এটি পাইপলাইন জুড়ে আপনার ডেটা কীভাবে সরানো এবং রূপান্তরিত হয় তার একটি স্পষ্ট এবং স্বজ্ঞাত ধারণা সরবরাহ করে।
এই ধরনের ভিজ্যুয়ালাইজেশনগুলি মেটাডেটা ডাটাবেসের জন্য ইলাম দ্বারা স্বয়ংক্রিয়ভাবে তৈরি করা হয়: প্রতিটি ইলাম জব ডাটাবেসে চাকরি সম্পর্কে মেটাডেটা প্রেরণের জন্য প্রাক-কনফিগার করা হয়। আইলাম ইউআই এই ডেটা ব্যবহার করে চাকরি এবং ডেটাসেটের মধ্যে সম্পর্ক উপস্থাপন করে।
এই মেটাডেটা ডাটাবেসকে দূরবর্তী ক্লাস্টারগুলিতে প্রকাশ করে আপনি সহজেই মাল্টি-ক্লাস্টার আর্কিটেকচারে ডেটা প্রবাহ পর্যবেক্ষণ করতে পারেন। এটি কীভাবে প্রকাশ করা যায় সে সম্পর্কে আরও জানতে, দেখুন GKS সংযোজন পাতা
ডেটা বংশ সম্পর্কে আরও জানতে, দেখুন উপাত্ত বংশ পৃষ্ঠা।
ফাইল এক্সপ্লোরার
ফাইল এক্সপ্লোরার একটি আইএলএম বৈশিষ্ট্য যা আপনাকে আপনার সমস্ত ক্লাস্টারের সমস্ত স্টোরেজ সিস্টেমে সঞ্চিত বস্তুর জন্য মেটাডেটা দেখতে সক্ষম করে। এটি আপনার স্টোরেজের সামগ্রীগুলি অ্যাক্সেস করার জন্য বিভিন্ন আইএএম কনফিগারেশন, পরিষেবা অ্যাকাউন্ট বা সরঞ্জামগুলির মধ্যে স্যুইচ করার প্রয়োজনীয়তা দূর করে স্টোরেজ পর্যবেক্ষণকে উল্লেখযোগ্যভাবে সহজ করে। অতিরিক্তভাবে, এটি আপনার দলের সদস্যদের সাথে স্টোরেজ অ্যাক্সেস ভাগ করে নেওয়ার ঝামেলা সরিয়ে দেয়, কারণ প্রত্যেকে সুবিধাজনকভাবে ইলাম ইউআইয়ের মাধ্যমে সরাসরি স্টোরেজ সামগ্রী দেখতে পারে।
এটি সম্পর্কে আরও জানতে ভিজিট করুন ফাইল এক্সপ্লোরার পৃষ্ঠা
যোগসূত্র
সেন্ট্রালাইজড ডেটা অ্যানালিটিক্স
ইলাম আপনাকে ইলাম ইউআইয়ের মাধ্যমে ডেটা বিশ্লেষণ করা সম্ভব করার জন্য সমস্ত সরঞ্জাম সংহত করতে দেয়
Metastore
A metastore is a tool that allows you to save information about your data, such as its schema, location, and other metadata on a central, persistent server. To learn more about it, visit the Data catalogs documentation page.
However, you need to expose Hive Metastore Server to remote clusters. You can do this following instructions from জিকেই সংযোজন গাইড .
টেবিল এক্সপ্লোরার
The Table Explorer lets you explore the contents of your metastores and view samples of your data with the ডাটা এক্সপ্লোরেশন টুল .
To learn more about it, visit the টেবিল এক্সপ্লোরার পৃষ্ঠা।
Ilum SQL
Similar to the Data Exploration Tool, you can access small portions of data by applying SQL operations. However, Ilum SQL provides greater flexibility by enabling you to run complex SQL queries on tables from the Hive Metastore, allowing for more advanced data exploration and analysis.
To learn more about it, visit Ilum SQL পৃষ্ঠা