ইলাম স্টোরেজ
বৃহত্তর নমনীয়তা সরবরাহ করতে এবং ইলাম ব্যবহারকারীদের জন্য উপলব্ধ সম্ভাবনার পরিসীমা সমৃদ্ধ করতে, আমরা স্টোরেজ কনফিগার করার সম্ভাবনা প্রসারিত করেছি যার উপর ইলম চালায়। এখন পর্যন্ত, ইলাম দৃঢ়ভাবে এস 3 এর সাথে আবদ্ধ ছিল, তবে সংস্করণ 6.1.0 হিসাবে আমরা এটি পরিবর্তন করেছি। বর্তমানে, 4 ধরণের স্টোরেজগুলির মধ্যে একটি ব্যবহার করা সম্ভব:
- এস 3 - অ্যামাজন সিম্পল স্টোরেজ সার্ভিস বা যে কোনও এস 3 সামঞ্জস্যপূর্ণ ইন্টারফেস যেমন সামুদ্রিক শৈবাল এফএস বা মিনিও .
- জিসিএস - গুগল ক্লাউড স্টোরেজ।
- ওয়াসবস - Azure Blob Storage.
- এইচডিএফএস - Hadoop ডিস্ট্রিবিউটেড ফাইল সিস্টেম।
ইলাম ডিফল্ট ক্লাস্টার স্টোরেজটি হেলম মানগুলির সাথে কনফিগার করা যেতে পারে। হেলম আপগ্রেড কমান্ডটি ব্যবহার করে আপনি কীভাবে তাদের প্রত্যেককে কনফিগার করতে পারেন তা এখানে:
এস 3
হেলম আপগ্রেড \
--set ilum-core.kubernetes.upgradeClusterOnStartup=true \
--সেট ilum-core.kubernetes.storage.type=S3 \
--set ilum-core.kubernetes.s3.host=ilum-minio \
--সেট ilum-core.kubernetes.s3.port=9000 \
--set ilum-core.kubernetes.s3.sparkBucket=ilum-spark \
--set ilum-core.kubernetes.s3.dataBucket=ilum-data \
--set ilum-core.kubernetes.s3.accessKey=minioadmin \
--set ilum-core.kubernetes.s3.secretKey=minioadmin \
--পুনঃব্যবহার-মান ইলুম ইলুম / ইলুম
জিসিএস
হেলম আপগ্রেড \
--set ilum-core.kubernetes.upgradeClusterOnStartup=true \
--সেট ilum-core.kubernetes.storage.type=gcs \
--set ilum-core.kubernetes.gcs.clientEmail=gcsEmail \
--set ilum-core.kubernetes.gcs.privateKey=gcsPrivateKey \
--set ilum-core.kubernetes.gcs.privateKeyId=gcsPrivateKeyId \
--set ilum-core.kubernetes.gcs.sparkBucket=ilum-spark \
--set ilum-core.kubernetes.gcs.dataBucket=ilum-data \
--পুনঃব্যবহার-মান ইলুম ইলুম / ইলুম
WASBS - Azure Blob Storage
হেলম আপগ্রেড \
--set ilum-core.kubernetes.upgradeClusterOnStartup=true \
--সেট ilum-core.kubernetes.storage.type=wasbs \
--set ilum-core.kubernetes.wasbs.accessKey=wasbsAccessKey \
--set ilum-core.kubernetes.wasbs.accountName=wasbsAccountName \
--set ilum-core.kubernetes.wasbs.sparkContainer=ilum-spark \
--set ilum-core.kubernetes.wasbs.dataContainer=ilum-data \
--পুনঃব্যবহার-মান ইলুম ইলুম / ইলুম
এইচডিএফএস
হেলম আপগ্রেড \
--set ilum-core.kubernetes.upgradeClusterOnStartup=true \
--সেট ilum-core.kubernetes.storage.type=hdfs \
--set ilum-core.kubernetes.hdfs.hadoopUsername=hdfs \
--সেট ilum-core.kubernetes.hdfs.config.'core-site\.xml'=base64EncodedCore-SiteFileContent \
--সেট ilum-core.kubernetes.hdfs.config.'yarn-site\.xml'=base64EncodedYarn-SiteFileContent \
--set ilum-core.kubernetes.hdfs.config.'hdfs-site\.xml'=base64EncodedHdfs-SiteFileContent \
--সেট ilum-core.kubernetes.hdfs.config.'mapred-site\.xml'=base64EncodedMapred-SiteFileContent \
--set ilum-core.kubernetes.hdfs.sparkCatalog=ilum-spark \
--set ilum-core.kubernetes.hdfs.dataCatalog=ilum-data \
--সেট ilum-core.kubernetes.hdfs.logDirectory=hdfs://10.1.2.3/user/hdfs/illum-spark/ilum/logs \
--পুনঃব্যবহার-মান ইলুম ইলুম / ইলুম
নোট: এইচডিএফএস কনফিগারেশন ফাইলগুলি অবশ্যই বেস 64 ফর্ম্যাটে এনকোড করা উচিত
সতর্কীকরণ : সতর্কতা অবলম্বন করুন, আপনি যদি ক্লাস্টারের স্পার্ক স্টোরেজ পরিবর্তন করতে চান তবে নিশ্চিত হয়ে নিন যে এটিতে গ্রুপ বা কাজ বরাদ্দ করা হয়নি, অন্যথায় আপডেটের পরে এগুলি সরানোর সময় সমস্যা হতে পারে
আপনি উপরের বিকল্পগুলির মধ্যে কোনটি চয়ন করেন তার উপর নির্ভর করে একটি ডিফল্ট ক্লাস্টার এবং স্পার্ক ইতিহাস সার্ভার, যদি সক্ষম করা থাকে তবে এই নির্দিষ্ট স্টোরেজের সাথে কনফিগার করা হবে।
ক্লাস্টার তৈরির স্তরে প্রতিটি ইলাম ক্লাস্টারে একাধিক স্টোরেজ বরাদ্দ করা যেতে পারে, তাদের প্রত্যেকের প্রয়োজনীয় কনফিগারেশন এই ক্লাস্টারের স্পার্ক জবগুলিতে স্থানান্তরিত হয়, যাতে আমরা সহজেই সেই স্টোরেজগুলিতে অবস্থিত ইলাম টেবিলগুলি অ্যাক্সেস করতে পারি।
যেমন
আপনি কীভাবে আপনার স্পার্ক জবগুলিতে মাল্টি স্টোরেজ ইলাম ক্লাস্টারের সুবিধা নিতে পারেন তার উদাহরণ খুঁজে পেতে পারেন সংগ্রহস্থল