Create a storage
ইলাম আপনাকে আপনার ক্লাস্টারগুলিতে জিসিএস, এস 3, ডাব্লুএএসডিবি এবং এইচডিএফএস স্টোরেজ লিঙ্ক করতে দেয়। এই জাতীয় লিঙ্কটি ইলুমকে স্বয়ংক্রিয়ভাবে আপনার সমস্ত কাজ কনফিগার করতে দেয় আপনার কাছে যে স্টোরেজ রয়েছে তা ব্যবহার করতে। এইভাবে স্টোরেজ থেকে ডেটা লোড এবং সংরক্ষণ করতে আপনাকে অতিরিক্ত স্পার্ক প্যারামিটার যুক্ত করতে হবে না।
সিম্পল স্টোরেজ
গুগল ক্লাউড স্টোরেজ
1. একটি গুগল ক্লাউড স্টোরেজ তৈরি করা
ডেমো:
- একটি গুগল ক্লাউড তৈরি করুন প্রকল্প
- ক্লিক করুন প্রকল্প নির্বাচক উপরের বাম কোণে
- তৈরি বোতামে ক্লিক করুন এবং একটি প্রকল্প তৈরি করুন বা একটি বিদ্যমান চয়ন করুন
- একটি তৈরি করুন জিসিএস
- টাইপ জিসিএস অনুসন্ধান বারে এবং চয়ন করুন ক্লাউড স্টোরেজ বিকল্প
- টিপুন বালতি তৈরি করুন
- অঞ্চল কনফিগারেশন এবং একটি নির্দিষ্ট করুন বালতি নাম
- তৈরি সেবা হিসাব
- টাইপ আইএএম অনুসন্ধান বারে এবং আইএএম ড্যাশবোর্ডে যান
- পরিষেবা অ্যাকাউন্ট বিভাগে যান এবং একটি তৈরি করুন সেবা হিসাব এর নাম উল্লেখ করে
- আপনি সবেমাত্র তৈরি করেছেন এমন পরিষেবা অ্যাকাউন্টটি চয়ন করুন এবং এতে কীগুলি যুক্ত করুন
কীগুলি আপনার ডোনলোডস ফোল্ডারে জেএসওএন (ডিফল্টরূপে) হিসাবে ইনস্টল করা হবে।
এই জেএসওএন থাকবে private_key , private_key_id এবং client_email বৈশিষ্ট্য - তারা ইলাম থেকে জিসিএসের সাথে সংযোগ করতে ব্যবহার করা হবে।
2. আপনার ডিফল্ট ক্লাস্টারে জিসিএস যুক্ত করা
ডেমো:
- স্টোরেজ এডিটিং পৃষ্ঠায় যান
- আপনি যেখানে স্টোরেজ যুক্ত করতে চান সেখানে একটি ক্লাস্টার চয়ন করুন
- "স্টোরেজ যুক্ত করুন" ক্লিক করুন
- বালতি এবং নাম স্পেকফাই করুন
- জিসিএস অনুমোদনের বিশদ সরবরাহ করুন:
- পূর্ববর্তী পদক্ষেপ থেকে JSON ফাইলটি পান
- ইমেইলে ফিট করুন
- আপনার পরিষেবা অ্যাকাউন্টের ব্যক্তিগত কীতে ফিট করুন
- তোমার পরিষেবা অ্যাকাউন্টের ব্যক্তিগত কী আইডিতে ফির
৩. সংযোগ কাজ করে কিনা তা পরীক্ষা করা
-
একটি কোড গ্রুপ তৈরি করুন
-
এই কোডটি পেস্ট করুন:
valডাটা = Seq(
( "Alice", 34) ,
( "Bob", 45) ,
( "Cathy", 29)
)
val columns = Seq( "নাম" , "age")
valডিএফ = স্ফুলিঙ্গ . createDataFrame ( ডাটা ) . toDF( columns: _ * )
ডিএফ . লিখন . format( "csv") . save( "gs://gcs-test-ilum/output/")
আপনার জিসিএস বালতি দিয়ে ইউআরএলে বালতিটি প্রতিস্থাপন করতে ভুলবেন না
- টিপুন কার্যকর
যদি কোডটি একটি ত্রুটি নিক্ষেপ না করে তবে প্রত্যেকটি কাজ করে। অভিনন্দন!