কুবারনেটসে ডেটা সায়েন্স দিয়ে শুরু করা - জুপিটার এবং জেপেলিন
এটি কোন গোপন বিষয় নয় যে ডেটা অ্যানালিটিক্স সম্প্রদায় আরও ওপেন সোর্স এবং ক্লাউড-ভিত্তিক সরঞ্জামগুলি ব্যবহার করার দিকে এগিয়ে চলেছে। Apache Zeppelin এবং Jupyter নোটবুক আজ তথ্য বিজ্ঞানীদের দ্বারা ব্যবহৃত সবচেয়ে জনপ্রিয় সরঞ্জাম দুটি। এই ব্লগ পোস্টে, আমরা আপনাকে কীভাবে এই নোটবুকগুলির সাথে সহজেই ইলুমকে সংহত করতে পারি তা দেখাব যাতে আপনি k8s এ আপনার ডেটা অ্যানালিটিক্স ওয়ার্কলোড চালাতে পারেন।
ডেটা সায়েন্সের জন্য কুবারনেটস
বড় ডেটা এবং ডেটা-নিবিড় অ্যাপ্লিকেশনগুলির উত্থানের সাথে সাথে ডেটা সায়েন্স ওয়ার্কলোডগুলি পরিচালনা ও স্থাপন করা ক্রমবর্ধমান জটিল হয়ে উঠেছে। এখানেই কুবারনেটস আসে, কারণ এটি জুপিটার এবং জেপেলিনের মতো ইন্টারেক্টিভ কম্পিউটিং প্ল্যাটফর্মগুলি চালানোর জন্য একটি স্কেলযোগ্য এবং নমনীয় প্ল্যাটফর্ম সরবরাহ করে।
ডেটা সায়েন্স সম্প্রদায় দীর্ঘদিন ধরে জুপিটার নোটবুক ব্যবহার করে আসছে। তবে কুবারনেটে ডেটা সায়েন্স চালানোর বিষয়ে কী? আমরা কি কে 8 এ জুপিটার নোটবুক ব্যবহার করতে পারি? উত্তর হল হ্যাঁ! এই ব্লগ পোস্টটি আপনাকে জুপিটার নোটবুক এবং জেপেলিনের সাথে কুবারনেটে ডেটা সায়েন্স কীভাবে চালাবেন তা দেখাবে।
আমরা গণনা বাড়ানোর জন্য অ্যাপাচি স্পার্ক এবং ইলাম ইন্টারেক্টিভ সেশন ব্যবহার করব। ইন্টারেক্টিভ সেশন বৈশিষ্ট্যটি আপনাকে স্পার্ক কোড জমা দিতে এবং রিয়েল টাইমে ফলাফলগুলি দেখতে দেয়। ডেটা অন্বেষণ এবং বিভিন্ন অ্যালগরিদম চেষ্টা করার এটি দুর্দান্ত উপায়। অ্যাপাচি স্পার্কের সাহায্যে আপনি সহজেই প্রচুর পরিমাণে ডেটা প্রক্রিয়া করতে পারেন এবং ইলামের ইন্টারেক্টিভ সেশন বৈশিষ্ট্যটি বিভিন্ন কোড স্নিপেটগুলি চেষ্টা করা এবং তাত্ক্ষণিকভাবে ফলাফলগুলি দেখতে সহজ করে তোলে।
ইলুম, অ্যাপাচি লিভি এবং স্পার্কম্যাজিক
তথ্য বিজ্ঞানী এবং প্রকৌশলীদের জন্য কুবারনেটে স্পার্ক চালানো সহজ করার জন্য ইলাম তৈরি করা হয়েছিল। আমরা বিশ্বাস করি যে এই প্রক্রিয়াটি সহজ করে, আমরা ব্যবহারকারীদের এই প্রযুক্তিগুলি দিয়ে শুরু করা সহজ করতে পারি এবং ডেটা সায়েন্স সম্প্রদায়ের মধ্যে k8s গ্রহণ বাড়িয়ে তুলতে পারি।
ইলাম লিভি বিশ্রাম ইন্টারফেস প্রয়োগ করে, তাই এটি হিসাবে ব্যবহার করা যেতে পারে অ্যাপাচি লিভির প্রতিস্থাপন যে কোনো পরিবেশে। আমরা দেখাব কীভাবে স্পার্কম্যাজিকের সাথে ইলুমকে সংহত করা যায়।
ইলাম এবং লিভি উভয়ই দীর্ঘ-চলমান স্পার্ক প্রসঙ্গগুলি চালু করতে পারে যা একাধিক ক্লায়েন্টের দ্বারা একাধিক স্পার্ক কাজের জন্য ব্যবহার করা যেতে পারে। যাইহোক, দুটি মধ্যে কিছু মূল পার্থক্য আছে।
ইলাম ভালভাবে রক্ষণাবেক্ষণ করা এবং সক্রিয়ভাবে উন্নত সফ্টওয়্যার, নতুন লাইব্রেরি এবং বৈশিষ্ট্যগুলির সাথে আপডেট করা হয়েছে। অন্যদিকে, লিভির একটি শক্তিশালী সম্প্রদায় রয়েছে যা অনেকগুলি অ্যাপ্লিকেশনের সাথে একীকরণ তৈরি করেছে। দুর্ভাগ্যক্রমে, লিভির বিকাশ স্থবির হয়ে পড়েছে এবং এর কারণে লিভি ক্লাউড নেটিভ রূপান্তরের জন্য প্রস্তুত নয়।
ইলাম সহজেই উপরে এবং নীচে স্কেল করতে পারে এবং এটি অত্যন্ত উপলব্ধ। লিভির চেয়ে ইলামের একটি বড় সুবিধা হ'ল এটি কুবারনেটে কাজ করে। এটি এর সাথে একীকরণের অনুমতি দেয় সুতা .
উভয় সরঞ্জামই স্পার্ক ক্লাস্টার এবং স্পার্ক অ্যাপ্লিকেশনগুলি পর্যবেক্ষণের জন্য সহজেই ব্যবহারযোগ্য ওয়েব ইন্টারফেস সরবরাহ করে তবে লিভির পুরানো এবং খুব সীমাবদ্ধ বলে মনে হয়।
সুতরাং, কেন আমরা ইলাম এবং লিভির পুরো সুবিধা নেব না?
Ilum-livy-proxy
ইলামের একটি এমবেডেড উপাদান রয়েছে যা লিভি এপিআই প্রয়োগ করে। এটি ব্যবহারকারীদের একই সাথে লিভির আরইএসটি ইন্টারফেস এবং ইলাম ইঞ্জিনের সুবিধা নিতে দেয়।
আমরা যোগ করার জন্য কঠোর পরিশ্রম করছি পাইথন বিদ্যমান ছাড়াও ইলুমকে সমর্থন স্কালা সমর্থন। চোখ রাখুন আমাদের রোডম্যাপ আমাদের অগ্রগতির সাথে আপ টু ডেট থাকতে।
জেপেলিন এবং জুপিটার
জেপেলিন এবং জুপিটার ওয়েব-ভিত্তিক নোটবুক যা ইন্টারেক্টিভ ডেটা অ্যানালিটিক্স এবং বিভিন্ন ভাষার সাথে সহযোগী নথি তৈরি করতে সক্ষম করে।
জুপিটার নোটবুকগুলি পাইথন ব্যবহারকারীদের মধ্যে বিশেষত জনপ্রিয়। প্রকল্পটি আইপিথন পরিবেশ থেকে বিকশিত হয়েছে তবে এখন অনেক ভাষার জন্য সমর্থন নিয়ে গর্ব করে।
জুপিটারের কার্নেলগুলির তালিকা হল বিশাল .
জেপেলিন বড় ডেটা সরঞ্জামগুলির সাথে ভালভাবে সংহত। জেপেলিনে বিভিন্ন দোভাষীকে একটি নোটবুকে একত্রিত করা এবং তারপরে বিভিন্ন অনুচ্ছেদে চালানো সম্ভব।
আপনি জেপেলিন দ্বারা সমর্থিত দোভাষীদের একটি তালিকা দেখতে পারেন এখানে
ইলুমের সাথে নোটবুকগুলি একীভূত করা হচ্ছে
সেটআপ ইলম
আসুন কুবারনেটসে অ্যাপাচি স্পার্ক ক্লাস্টার চালু করে শুরু করা যাক। ইলুমের সাথে, এটি করা বেশ সহজ। আমরা এই নিবন্ধের উদ্দেশ্যে মিনিকুব ব্যবহার করব। প্রথমে আমাদের যা করতে হবে তা হ'ল একটি কুবারনেটস ক্লাস্টার চালানো:
মিনিকিউব শুরু --সিপিইউএস 4 --মেমরি 12288 --অ্যাডনস মেট্রিক্স-সার্ভার একবার মিনিকুব চালু হয়ে গেলে, আমরা ইলুমের ইনস্টলেশনে যেতে পারি। প্রথমে, আসুন একটি হেলম চার্ট সংগ্রহস্থল যুক্ত করি:
রেপো যোগ করুন https://charts.ilum.cloud ইলামে জেপেলিন এবং জুপিটার উভয়ই অন্তর্ভুক্ত রয়েছে তবে এগুলি অবশ্যই ইলাম-লিভি-প্রক্সি সহ ইনস্টলেশন সেটিংসে ম্যানুয়ালি সক্ষম করতে হবে।
হেলম ইনস্টল ইলুম ইলুম / ইলুম --সেট ইলুম-জেপেলিন.সক্ষম = সত্য --সেট ইলুম-জুপিটার.সক্ষম = সত্য --সেট ইলুম-লিভি-প্রক্সি.সক্ষম = সত্য সমস্ত পড আরম্ভ করতে কিছুটা সময় নিতে পারে। আপনি কমান্ডটি দিয়ে স্থিতি পরীক্ষা করতে পারেন:
কুবেক্টল শুঁটি পান 
জুপিটার
আসুন শুরু করা যাক:
কুবেক্টল পোর্ট-ফরোয়ার্ড এসভিসি / আইএলইউএম-জুপিটার 8888: 8888 ইলাম জুপিটার নোটবুকগুলিতে অ্যাপাচি স্পার্কের সাথে কাজ করতে স্পার্কম্যাগিক ব্যবহার করে। ডিফল্টরূপে, জুপিটার (স্পার্কম্যাগিক লিব ইনস্টল করা সহ) 8888 পোর্টে চলবে। সার্ভারটি অ্যাক্সেস করতে, আপনার ব্রাউজারটি খুলুন এবং localhost:8888 এ যান। আপনাকে লগগুলি থেকে একটি পাসওয়ার্ড দিয়ে লগ ইন করতে হবে, বা আপনি ডোমেনের পরিবর্তে "লোকালহোস্ট" দিয়ে পুরো ইউআরএলটি অনুলিপি করে আটকাতে পারেন।
Kubectl logs ilum-Jupyter-85f6d9bfb8-T642d 
জুপিটার ওপেন হয়ে গেলে আমাদের পাইথন 3 নোটবুক চালু করতে হবে:
আসুন এখন স্পার্ক ম্যাজিক লোড করতে এবং একটি এন্ডপয়েন্ট সেট আপ করতে নিম্নলিখিত কমান্ডগুলি চালাই।
1. প্রথমত, আমাদের স্পার্ক ম্যাজিক এক্সটেনশনটি লোড করতে হবে। আপনি নিম্নলিখিত কমান্ডটি চালিয়ে এটি করতে পারেন:
%load_ext sparkmagic.magics 2. এরপরে, আমাদের একটি শেষ পয়েন্ট সেট আপ করতে হবে। একটি এন্ডপয়েন্ট কেবল একটি ইউআরএল যা একটি নির্দিষ্ট স্পার্ক ক্লাস্টারকে নির্দেশ করে। আপনি নিম্নলিখিত কমান্ডটি চালিয়ে এটি করতে পারেন:
%manage_spark 
বান্ডিলড জুপিটার বাক্সের বাইরে কাজ করতে প্রস্তুত এবং একটি পূর্বনির্ধারিত এন্ডপয়েন্ট ঠিকানা রয়েছে, যা লিভি-প্রক্সিকে নির্দেশ করে। আপনাকে যা করতে হবে তা হ'ল ড্রপডাউন তালিকা থেকে এই এন্ডপয়েন্টটি চয়ন করুন এবং সেশন তৈরি করুন বোতামটি ক্লিক করুন। এতো সোজা কথা। এখন জুপিটার একটি স্পার্ক সেশন তৈরির জন্য ইলুম-লিভি-প্রক্সির মাধ্যমে ইলুম-কোরের সাথে সংযোগ স্থাপন করবে। স্পার্ক ধারকটি চালু এবং চলমান হলে এটি কয়েক মিনিট সময় নিতে পারে। একবার প্রস্তুত হয়ে গেলে, আপনি তথ্য পান যে একটি স্পার্ক সেশন উপলব্ধ।
আপনি এখন এটির বিরুদ্ধে স্পার্ক কোড চালানোর জন্য আপনার ইলাম সেশনটি ব্যবহার করতে পারেন। তুমি সেশনে যে নামটি বরাদ্দ করেছেন তাতে ব্যবহৃত হবে %%sস্পার্ক ম্যাজিক কোড রান করার জন্য।
Apache Zeppelin
আসুন শুরু করা যাক:
কুবেক্টল পোর্ট-ফরোয়ার্ড এসভিসি / আইএলইউএম-জেপেলিন 8080: 8080 জুপিটারের মতো, আমরা ইলুমের সাথে জেপেলিন নোটবুকটিও বান্ডিল করেছি। দয়া করে সচেতন থাকুন যে চিত্রের আকার বৃদ্ধির কারণে ধারক তৈরির সময় বাড়ানো যেতে পারে। ধারকটি তৈরি এবং চলমান হওয়ার পরে, আপনি http://localhost:8080 এ আপনার ব্রাউজারে জেপেলিন নোটবুকটি অ্যাক্সেস করতে সক্ষম হবেন।
- কোড কার্যকর করতে, আমাদের একটি নোট তৈরি করতে হবে:
২. যেহেতু ইলুমের সাথে যোগাযোগ লিভি-প্রক্সির মাধ্যমে পরিচালিত হয়, তাই আমাদের ডিফল্ট দোভাষী হিসাবে লিভি বেছে নিতে হবে।
৩. এবার নোটটি ওপেন করে প্যারাগ্রাফে কিছু কোড বসিয়ে দেইঃ
জুপিটারের মতোই, জেপেলিনের একটি পূর্বনির্ধারিত কনফিগারেশনও রয়েছে যা ইলুমের জন্য প্রয়োজনীয়। আপনি সহজেই সেটিংস কাস্টমাইজ করতে পারেন। উপরের ডানদিকে কোণায় প্রসঙ্গ মেনুটি খুলুন এবং দোভাষী বোতামটি ক্লিক করুন।
দোভাষী এবং তাদের বৈশিষ্ট্যগুলির একটি দীর্ঘ তালিকা রয়েছে যা কাস্টমাইজ করা যেতে পারে।
জেপেলিন দোভাষী প্রক্রিয়া চালানোর জন্য 3 টি ভিন্ন মোড সরবরাহ করে: ভাগ করা, স্কোপড এবং বিচ্ছিন্ন। তুমি ইন্টারপ্রেটার বাইন্ডিং মোড সম্পর্কে আরও জানতে পারো এখানে .
জুপিটার এবং জেপেলিন ডেটা সায়েন্সের জন্য দুটি জনপ্রিয় সরঞ্জাম এবং এগুলি এখন কে 8 এ উপলব্ধ। এর মানে হল যে তথ্য বিজ্ঞানীরা এখন তাদের ডেটা সায়েন্স অ্যাপ্লিকেশনগুলি পরিচালনা এবং স্থাপন করতে কুবারনেটস ব্যবহার করতে পারেন।
ইলাম জুপিটার এবং জেপেলিন ব্যবহার করে এমন ডেটা বিজ্ঞানীদের জন্য কয়েকটি সুবিধা দেয়। প্রথমত, ইলাম জুপিটার এবং জেপেলিনের জন্য একটি পরিচালিত পরিবেশ সরবরাহ করতে পারে। এর অর্থ হ'ল ডেটা বিজ্ঞানীদের তাদের নিজস্ব কুবারনেটস ক্লাস্টার পরিচালনা করার বিষয়ে চিন্তা করতে হবে না। দ্বিতীয়ত, ইলাম কুবারনেটে ডেটা সায়েন্স দিয়ে শুরু করার একটি সহজ উপায় সরবরাহ করে। ইলুমের সাথে, ডেটা বিজ্ঞানীরা কেবল একটি জুপিটার বা জেপেলিন উদাহরণ চালু করতে পারেন এবং তাদের ডেটা অন্বেষণ শুরু করতে পারেন।
সুতরাং আপনি যদি কোনও ডেটা বিজ্ঞানী হন যিনি কুবারনেটসে ডেটা সায়েন্স দিয়ে শুরু করতে চান তবে ইলুমটি দেখুন। ইলুমের সাহায্যে আপনি নিজের কুবারনেটস ক্লাস্টার পরিচালনা করার বিষয়ে চিন্তা না করেই দ্রুত এবং সহজেই শুরু করতে পারেন।
সামগ্রিকভাবে, কুবারনেটসে ডেটা সায়েন্স কারও কর্মপ্রবাহকে উন্নত করার এবং আরও সহযোগিতার অনুমতি দেওয়ার দুর্দান্ত উপায় হতে পারে। তবে, খুব গভীরে ডুব দেওয়ার আগে সিস্টেমটি এবং এটি কীভাবে কাজ করে তার প্রাথমিক বোঝার সাথে শুরু করা গুরুত্বপূর্ণ। এটি বলার সাথে সাথে, জুপিটার এবং জেপেলিন কুবারনেটে ডেটা সায়েন্স দিয়ে শুরু করতে সহায়তা করার জন্য দুটি দুর্দান্ত সরঞ্জাম।
কুবারনেটস কি সত্যিই ডেটা সায়েন্সের জন্য প্রয়োজনীয়?
কুবারনেটস হ'ল কনটেইনারাইজড অ্যাপ্লিকেশনগুলির স্থাপনা, স্কেলিং এবং পরিচালনার স্বয়ংক্রিয় করার জন্য একটি ওপেন সোর্স সিস্টেম। এটি পাত্রে গ্রুপ করে যা সহজ পরিচালনা এবং আবিষ্কারের জন্য লজিক্যাল ইউনিটগুলিতে একটি অ্যাপ্লিকেশন তৈরি করে।
ডেটা সায়েন্স হ'ল কাঠামোগত বা অকাঠামোগত বিভিন্ন আকারে ডেটা থেকে জ্ঞান বা অন্তর্দৃষ্টি আহরণের একটি প্রক্রিয়া, যা সিদ্ধান্ত বা ভবিষ্যদ্বাণী করতে ব্যবহার করা যেতে পারে।
সুতরাং, কুবারনেটস কি সত্যিই ডেটা সায়েন্সের জন্য প্রয়োজনীয়? উত্তর হ্যাঁ এবং না। যদিও কে 8 গুলি ডেটা সায়েন্স অ্যাপ্লিকেশনগুলির স্থাপনা এবং পরিচালনাকে স্বয়ংক্রিয় করতে সহায়তা করতে পারে, এটি কঠোরভাবে প্রয়োজনীয় নয়। ডেটা বিজ্ঞানীরা এখনও তাদের অ্যাপ্লিকেশনগুলি স্থাপন এবং পরিচালনা করতে অন্যান্য পদ্ধতি ব্যবহার করতে পারেন। যাইহোক, কুবারনেটস একাধিক ডেটা সায়েন্স অ্যাপ্লিকেশন পরিচালনার জন্য একটি ইউনিফাইড প্ল্যাটফর্ম সরবরাহ করে তাদের জীবনকে আরও সহজ করে তুলতে পারে।