ইলামে অ্যাপাচি স্পার্ক কানেক্ট: কনফিগারেশন এবং সংযোগ গাইড

Key: স্পার্ক.জারস.প্যাকেজস

মান : org.apache.spark:spark-connect_2.13:4.0.1

Key: স্পার্ক.জারস.প্যাকেজস

মান : org.apache.spark:spark-connect_2.12:3.5.7

If your environment allows DNS resolution of pod names (for example, your client is within the cluster or can resolve the cluster's internal DNS), you can connect using the pod's DNS name. Kubernetes assigns each pod a DNS name of the form <pod-name>। <namespace>.pod.cluster.local ( Kubernetes DNS ). This DNS name resolves to the pod's IP address inside the cluster.

পদক্ষেপ:

• Find the Pod Name: In the Ilum UI, locate the Spark Connect job you started. Note the driver pod name (Ilum may show it in the job details or logs). It will be something like চাকরি-xxxxxx-ড্রাইভার (সঠিক বিন্যাস পৃথক হতে পারে)।
• Construct the URL: Use the pod's fully qualified DNS name. For example, if the pod name is চাকরি-abc123-ড্রাইভার এতে ডিফল্ট নামস্থান, ঠিকানা হবে:

  sc://job-abc123-driver.default.pod.cluster.local:15002 
  
• Connect via Spark Client: Use this URL in your SparkSession builder or Spark shell. For example, in PySpark you can do:
  notebook.ipynb

  থেকে পাইস্পার্ক . এসকিউএল আমদানি স্পার্কসেশন 
  
  স্ফুলিঙ্গ = স্পার্কসেশন . builder. দূরবর্তী ( 
      "sc://job-abc123-driver.default.pod.cluster.local:15002" 
  ) . getOrCreate ( ) 
  

This will create a Spark session that connects remotely to the Spark Connect server at the given DNS address. Ensure that your environment's DNS can resolve .pod.cluster.local ঠিকানা (সাধারণত কেবল তখনই সত্য যদি ক্লাস্টারের মধ্যে বা ভিপিএন এর মাধ্যমে ক্লাস্টার নেটওয়ার্কে চলমান থাকে)।

If DNS resolution is not available, you can use the pod's IP address directly in the Spark Connect URL. This requires that your client environment can reach the pod IP (e.g., if you are on the same network or have appropriate routing to the cluster's pod network).

পদক্ষেপ:

• Get the Pod IP: Find the IP address of the Spark Connect pod. In Ilum UI, check the job details for an IP, or use the CLI: কুবেক্টল গেট পড <pod-name> -ও ওয়াইড to see the pod's IP.
• Construct the URL: Use the IP in place of the host. For example, if the pod IP is 10.42.1.25 , ইউআরএল হবে:

  sc://10.42.1.25:15002 
  
• Connect via Spark Client: Use the IP-based URL in your Spark client. For example:
  connect_by_ip.py

  স্ফুলিঙ্গ = স্পার্কসেশন . builder. দূরবর্তী ( "sc://10.42.1.25:15002") . getOrCreate ( ) 
  

এটি সেই আইপিতে পোর্ট 15002 এর সাথে সংযোগ স্থাপনের চেষ্টা করবে।

আপনার মেশিনটি আসলে স্পার্ক সার্ভারের সেই আইপি ঠিকানায় পৌঁছাতে পারে তা নিশ্চিত করুন।

• যদি আপনার ক্লায়েন্ট হয় ক্লাস্টারের ভিতরে (বা একই ভিপিসি / নেটওয়ার্কে), পড আইপি পৌঁছানো উচিত।
• যদি আপনার ক্লায়েন্ট হয় ক্লাস্টারের বাইরে (e.g., your local laptop), the pod IP is likely not directly routable. In that case, this method will time out or refuse connection. You'd then need to use Method 3 or 4 instead.

If you are connecting from outside the cluster (for example, from your local development environment) and cannot reach the pod IP or DNS directly, a convenient approach is to use Kubernetes port forwarding. Port forwarding opens a tunnel from your local machine to the remote pod's port.

পদক্ষেপ:

1. Run Port-Forward: Open a terminal on your machine that has access to the Kubernetes cluster (where কুবেক্টল কনফিগার করা হয়)। চালনা:
   Port Forward

   কুবেক্টল পোর্ট-ফরোয়ার্ড <pod-name> 15002: 15002 
   
   প্রতিস্থাপন <pod-name> with the Spark Connect pod's name (e.g., চাকরি-abc123-ড্রাইভার ). This command will bind your local port 15002 to the pod's port 15002. You should see output like 127.0.0.1:15002 -> 15002 থেকে ফরোয়ার্ডিং . আপনার স্পার্ক সার্ভারের সাথে সংযোগের প্রয়োজন হওয়ার সময় এই প্রক্রিয়াটি চলমান রাখুন।

2. Connect to Localhost: With the port-forward in place, your local machine is now listening on port 15002. In your Spark client, connect to লোকালহোস্ট:15002 স্পার্ক কানেক্ট ইউআরএল ব্যবহার করে:

   local_script.py

   স্ফুলিঙ্গ = স্পার্কসেশন . builder. দূরবর্তী ( "sc://localhost:15002") . getOrCreate ( ) 
   

   স্পার্ক কানেক্ট ডিফল্টরূপে 15002 পোর্ট ব্যবহার করে ( Quickstart: Spark Connect — PySpark 3.5 documentation), তাই এটি দূরবর্তী সংযোগকে ক্লাস্টারগুলিকে স্পার্ক করার অনুমতি দেয়। sc://localhost:15002 সুড়ঙ্গ দিয়ে ক্লাস্টারে পৌঁছে যাবে। এখন আপনার স্পার্ক সেশনটি দূরবর্তীভাবে ক্লাস্টার স্পার্ক উদাহরণের সাথে সংযুক্ত।

3. Use Spark as Usual: Once connected, you can use the স্ফুলিঙ্গ session as if it were local—all DataFrame operations will execute on the cluster.

এই পদ্ধতিটি প্রায়শই বিকাশের জন্য সবচেয়ে সহজ। আপনার কাজ শেষ হয়ে গেলে, আপনি টিপে পোর্ট-ফরওয়ার্ডিং বন্ধ করতে পারেন Ctrl+C চলমান টার্মিনালে Kubectl পোর্ট-ফরোয়ার্ড আদেশ।

আরও স্থায়ী সমাধানের জন্য বা একাধিক ব্যবহারকারী / ক্লায়েন্টকে সহজেই সংযোগ করার অনুমতি দেওয়ার জন্য, আপনি কুবারনেটস পরিষেবার মাধ্যমে স্পার্ক কানেক্ট সার্ভারটি প্রকাশ করতে পারেন। একটি পরিষেবা স্পার্ক কানেক্ট পডের জন্য একটি স্থিতিশীল নেটওয়ার্ক এন্ডপয়েন্ট (ডিএনএস নাম এবং আইপি) দেয় এবং ঐচ্ছিকভাবে এটি ক্লাস্টারের বাইরে প্রকাশ করতে পারে (যেমন, একটি লোডব্যালেন্সার বা নোডপোর্টের মাধ্যমে)।

পরিষেবার মাধ্যমে প্রকাশ করার পদক্ষেপগুলি:

• Ensure Pod Label: If you haven't already labeled the Spark Connect pod (as suggested in step 5 of the setup above), do so now. You can add a label on the fly with kubectl:

  Kubectl লেবেল পড <pod-name> টাইপ = স্পার্ককানেক্ট 
  

  (যদি পডটি ইতিমধ্যে স্পার্ক কনফিগের মাধ্যমে লেবেলযুক্ত থাকে তবে এই পদক্ষেপের প্রয়োজন নেই))

• Create a Service: Define a Kubernetes Service YAML that targets this pod by its label.

  spark-connect-service.yaml

  apiVersion : v1 
  প্রকার : সেবা 
  মেটাডেটা : 
    নাম : স্ফুলিঙ্গ - connect- সেবা 
    নামস্থান : ইলুম # use the namespace where your Spark Connect pod is running
  স্পেসিফিকেশন : 
    নির্বাচক : 
      টাইপ : স্পার্ককানেক্ট # this label should match the pod's label
    পোর্ট : 
      -  নাম : স্পার্ককানেক্ট 
        প্রোটোকল : টিসিপি 
        পোর্ট :  15002         # service port (clients will use this)
        টার্গেট পোর্ট :  15002   # target port on the pod
        নোডপোর্ট :  30002    # node port (external users will use this nodeip:30002)
    টাইপ : নোডপোর্ট # ClusterIP is only accessible within the cluster
    # বাহ্যিক অ্যাক্সেসের জন্য, আপনি এখানে টাইপ: নোডপোর্ট বা লোডব্যালেন্সার ব্যবহার করতে পারেন। 
  

  kubectl apply -f spark-connect-service.yaml
  

  এই পরিষেবাটি যে কোনও পডে ট্র্যাফিক রুট করবে প্রকার: স্পার্ককানেক্ট label on port 15002. You can verify with কুবেক্টল এসভিসি স্পার্ক-কানেক্ট-সার্ভিস পান .

1. Inside Cluster or VPN: Use the service's DNS name or cluster IP. For example, within the cluster (or on a VPN that can resolve cluster DNS), the URL would be: sc://spark-connect-service.default.svc.cluster.local:15002 বা sc://spark-connect-service:15002 এই ঠিকানার সমস্ত ট্র্যাফিক স্পার্ক কানেক্ট পডে অগ্রবর্তী করা হবে।

2. Outside Cluster (if exposed): If you set the Service type to NodePort or LoadBalancer, use the external address. For NodePort, that might be sc://<node-ip>:30002 . লোডব্যালেন্সারের জন্য, এটি হতে পারে sc://<load-balancer-host>:15002 আপনার ক্লাউড সরবরাহকারী কীভাবে এটি বরাদ্দ করে তার উপর নির্ভর করে। (এগুলি উন্নত পরিস্থিতি; প্রায়শই পোর্ট-ফরওয়ার্ডিং বাহ্যিক অ্যাক্সেসের জন্য সহজ))

Using a Service has the benefit of a stable name – you don't need to know the exact pod name or IP after it's set up. It also allows you to change the backing pod (e.g., restart the Spark Connect job) without changing how clients connect (as long as the new pod has the same label).