Create and Connect a Remote GKE Cluster to Data Lakehouse

ভূমিকা ​

Ilum empowers you to manage a powerful multi-cluster setup from a single, central control plane. While Ilum automates the deployment and configuration of its core components, setting up the underlying infrastructure requires precise coordination.

This guide provides a comprehensive walkthrough for setting up a multi-cluster architecture on গুগল কুবারনেটস ইঞ্জিন (জিকেই) . You will learn how to:

1. Provision a central control plane (Master Cluster).
2. Set up a dedicated execution environment (Remote Cluster).
3. Establish secure communication between them using client certificates and ingress rules.

This guide walks you through the steps required to launch your first Ilum Job on a remote cluster. We use Google Kubernetes Engine (GKE) as an example, but you can follow the same flow with any Kubernetes distribution.

পূর্বশর্ত ​

Before starting the tutorial, make sure you have:

1. Access to a Google Cloud project with billing enabled.
2. কুবেক্টল installed and configured on your machine (version compatible with your GKE cluster).
3. হেলম installed (v3+).
4. ঐ Google Cloud CLI (gcloud) installed and initialized (you can run gcloud auth loginএবং gcloud config list without errors).
5. ঐ gke-gcloud-auth-plugin installed and available in your PATH so that কুবেক্টল can authenticate to GKE clusters.
6. Permissions in the target Google Cloud project to:
   • create and manage GKE clusters (e.g. Kubernetes Engine Cluster Admin or equivalent),
   • create and use Cloud Storage buckets if you plan to use GCS for data.

What you'll accomplish in this guide:​

Step 1. Provision Master and Remote GKE Clusters​

The foundation of a multi-cluster setup consists of two distinct entities:

• Master Cluster: Hosts the Ilum control plane (UI, API, Scheduler).
• Remote Cluster: dedicated environment where Ilum executes the Spark Jobs dispatched from the master.

একটি প্রকল্প তৈরি করুন ​

• Open Google Cloud Console.
• Click the Project selector in the top-left corner.
• টিপুন New Project.
• Enter a project name and (if applicable) select an Organization/Folder.
• টিপুন তৈরি .
• Select the newly created project in the project selector.

Enable Google Kubernetes Engine API​

• In the Console search bar, type কুবারনেটস ইঞ্জিন .
• Open কুবারনেটস ইঞ্জিন .
• টিপুন সক্ষম to enable the Google Kubernetes Engine API for the selected project.

Switch to the chosen project in gcloud​

• In the Console, open the project selector and copy the Project ID.
• In your terminal, set this project as active:

জিক্লাউড কনফিগারেশন সেট প্রকল্প PROJECT_ID 

• (Optional) If you plan to create clusters in a specific region often, set a default region:

gcloud config set compute/region europe-central2

This avoids errors requiring --region/ --zone.

একটি ক্লাস্টার তৈরি করুন ​

Create the master cluster first:

জিক্লাউড কনটেইনার ক্লাস্টারগুলি মাস্টার-ক্লাস্টার তৈরি করে \ 
--machine-type=n1-standard-8 \ 
  --num-nodes=1

Create the remote cluster with a different name:

gcloud container clusters create remote-cluster \
  --machine-type=n1-standard-4 \
  --num-nodes=1

Step 2. Install Ilum Control Plane on Master Cluster​

Once your clusters are running, the next step is to deploy the Ilum platform on the master cluster.

kubectl এ মাস্টার ক্লাস্টার কনফিগারেশনে স্যুইচ করুন ​

# কুবেক্টল প্রসঙ্গগুলি পান এবং আপনার ক্লাস্টারের সাথে একটি সন্ধান করুন 
kubectl config get-contexts
# switch to it using this command
Kubectl কনফিগারেশন ব্যবহার-প্রসঙ্গ MASTER_CLUSTER_CONTEXT 

নেমস্পেস তৈরি করুন এবং কুবেক্টলে এটিতে স্যুইচ করুন ​

Kubectl নামস্থান ইলুম তৈরি করুন 
Kubectl config set-context --current --namespace=ilum 

Install Ilum using Helm charts:​

রেপো যোগ করুন https://charts.ilum.cloud 
helm install ilum -n ilum ilum/ilum

Step 3. Configure Authentication for Remote Cluster Access​

Why this is needed:

When you created the remote cluster with gcloud, it was automatically added to your kubeconfig with your Google Cloud account credentials. However, Ilum doesn't have access to your Google account.

Ilum needs its own authentication method - client certificates - to connect to and manage the remote cluster. This section creates those certificates.

This is similar to how কুবেক্টল authenticates to clusters, but we're doing it programmatically for Ilum.

kubectl config use-context gke_<your-project>_<region>_remote-cluster

Step 3.1: Create a Client Key​

What we're doing: Generating a private key that will be used for authentication.

First, create a dedicated directory for the certificates and work there:

mkdir -p ~/remote-cluster
cd ~/remote-cluster

Now generate the private key:

openssl genpkey -algorithm RSA -out client.key 

Step 3.2: Create Certificate Request​

What we're doing: Creating a Certificate Signing Request (CSR) that asks the remote cluster to verify and sign our identity.

প্রতিস্থাপন আমার ইউজার with the username of your choice:

openssl req -new-key client.key -out csr.csr -subj "/CN=myuser" 

Step 3.3: Encode the CSR​

What we're doing: Converting the CSR to base64 format, which is required by Kubernetes.

বিড়াল csr.csr | বেস৬৪ | tr -d '\n' 

Copy the output - you'll need it in the next step.

Step 3.4: Register CSR in Kubernetes​

What we're doing: Submitting the CSR to the remote cluster for approval.

তৈরি csr.yaml (replace আমার ইউজার and paste your encoded CSR):

apiVersion : certificates.k8s.io/v1 
প্রকার : সার্টিফিকেটস্বাক্ষর করার অনুরোধ 
মেটাডেটা : 
  নাম : আমার ইউজার # Replace with your username
স্পেসিফিকেশন : 
  অনুরোধ :  <paste your base64 encoded CSR here> 
  স্বাক্ষরকারীনাম : kubernetes.io/kube - এপিআইসার্ভার - ক্লায়েন্ট 
  ব্যবহার : 
    - ক্লায়েন্ট অথ 

Apply the CSR to the দূরবর্তী ক্লাস্টার :

Kubectl Apply -f csr.yaml 

Step 3.5: Approve and Retrieve the Certificate​

What we're doing: As cluster admin, we approve our own CSR and retrieve the signed certificate.

Approve the CSR:

কুবেক্টল সার্টিফিকেট মাইইউজার অনুমোদন 

Retrieve the signed certificate:

Kubectl get CSR myuser -o jsonpath='{.status.certificate}' | Base64 --decode > client.crt 

Step 3.6: Get CA Certificate​

What we're doing: Extracting the cluster's CA certificate. This will be needed for the optional test in the next section, and later in Step 4 when adding the cluster to Ilum.

Get and save the CA certificate:

kubectl config view --minify --raw -o jsonpath='{.clusters[0].cluster.certificate-authority-data}' | base64 --decode > ca.crt

Verify the certificate was saved correctly:

openssl x509 -in ca.crt -text -noout | head -n 5

Step 3.7: Grant Permissions with Role Binding​

What we're doing: Giving the certificate user (myuser) admin permissions on the remote cluster.

তৈরি রোলবাইন্ডিং.ইয়ামল :

apiVersion : rbac.authorization.k8s.io/v1 
প্রকার : ClusterRoleBinding 
মেটাডেটা : 
  নাম : আমার ইউজার - অ্যাডমিন - বাঁধাই 
বিষয়শ্রেণী : 
  -  প্রকার : ব্যবহারকারী 
    নাম : আমার ইউজার # Match your username
    এপিআইগ্রুপ : rbac.authorization.k8s.io 
ভূমিকারেফ : 
  প্রকার : ক্লাস্টাররোল 
  নাম : ক্লাস্টার - অ্যাডমিন 
  এপিআইগ্রুপ : rbac.authorization.k8s.io 

Apply the role binding to the দূরবর্তী ক্লাস্টার :

Kubectl apply -f rolebinding.yaml 

Step 3.8: Configure Service Account Permissions​

What we're doing: Granting permissions to the ServiceAccount that Spark pods will use.

By default, pods use the ডিফল্ট ServiceAccount in their namespace, but it doesn't have sufficient privileges to create other pods.

তৈরি sa_role_binding.ইয়ামল :

apiVersion : rbac.authorization.k8s.io/v1 
প্রকার : ClusterRoleBinding 
মেটাডেটা : 
  নাম : ইলুম - ডিফল্ট - অ্যাডমিন - বাঁধাই 
ভূমিকারেফ : 
  এপিআইগ্রুপ : rbac.authorization.k8s.io 
  প্রকার : ক্লাস্টাররোল 
  নাম : ক্লাস্টার - অ্যাডমিন 
বিষয়শ্রেণী : 
  -  প্রকার :  ServiceAccount
    নাম : ডিফল্ট 
    নামস্থান : ইলুম # Namespace where Spark jobs will run

Apply the role binding to the দূরবর্তী ক্লাস্টার :

Kubectl Apply -f sa_role_binding.yaml 

(Optional) Test the Client Certificates​

1. Verify certificates are in the directory:

All certificate files should already be in ~/remote-cluster/ from the previous steps:

ls ~/remote-cluster/
# You should see: ca.crt  client.crt  client.key  csr.csr  csr.yaml

2. Get your remote cluster name:

kubectl config view -o jsonpath='{.clusters[*].name}' | tr ' ' '\n' | grep remote

You should see something like: gke_my-project_europe-central2_remote-cluster

Copy this cluster name.

3. Add the certificate-based user to kubectl:

kubectl config set-credentials myuser-cert \
  --client-certificate=$HOME/remote-cluster/client.crt \
  --client-key=$HOME/remote-cluster/client.key

This creates a new user in your kubeconfig that uses certificates instead of your Google account.

4. Create a test context:

kubectl config set-context test-remote-certs \
  --cluster=<paste-your-remote-cluster-name-here> \
  --namespace=default \
  --user=myuser-cert

প্রতিস্থাপন <paste-your-remote-cluster-name-here> with the cluster name from step 2.

5. Test the certificate-based authentication:

kubectl config use-context test-remote-certs
কুবেক্টল শুঁটি পান 

Expected output:

ডিফল্ট নামস্থানে কোনো সংস্থান খুঁজে পাওয়া যায়নি। 

If you see this (or a list of pods), the certificates work! ✅

6. Switch back to your normal context:

# Find your original context
kubectl config get-contexts

# Switch back (replace with your actual context name)
kubectl config use-context gke_<your-project>_<region>_remote-cluster

Step 4. Register the Remote Cluster in Ilum UI​

With your certificates generated and permissions granted, you are now ready to connect the remote cluster to the Ilum control plane.

What you'll provide: All the credentials and connection details you created in Step 3:

Access Ilum UI​

Before you can add the remote cluster to Ilum, you need to access the Ilum web interface.

1. Switch to the master cluster context:

kubectl config use-context gke_<your-project>_<region>_master-cluster

You can verify with: kubectl config current-context

2. Set up port forwarding to Ilum UI:

kubectl port-forward -n ilum svc/ilum-ui 9777:9777

Keep this terminal window open - it needs to run continuously.

3. Open Ilum in your browser:

Open http://localhost:9777 in your web browser.

4. Log in:

• Username: অ্যাডমিন
• Password: অ্যাডমিন

Now you're ready to add the remote cluster to Ilum!

Demo: Adding a Kubernetes Cluster​

পূর্ণ স্ক্রিনে সহায়িকা

ক্লাস্টার তৈরির পৃষ্ঠায় যান ​

• ওয়ার্কলোডে ক্লাস্টার বিভাগে যান
• টিপুন নতুন ক্লাস্টার বোতাম

সাধারণ সেটিংস নির্দিষ্টভাবে উল্লেখ করুন: ​

• আপনি যে নাম এবং বিবরণ চান তা চয়ন করুন।
• এতে ক্লাস্টারের প্রকার সেট করুন কুবেরনেটস
• একটি স্পার্ক সংস্করণ চয়ন করুন

স্পার্ক সংস্করণটি স্পার্ক কাজের জন্য একটি চিত্র নির্বাচন করে নির্দিষ্ট করা হয়েছে।

ইলুমের নিজস্ব চিত্রগুলির ব্যবহার প্রয়োজন, যার মধ্যে প্রাক-ইনস্টল করা সমস্ত প্রয়োজনীয় নির্ভরতা অন্তর্ভুক্ত রয়েছে।

এখানে সমস্ত উপলব্ধ চিত্রের একটি তালিকা রয়েছে:

স্পার্ক কনফিগারেশন নির্দিষ্টভাবে উল্লেখ করুন ​

ক্লাস্টার স্তরে আপনি যে স্পার্ক কনফিগারেশনগুলি নির্দিষ্ট করেন তা সেই ক্লাস্টারে মোতায়েন করা প্রতিটি পৃথক আইলাম কাজে প্রয়োগ করা হবে।

আপনি যদি পুনরাবৃত্তি কনফিগারেশন এড়াতে চান তবে এটি কার্যকর হতে পারে। উদাহরণস্বরূপ, আপনি যদি আইসবার্গকে আপনার স্পার্ক ক্যাটালগ হিসাবে ব্যবহার করেন তবে আপনি এটি ক্লাস্টার স্তরে একবার কনফিগার করতে পারেন এবং তারপরে এই ক্লাস্টারে মোতায়েন করা সমস্ত ইলাম কাজ স্বয়ংক্রিয়ভাবে এই কনফিগারেশনগুলি ব্যবহার করবে।

Important: Set the namespace for Spark jobs

এতে প্যারামিটার section, add:

spark.kubernetes.namespace: ilum

স্টোরেজ যোগ করুন ​

Default cluster storage will be used by Ilum to store all the files required to run Ilum Jobs both provided by user and by Ilum itself.

You can choose any type of storage: এস 3 , জিসিএস , ওয়াসবস , এইচডিএফএস .

Quick setup in the UI:

• ক্লিক করুন "স্টোরেজ যোগ করুন" বোতাম
• Specify the name and choose the storage type (S3, GCS, etc.)
• চয়ন স্পার্ক বালতি - ইলাম জবস ফাইলগুলি সংরক্ষণ করতে ব্যবহৃত প্রধান বালতি
• চয়ন ডাটা বাকেট - আপনি যদি ইলাম টেবিল স্পার্ক ফর্ম্যাট ব্যবহার করেন তবে প্রয়োজন
• Specify storage endpoint and credentials
• ক্লিক করুন "জমা দিন" বোতাম

আপনি যে কোনও সংখ্যক স্টোরেজ যুক্ত করতে পারেন এবং ইলাম জবস সেগুলির প্রত্যেকটি ব্যবহার করার জন্য কনফিগার করা হবে।

কুবারনেটস বিভাগে যান এবং কুবারনেটস কনফিগারেশন নির্দিষ্ট করুন ​

এখানে, আমরা আমাদের কুবারনেটস ক্লাস্টারের সাথে সংযোগ স্থাপনের জন্য সমস্ত প্রয়োজনীয় বিবরণ সহ ইলুম সরবরাহ করি। প্রক্রিয়াটি কুবেক্টল সরঞ্জামের মাধ্যমে ক্লাস্টারের সাথে সংযোগ স্থাপনের অনুরূপ, তবে এখানে এটি ইউআই এর মাধ্যমে করা হয়।

You will need to provide the following:

Once you have specified these items, Ilum will be able to access your Kubernetes cluster.

উপরন্তু, আপনি করতে পারেন:

• একটি প্রয়োজন কুবারনেটস কনফিগার করুন পাসওয়ার্ড আপনার ব্যবহারকারীর জন্য এই ক্ষেত্রে, আপনাকে ইউআইতে এখানে পাসওয়ার্ড নির্দিষ্ট করতে হবে।
• একটি যোগ করুন পাসফ্রেজ ক্লায়েন্ট কী তৈরি করার সময়। আপনি যদি এটি করেন তবে আপনাকে ইউআইতে এখানে পাসফ্রেজটি নির্দিষ্ট করতে হবে।
• নির্দিষ্ট করুন কী অ্যালগরিদম client.key ব্যবহৃত। এটি বাধ্যতামূলক নয়, কারণ এই তথ্যটি সাধারণত কীটির মধ্যেই সংরক্ষণ করা হয়। যাইহোক, এমন কিছু ক্ষেত্রে থাকতে পারে যেখানে আপনাকে এটি স্পষ্টভাবে সংজ্ঞায়িত করতে হবে।

অবশেষে, আপনি ক্লিক করতে পারেন জমা একটি ক্লাস্টার যোগ করার জন্য বোতাম।

অবশেষে, আপনি ক্লিক করতে পারেন জমা একটি ক্লাস্টার যোগ করার জন্য বোতাম।

Step 5. Configure Multi-Cluster Networking​

Why jobs need to communicate:

The Solution: Expose Ilum's services from the master cluster and create DNS aliases in the remote cluster.

Step 5.1: Configure Firewall​

প্রথমত, আপনাকে আপনার জিকেই মাস্টার-ক্লাস্টারে আগত ট্র্যাফিকের অনুমতি দিতে হবে। গুগল ক্লাউড প্রজেক্ট, ট্রাফিক অ্যাক্সেস তার ফায়ারওয়াল দ্বারা পরিচালিত হয়। ফায়ারওয়াল নিয়ম দ্বারা পরিচালনা করা যেতে পারে। রিমোট-ক্লাস্টারকে মাস্টার-ক্লাস্টার পরিষেবাগুলি অ্যাক্সেস করার অনুমতি দেওয়ার জন্য, আমাদের এই নিয়মটি যুক্ত করতে হবে আমাদের মাস্টার-ক্লাস্টারের প্রকল্প:

জিক্লাউড কম্পিউট ফায়ারওয়াল-নিয়ম অনুমতি-প্রবেশ-ট্র্যাফিক তৈরি করুন \ 
--নেটওয়ার্ক ডিফল্ট \ 
--দিক ঢুকিয়ে \ 
--অ্যাকশন অ্যালাউ \ 
--নিয়ম টিসিপি: 80, টিসিপি: 443 \ 
--উৎস-রেঞ্জ 0.0.0.0/0 \ 
  --description "Allow HTTP/HTTPS"

--source-ranges 10.0.0.0/8  # Example: your cluster's CIDR

Step 5.2: Expose Services from Master Cluster​

আপনাকে মাস্টার ক্লাস্টারের পরিষেবাগুলি বাইরের বিশ্বের কাছে প্রকাশ করতে হবে। এটি অর্জন করতে, তাদের ধরণটি লোডব্যালেন্সারে পরিবর্তন করুন। ইলাম হেলম কনফিগারেশন ব্যবহার করে এই প্রক্রিয়াটিকে সহজবোধ্য করে তোলে।

To expose Ilum Core, gRPC, and MinIO to the outside world, run the following command in your terminal:

helm upgrade ilum -n ilum ilum/ilum \
  --set ilum-core.service.type="LoadBalancer" \
  --set ilum-core.grpc.service.type="LoadBalancer" \
--set minio.service.type="LoadBalancer" \ 
--পুনঃব্যবহার-মান 

এর পরে আপনার কয়েক মিনিট অপেক্ষা করা উচিত এবং তারপরে চালিয়ে আপনার পরিষেবাগুলি পরীক্ষা করা উচিত

কুবেক্টল সেবা পায় 

এটি দেখতে:

Here you can notice the ilum-core, ilum-grpc and minio services changed their type to LoadBalancer and got public IP. Now you can go to http://<public-ip>:9888 / এপিআই / ভি 1 / গ্রুপ সবকিছু ঠিক আছে কিনা তা পরীক্ষা করার জন্য।

Step 5.3: Create External Services in Remote Cluster​

Switch to remote cluster context:

Before creating external services, make sure you're working on the দূরবর্তী ক্লাস্টার :

kubectl config use-context gke_<your-project>_<region>_remote-cluster

তৈরি external_services.ইয়ামল in the remote cluster:

apiVersion : v1 
প্রকার : সেবা 
মেটাডেটা : 
  নাম : ইলুম - কোর 
  নামস্থান : ইলুম # Must match the namespace where jobs will run
স্পেসিফিকেশন : 
  টাইপ : বহিরাগত নাম 
  বহিরাগত নাম :  34.118.72.123  # Replace with actual EXTERNAL-IP from master cluster
  পোর্ট : 
    -  পোর্ট :  9888 
      টার্গেট পোর্ট :  9888 

--- 
apiVersion : v1 
প্রকার : সেবা 
মেটাডেটা : 
  নাম : ইলুম - জিআরপিসি 
  নামস্থান : ইলুম # Must match the namespace where jobs will run
স্পেসিফিকেশন : 
  টাইপ : বহিরাগত নাম 
  বহিরাগত নাম :  34.118.72.124  # Replace with actual EXTERNAL-IP from master cluster
  পোর্ট : 
    -  পোর্ট :  9999 
      টার্গেট পোর্ট :  9999 

--- 
apiVersion : v1 
প্রকার : সেবা 
মেটাডেটা : 
  নাম : ইলুম - মিনিও 
  নামস্থান : ইলুম # Must match the namespace where jobs will run
স্পেসিফিকেশন : 
  টাইপ : বহিরাগত নাম 
  বহিরাগত নাম :  34.118.72.125  # Replace with actual EXTERNAL-IP from master cluster
  পোর্ট : 
    -  পোর্ট :  9000 
      টার্গেট পোর্ট :  9000 

Apply the external services:

kubectl apply -f external_services.yaml

Components in Multi-Cluster Architecture​

Components compatible with multi-cluster (with additional networking):

Components restricted to single-cluster:

Step 6. Verify the Multi-Cluster Setup​

The final step is to validate your configuration by running a real Spark job on the remote cluster.

Step 1: Access Ilum UI​

1. Switch to master cluster context:

   kubectl config use-context gke_<your-project>_<region>_master-cluster
   

2. Set up port-forwarding:

   kubectl port-forward -n ilum svc/ilum-ui 9777:9777
   

   Keep this terminal window open.

3. Open Ilum in browser:

   • Navigate to http://localhost:9777
   • Login with default credentials: অ্যাডমিন:অ্যাডমিন

Step 2: Create a Test Job​

1. Navigate to Jobs section in Ilum UI

2. Click "New Job +"বোতাম

3. Configure the job:

   • নাম: RemoteClusterTest
   • Job Type: Spark Job
   • Cluster: Select your দূরবর্তী ক্লাস্টার (not master)
   • শ্রেণী: org.apache.spark.examples.SparkPi
   • Language: স্কালা

4. Add Resources:

   • যেতে সংস্থান tab
   • Jars: Upload one of these:
     • Spark 4 / Scala 2.13 (default): spark-examples_2.13-4.1.1.jar
     • Spark 3 / Scala 2.12: spark-examples_2.12-3.5.7.jar

5. Submit the job

Step 3: Verify Execution​

If everything is configured correctly:

✅ Job starts successfully - Pods are created in the remote cluster

✅ Logs appear - You can see Spark initialization and execution logs

✅ Job completes - Final output shows: Pi is roughly 3.14...

Check remote cluster pods:

kubectl config use-context gke_<your-project>_<region>_remote-cluster
Kubectl get pods -n ilum 

You should see Spark driver and executor pods running or completed.

Troubleshooting & FAQ​

Here are solutions to common issues you might encounter when connecting a remote GKE cluster.

পরবর্তী পদক্ষেপ ​

Congratulations! You've successfully set up a robust multi-cluster Ilum environment. You can now:

1. Deploy Spark jobs to your remote cluster from the Ilum UI
2. Monitor job execution across all clusters from one interface
3. Scale horizontally by adding more remote clusters using the same process
4. Optimize costs by using different machine types for different workloads