Run dbt Core on Spark (Kubernetes)

Step 1: Deploy Spark Thrift Server​

Deploy Ilum with the SQL module (acting as a scalable Thrift server) and Hive Metastore enabled:

রেপো যোগ করুন https://charts.ilum.cloud 
Helm installation il and ile/el \ 
--সেট ilum-Hive-metastore.enabled=true \ 
  --set ilum-core.metastore.enabled=true \
  --set ilum-core.metastore.type=hive \
--সেট ilum-sql.enabled=true \ 
--সেট ilum-core.sql.সক্ষম=সত্য 

Step 2: Connect to the Thrift Service​

1. Identify the service:

কুবেক্টল সেবা পান 

এর নামে "এসকিউএল-থ্রিফ্ট-বাইনারি" দিয়ে পরিষেবাটি সন্ধান করুন।

2. Port-forward:

কুবেক্টল পোর্ট-ফরোয়ার্ড এসভিসি / আইএলইউএম-এসকিউএল-থ্রিফ্ট-বাইনারি 10009: 10009 

এটি থ্রিফ্ট সার্ভারকে এখানে উপলব্ধ করে তোলে লোকালহোস্ট:10009 .

3. Test with Beeline (optional):

Beline -u "jdbc:hive2://localhost:10009/default" 

চালনা:

দেখান  টেবিল ; 

একটি খালি তালিকা বা বিদ্যমান টেবিল আশা করুন।

Configuring and Running dbt​

1. Clean Environment (if needed):

পিপ আনইনস্টল ডিবিটি-স্পার্ক পাইস্পার্ক -ওয়াই 

2. Install dbt and dependencies:

pip install pyspark==3.5.7
পিআইপি ইনস্টল ডিবিটি-কোর 
পিপ ইনস্টল "ডিবিটি-স্পার্ক [পাইহাইভ, সেশন]" 
pip install --upgrade thrift

3. Verify installation:

ডিবিটি --সংস্করণ 

Create dbt Project​

1. Initialize a dbt project:

DBT init ilum_dbt_project 

2. Answer the setup prompts:

Which database? 1 (spark)
host: localhost
Desired authentication method: 3 (thrift)
port: 10009
schema: default
threads: 1

This creates the ilum_dbt_project directory and a profiles.yml file in ~/.dbt/.

Configure dbt for Ilum​

সম্পাদনা ~/.dbt/profiles.yml to include both Thrift and Spark Connect targets:

ilum_dbt_project : 
  লক্ষ্য : মিতব্যয়িতা # Default target
  আউটপুট : 
    মিতব্যয়িতা : 
      টাইপ : স্ফুলিঙ্গ 
      পদ্ধতি : মিতব্যয়িতা 
      আয়োজক : লোকালহোস্ট 
      পোর্ট :  10009 
      স্কীমা : ডিফল্ট 
      থ্রেডসমূহ :  1 
      connect_retries :  5 
      connect_timeout :  60 
      connect_args : 
        ইউআরএল :  "jdbc:hive2://localhost:10009/default; পরিবহনমোড = বাইনারি; হাইভ.সার্ভার 2.ট্রান্সপোর্ট.মোড = বাইনারি" 
        ড্রাইভার :  "org.apache.hive.jdbc.HiveDriver" 
        অথ :  "কেউ না" 
    
    spark_connect: 
      টাইপ : স্ফুলিঙ্গ 
      পদ্ধতি : সুসংবদ্ধ 
      আয়োজক : লোকালহোস্ট 
      পোর্ট :  15002 
      স্কীমা : ডিফল্ট 
      থ্রেডসমূহ :  1 

Switch between targets:

# Use Thrift (default)
dbt run

# Use Spark Connect
dbt run --target spark_connect

# Or set default in dbt_project.yml
# target: spark_connect

• টেস্ট সংযোগ:

  Debug dbt

  সিডি ilum_dbt_project 
  ডিবিটি ডিবাগ 
  

  থ্রিফ্ট সার্ভারের সাথে একটি সফল সংযোগ নির্দেশ করে কোনও ত্রুটি উপস্থিত না হওয়া নিশ্চিত করুন।

Create a Model to Write Data​

• মডেল তৈরি করুন:

• মডেল/sample_data.sql

  মডেল/sample_data.sql

  {{ কনফিগারেশন ( বাস্তবায়িত = 'টেবিল' ) }} 
  
  নির্বাচন  
  আইডি , 
  নাম 
  থেকে  ( 
    মানসমূহ  
      ( 1 ,  'অ্যালিস' ) , 
      ( 2 ,  'বব' ) 
  )  হিসেবে t ( আইডি , নাম ) 
  

• রান মডেল:

  Run sample_data

  dbt run --select sample_data
  

Create a Model to Read Data​

• মডেল তৈরি করুন:

• মডেল/read_data.sql

  মডেল/read_data.sql

  {{ কনফিগারেশন ( বাস্তবায়িত = 'টেবিল' ) }} 
  
  নির্বাচন  
  আইডি , 
  নাম , 
  দৈর্ঘ্য ( নাম )  হিসেবে name_length 
  থেকে {{ রেফ ( 'sample_data' ) }} 
  

• রান মডেল:

  Run read_data

  dbt run --select read_data
  

Verify Results​

1. Monitor Job in Ilum UI:

• Access the Ilum UI (URL provided in your Ilum setup, e.g. port-forward)

• Navigate to the Jobs section

• Look for the job named ilum-sql-spark-engine

• Check job status, logs, and execution details to confirm successful processing

  2. Query with Beeline:

  Beline -u "jdbc:hive2://localhost:10009/default" 
  

  3. Run query:

  নির্বাচন  *  থেকে  ডিফল্ট . read_data ; 
  

  Expected output:

  +----+-----+------------+ 
  | আইডি | নাম | name_length| 
  +----+-----+------------+ 
  | 1 | অ্যালিস | 5 | 
  | 2 | বব | 3 | 
  +----+-----+------------+ 
  

স্পার্ক কানেক্ট is the recommended way for modern data engineering teams to run dbt on Kubernetes. It eliminates the need for a heavy intermediate Thrift Server, reducing costs and complexity.

Step 1: Deploy Spark Connect Job​

1. Ilum UI তে লগ ইন করুন

2. Navigate to Workloads → কাজ খণ্ড

3. Click "New Job"বোতাম

4. Configure the job:

   • নাম: spark-connect-dbt
   • Job Type: Select Spark Connect Job

5. Add Spark Connect dependency (if needed):

   Most Spark distributions don't include Spark Connect by default. You'll need to add it as a package dependency.

   • Click the কনফিগারেশন tab
   • এতে প্যারামিটার section, click Add Parameter
   • Add the following parameter:

   Key	মান
   স্পার্ক.জারস.প্যাকেজস	org.apache.spark:spark-connect_2.12:3.5.7

   নোট

   প্রতিস্থাপন 2.12 with your Scala version and 3.5.7 with your Spark version to match your environment.

6. Click Submit

The server starts successfully when you see this in the logs:

Spark Connect server started at: 0:0:0:0:0:0:0:0%0:15002

স্পার্ক কানেক্ট সার্ভারের সাথে সংযোগ করা হচ্ছে ​

Get the Connection URL​

After the job starts, Ilum provides a Spark Connect URL on the job details page.

The URL format is: sc://job-xxxxx-driver-svc:15002

Port-Forward for Local Access​

To connect from your local machine, forward the driver pod's port:

1. Find the driver pod name from the লগ tab in Ilum UI

   যেমন: If URL is sc://job-20250807-1557-ablr2a52vxd-driver-svc:15002,
   the pod name is job-20250807-1557-ablr2a52vxd-driver (remove -svc suffix)

2. পোর্ট-ফরোয়ার্ড:

   Port Forward

   kubectl port-forward <driver-pod-name> 15002:15002
   

   Keep this terminal window open.

Create dbt Project​

একটি ডিবিটি প্রকল্প শুরু করুন (যদি প্রয়োজন হয়):

DBT init ilum_dbt_spark_connect_project 

Answer the setup prompts:

Which database? 1 (spark)
host: localhost
Desired authentication method: 4 (session) #or 3 if u can't see session
port: 15002
schema: default
threads: 1

This creates the ilum_dbt_spark_connect_project directory and updates ~/.dbt/profiles.yml .

Configure dbt for Spark Connect​

If you followed the Thrift setup above, your ~/.dbt/profiles.yml already has both targets configured. You can use the same ilum_dbt_project profile.

To use Spark Connect, simply specify the target:

cd ilum_dbt_project  # Use the same project as Thrift
dbt debug --target spark_connect
dbt run --target spark_connect

Or create a separate project (if you prefer isolation):

সম্পাদনা ~/.dbt/profiles.yml :

ilum_dbt_spark_connect_project : 
  লক্ষ্য : দেব 
  আউটপুট : 
    দেব : 
      টাইপ : স্ফুলিঙ্গ 
      পদ্ধতি : সুসংবদ্ধ 
      আয়োজক : লোকালহোস্ট 
      পোর্ট :  15002 
      স্কীমা : ডিফল্ট 
      থ্রেডসমূহ :  1 

Test the connection:

cd ..
সিডি ilum_dbt_spark_connect_project 
ডিবিটি ডিবাগ 

You should see successful connection messages.

Create a Model to Write Data​

• মডেল তৈরি করুন:

• মডেল/sample_data_connect.sql

  মডেল/sample_data_connect.sql

  {{ কনফিগারেশন ( বাস্তবায়িত = 'টেবিল' ) }} 
  
  নির্বাচন  
  আইডি , 
  নাম 
  থেকে  ( 
    মানসমূহ  
      ( 1 ,  'পিটার' ) , 
      ( 2 ,  'জন' ) 
  )  হিসেবে t ( আইডি , নাম ) 
  

• রান মডেল:

  Run sample_data_connect

  dbt run --select sample_data_connect --target spark_connect
  

Create a Model to Read Data​

• মডেল তৈরি করুন:

• মডেল/read_data_connect.sql

  মডেল/read_data_connect.sql

  {{ কনফিগারেশন ( বাস্তবায়িত = 'টেবিল' ) }} 
  
  নির্বাচন  
  আইডি , 
  নাম , 
  দৈর্ঘ্য ( নাম )  হিসেবে name_length 
  থেকে {{ রেফ ( 'sample_data_connect' ) }} 
  

• রান মডেল:

  Run read_data_connect

  dbt run --select read_data_connect --target spark_connect
  
  নোট

  ঐ --target spark_connect flag ensures dbt uses the Spark Connect configuration instead of the default Thrift target.

Verify Results​

• ইলম ইউআইতে মনিটর জব:

  • ইলাম ইউআই অ্যাক্সেস করুন (আপনার আইলুম সেটআপে সরবরাহ করা ইউআরএল, উদাঃ পোর্ট-ফরোয়ার্ড)।
  • জবস বিভাগে নেভিগেট করুন।
  • স্পার্ক-কানেক্ট নামের চাকরিটি সন্ধান করুন।
  • সফল প্রক্রিয়াকরণ নিশ্চিত করতে কাজের স্থিতি, লগ এবং সম্পাদনের বিশদ পরীক্ষা করুন।

• ডিবিটি জবে ডেটা মুদ্রণ করুন: স্পার্ক গুদামে অবতরণ করা ডেটা যাচাই করতে (উদাঃ, স্পার্ক-গুদাম/read_data_connect আপনার প্রকল্প ডিরেক্টরির সাথে সম্পর্কিত), একটি ডিবিটি ম্যাক্রো তৈরি করুন এবং ক্যোয়ারী এবং মুদ্রণের জন্য একটি কাস্টম অপারেশন চালান read_data_connect table’s contents during the dbt job.

  আপনার ডিবিটি প্রকল্প ডিরেক্টরিতে একটি ম্যাক্রো ফাইল তৈরি করুন:

  • ম্যাক্রো/print_table.sql :

    ম্যাক্রো/print_table.sql

    { % ম্যাক্রো print_table ( table_name )  % } 
    { %  সেট ক্যোয়ারী % } 
        নির্বাচন  *  থেকে {{ রেফ ( table_name ) }} 
    { % সমাপ্তি % } 
    { %  কি লগ ( এর জন্য টেবিলের বিষয়বস্তু মুদ্রণ করা'  ~ table_name ~  ':' ,  সত্য )  % } 
    { %  সেট ফলাফল = run_query ( ক্যোয়ারী )  % } 
    { %  যদি ফলাফল % } 
    { %  জন্য  সারি  মধ্যে ফলাফল % } 
    { %  কি লগ ( সারি ,  সত্য )  % } 
    { % এন্ডফর % } 
    { %  অন্য  % } 
    { %  কি লগ ( 'কোনও তথ্য পাওয়া যায়নি'  ~ table_name ,  সত্য )  % } 
    { % এন্ডআইএফ % } 
    { % এন্ডম্যাক্রো % } 
    

    মুদ্রণ করতে ম্যাক্রো চালান read_data_connect আপনার ডিবিটি মডেলের পরে টেবিল:

    Run Macro

    ডিবিটি রান-অপারেশন print_table --আর্গস '{"table_name": "read_data_connect"}' 
    

    ঐ ডিবিটি রান-অপারেশন কমান্ড ম্যাক্রো কার্যকর করে, ক্যোয়ারিং করে read_data_connect সারণী এবং এর বিষয়বস্তু লগিং করা। ডিবিটি লগ বা কনসোলে প্রত্যাশিত আউটপুট:

    read_data_connect জন্য টেবিল বিষয়বস্তু মুদ্রণ: 
    <অ্যাগেট.রো: (2, 'জন', 4)> 
    <অ্যাগেট.রো: (1, 'পিটার', 5)> 
    
    নোট

    The output appears in the dbt logs or console by default in dbt 1.9.4. For more detailed logs, you can use:

    Debug Macro

    ডিবিটি রান-অপারেশন print_table --args '{"table_name": "read_data_connect"}' --log-level debug