ইলাম টেবিল

libraryDependencies += "cloud.ilum" %  "ilum-spark-format" %  "6.1.0"

আমদানি  মেঘ . ইলুম . implicits. { 
    IlumDataFrameReader,  
    IlumDataFrameWriter,  
    IlumDataFrameWriterV2,  
    IlumDataStreamWriter,  
IlumDataStreamReader 
} 

val filepath =  "s3a://ilum-files/ilum-tables/table"
val tableFormat =  Some( "delta") 

ইলম পদ্ধতি ছাড়া 
val mydf = স্ফুলিঙ্গ . রিড . format( "ilum") . বিকল্প ( "tableFormat",  tableFormat) . load( filepath) 

ইলুম পদ্ধতি সহ 
val mydf2 =  sparkSession. রিড . ইলুম ( filePath,  tableFormat) 

val filepath =  "s3a://ilum-files/ilum-tables/table"
val tableFormat =  "delta"

valডাটা =  Seq( 
  ( 1 ,  "Alice") , 
  ( 2 ,  "Bob") , 
  ( 3 ,  "Cathy") 
) 

valডিএফ = স্ফুলিঙ্গ . createDataFrame ( ডাটা ) . toDF( "আইডি" ,  "নাম" ) 

DataframeWriterV1 ব্যবহার করে 

আপনি এই মত সিনট্যাক্স ব্যবহার করতে পারেন 
ডিএফ . লিখন . format( "ilum") . বিকল্প ( "tableFormat",  tableFormat) . save( filepath) 

অথবা তুমি ইলুম ফাংশন ব্যবহার করতে পারো 

ডিএফ . লিখন . ইলুম ( filepath +  "/1",  format) 

প্রাক-কনফিগার করা ডেল্টা ক্যাটালগ সহ ডেটাফ্রেমরাইটারভি 2 ব্যবহার করা 
valক্যাটালগ =  "catalog"
valসারণী =  "tablename"
ডিএফ . writeTo( s " ${ক্যাটালগ } . ${সারণী } " ) . ইলুম ( format,  None ) . createOrReplace( ) 

val filepath =  "s3a://ilum-files/ilum-tables/streaming"
val tableFormat =  "delta"

val input = স্ফুলিঙ্গ . readStream
    . format( "ilum") 
    . বিকল্প ( "tableFormat",  tableFormat) 
    . load( filepath) 

valক্যোয়ারী =  input. writeStream 
. outputMode( "append")  
    . format( "ilum") 
    . বিকল্প ( "tableFormat",  tableFormat) 
    . বিকল্প ( "path",  filepath +  "_copy") 
    . বিকল্প ( "checkpointLocation",  filepath +  "_checkpoint") 
    . start( ) 

ক্যোয়ারী . awaitTermination( ) 

val filePath =  s "s3a://ilum-files/ilum-tables/smth"
val tableFormat =  Some( "delta") 

valডিএফ =  sparkSession. readStream. ইলুম ( filePath,  tableFormat) 

valক্যোয়ারী = ডিএফ . writeStream
    . বিকল্প ( "checkpointLocation",  filePath +  "_checkpoint") 
    . ইলুম ( filePath+ "_copy",  tableFormat) 

ক্যোয়ারী . awaitTermination( )