Spark apache cassandra

Apache Spark

Abrimos un terminal con el siguiente comando:

 
  
    
            
 spark-shell --packages com.datastax.spark:spark-cassandra-connector_2.12:3.1.0 --conf spark.cassandra.connection.host=127.0.0.1

Agregamos los variable proveedores y mandamos a llamar show

 
         
  val proveedores = spark.
    read.
    format("org.apache.spark.sql.cassandra").
    options(Map( "table" -> "proveedor", "keyspace" -> "productodb")).
    load()


proveedores.show()

Creamos la variable productos y luego mostramos show

       
            
          
        val productos = spark.
    read.
    format("org.apache.spark.sql.cassandra").
    options(Map( "table" -> "producto", "keyspace" -> "productodb")).
    load()


productos.show()

Creamos las vistas temporales

       
         
   proveedores.createOrReplaceTempView("proveedor")
 productos.createOrReplaceTempView("producto")

Realizamos el innerjoin

       
         
     sql(" select a.idProducto,a.nombreProducto,b.nombreProveedor,b.telefono from producto a 
     INNER JOIN proveedor b ON  a.idProveedor = b.idProveedor ").show()