Kami telah belajar bagaimana Bina Sarang dan Benang di Spark . Sekarang mari kita mencuba contoh Sarang dan Benang di Spark.
final akhirnya muktamad di java
Contoh Sarang pada Spark
Kami akan menjalankan contoh Hive on Spark. Kami akan membuat jadual, memuatkan data dalam jadual itu dan melaksanakan pertanyaan sederhana. Semasa bekerja dengan Hive, seseorang mesti membina a HiveContext yang mewarisi dari Konteks SQLC .
Perintah: cd percikan-1.1.1
Perintah: ./bin/spark-shell
Buat fail input 'Sampel' dalam direktori rumah anda seperti gambar di bawah (tab dipisahkan).
Perintah: val sqlContext = org baru.apache.spark.sql.hive.HiveContext (sc)
Perintah: sqlContext.sql ('BUAT JADUAL JIKA TIDAK ADA ujian (nama STRING, pangkat INT) BENTUK ROW FORMAT BIDANG TERHAD YANG DILAKUKAN OLEH'
'')
kaedah c ++ sort
Perintah: sqlContext.sql ('LOAD DATA LOCAL INPATH '/ rumah / edureka / sampel' INTO TABLE test')
Perintah: sqlContext.sql (“PILIH * DARI ujian DI MANA pangkat<5”).collect().foreach(println)
Contoh Benang pada Spark
Kami akan menjalankan contoh SparkPi di Benang. Kami dapat menyebarkan Benang pada Spark dalam dua mod: mod kluster dan mod pelanggan. Dalam mod benang-kluster, pemacu Spark berjalan di dalam proses induk aplikasi yang dikendalikan oleh Yarn pada kluster, dan klien dapat pergi setelah memulai aplikasi. Dalam mod benang-klien, pemacu berjalan dalam proses klien, dan master aplikasi hanya digunakan untuk meminta sumber dari Benang.
Perintah: cd percikan-1.1.1
Perintah: SPARK_JAR =. / Assembly / target / scala-2.10 / spark-assembly-1.1.1-hadoop2.2.0.jar ./bin/spark-submit –master yarn –deploy-mode cluster –class org.apache.spark.contoh. SparkPi –num-executors 1 –driver-memory 2g –executor-memory 1g –executor-core 1 contoh / target / scala-2.10 / percikan-contoh-1.1.1-hadoop2.2.0.jar
Setelah anda melaksanakan perintah di atas, tunggu sebentar sehingga anda mendapat BERJAYA mesej.
Semak imbas localhost: 8088 / kluster dan klik pada aplikasi Spark.
Klik pada balak .
Klik pada stdout untuk memeriksa output.
Untuk menyebarkan Benang pada Spark dalam mod pelanggan, buat saja –Deploy-mode sebagai 'Pelanggan'. Sekarang, anda tahu bagaimana membina Sarang dan Benang di Spark. Kami juga mempraktikkannya.
Ada soalan untuk kami? Sila sebutkan di bahagian komen dan kami akan menghubungi anda.
Catatan Berkaitan
cara menyediakan gerhana untuk java
Apache Spark dengan Hadoop-Mengapa penting?
Sarang & Benang Elektrik Oleh Spark