Di blog ini, mari kita lihat bagaimana membina Spark untuk versi Hadoop tertentu.
Kami juga akan belajar bagaimana membina Spark dengan HIVE dan YARN.
apakah model pengaturcaraan berasaskan pojo
Memandangkan anda mempunyai Hadoop, jdk, mvn dan pergi pra-pemasangan dan pra-konfigurasi pada sistem anda.
Buka Penyemak imbas Mozilla dan Muat turun Percikan api menggunakan pautan di bawah.
https://edureka.wistia.com/medias/k14eamzaza/
Buka terminal.
Perintah: tar -xvf Muat turun / percikan-1.1.1.tgz
Perintah: ls
Buka direktori percikan-1.1.1.
Anda boleh buka pom.xml fail. Fail ini memberi anda maklumat mengenai semua kebergantungan awak perlu.
Jangan edit untuk mengelakkan masalah.
Perintah: cd spark-1.1.1 /
Perintah: sudo gedit sbt / sbt-launch-lib.bash
Edit fail seperti gambar di bawah, simpan dan tutup.
Kami mengurangi memori untuk menghindari masalah ruang tumpukan objek seperti yang disebutkan dalam gambar di bawah.
Sekarang, jalankan arahan di bawah di terminal untuk membina percikan untuk Hadoop 2.2.0 dengan HIVE dan YARN.
Perintah: ./sbt/sbt -P benang -P sarang -Phadoop-2.2 -D hadoop.versi = 2.2.0 -D ujian langkau perhimpunan
Catatan: Versi Hadoop saya adalah 2.2.0, anda boleh mengubahnya mengikut versi Hadoop anda.
Untuk versi Hadoop yang lain
# Apache Hadoop 2.0.5-alpha
-Dhadoop.version = 2.0.5-alpha
#Cloudera CDH 4.2.0
-Dhadoop.version = 2.0.0-cdh4.2.0
# Apache Hadoop 0.23.x
-Phadoop-0.23 -Dhadoop.version = 0.23.7
# Apache Hadoop 2.3.X
-Phadoop-2.3 -Dhadoop.version = 2.3.0
# Apache Hadoop 2.4.X
-Phadoop-2.4 -Dhadoop.version = 2.4.0
Proses penyusunan dan pembungkusan akan memakan masa, harap tunggu sehingga selesai.
Dua balang percikan api-pemasangan-1.1.1-hadoop2.2.0.jar dan percikan-contoh-1.1.1-hadoop2.2.0.jar dicipta.
Jalan dari percikan api-pemasangan-1.1.1-hadoop2.2.0.jar : /home/edureka/spark-1.1.1/assembly/target/scala-2.10/spark-assembly-1.1.1-hadoop2.2.0.jar
Jalan dari percikan-contoh-1.1.1-hadoop2.2.0.jar: /home/edureka/spark-1.1.1/examples/target/scala-2.10/spark-examples-1.1.1-hadoop2.2.0.jar
Tahniah, anda berjaya membina Spark for Hive & Yarn.
Ada soalan untuk kami? Sila sebutkan di bahagian komen dan kami akan menghubungi anda.
Catatan berkaitan:
Apache Spark dengan Hadoop-Mengapa penting?