Apache Falcon: Platform Pengurusan Data Baru Untuk Ekosistem Hadoop



Apache Falcon adalah platform pengurusan data baru untuk ekosistem Hadoop yang mempermudah pemprosesan suapan onboarding & pengurusan suapan pada kelompok hadoop. Ketahui cara menyediakannya.

Apache Falcon adalah kerangka kerja untuk menguruskan kitaran hidup data dalam kelompok Hadoop. Ini menjalin hubungan antara pelbagai data dan elemen pemprosesan pada lingkungan Hadoop, dan juga menyediakan perkhidmatan pengurusan makanan seperti penyimpanan makanan, replikasi di seluruh kelompok, arsip dll.





Mari kita bincangkan terlebih dahulu cara menyiapkan Apache Falcon. Jalankan arahan yang diberikan di bawah ini untuk memuat turun git repositori Falcon:

Perintah: klon git https://git-wip-us.apache.org/repos/asf/falcon.git elang



git-command-apache-falcon

Untuk menjalankan falcon, anda perlu membuatnya terlebih dahulu.

Perintah: cd elang



Perintah: eksport MAVEN_OPTS = '- Xmx1024m -XX: MaxPermSize = 256m -noverify' && mvn pemasangan bersih -DskipTests

Perintah: pemasangan bersih mvn: pemasangan -DskipTests -DskipITs

Setelah membina falcon, anda akan menemui pakej falcon di dalam / falcon / distro / target / direktori.

Perintah untuk membina elang kelihatan sangat mudah, tetapi anda akan menghadapi banyak masalah sebelum anda melihat mesej Build Success. Saya menghadapi banyak masalah semasa membinanya untuk Hadoop-2.2.0

Oleh itu, untuk mengatasi masalah membina Falcon, saya memberikan pakej elang yang berjaya dibina, yang boleh anda muat turun menggunakan pautan di bawah.

https://edureka.wistia.com/medias/xw5cfzqmho/download?media_file_id=124642564

Buka zip fail untuk mendapatkan direktori falcon-0.10.

Perintah: unzip falcon-0.10-SNAPSHOT.zip

Tetapkan pemboleh ubah persekitaran flacon dalam fail .bashrc.

soalan temu bual c ++ stl

Perintah: sudo gedit .bashrc

Perintah: sumber .bashrc

Anda boleh pergi ke direktori falcon dan melihat fail dan direktori di dalamnya.

Perintah: cd falcon-0.10-SNAPSHOT /

Perintah: ls

Anda boleh mendapatkan skrip falcon di dalam direktori bin.

Jalankan perintah di bawah untuk memulakan Falcon.

Perintah: ./bin/falcon-start

Anda akan melihat FalconServer daemon baru berjalan sekarang.

Arahan: jps

Perintah: ./bin/falcon admin -versi

Buka penyemak imbas anda, dan pergi ke localhost: 15000 . Anda dapat melihat ui web Falcon.

Ada soalan untuk kami? Sebutkannya di bahagian komen dan kami akan menghubungi anda.

Catatan berkaitan:

Menggerudi Apache Drill