Pengaturcaraan Babi: Buat Skrip Babi Apache Pertama Anda
Dalam kami , kita sekarang akan belajar bagaimana membuat skrip Apache Pig. Skrip Apache Pig digunakan untuk menjalankan sekumpulan perintah Apache Pig secara kolektif. Ini membantu mengurangkan masa dan usaha yang dilaburkan dalam menulis dan melaksanakan setiap perintah secara manual semasa melakukan ini dalam pengaturcaraan Babi.Ia juga merupakan bahagian tidak terpisahkan dari .Blog ini adalah panduan langkah demi langkah untuk membantu anda membuat skrip Apache Pig pertama anda.
Mod Pelaksanaan skrip Babi Apache
Mod tempatan : Dalam 'mod tempatan', anda dapat menjalankan skrip babi dalam sistem fail tempatan. Dalam kes ini, anda tidak perlu menyimpan data dalam sistem fail Hadoop HDFS, sebaliknya anda boleh bekerja dengan data yang tersimpan dalam sistem fail tempatan itu sendiri.
Mod MapReduce : Dalam ‘mod MapReduce’, data perlu disimpan dalam sistem fail HDFS dan anda dapat memproses data dengan bantuan skrip babi.
Skrip Babi Apache dalam Mode MapReduce
Katakanlah tugas kita adalah membaca data dari fail data dan menampilkan isi yang diperlukan di terminal sebagai output.
Fail data sampel mengandungi data berikut:
Simpan fail teks dengan nama ‘information.txt’
Fail data sampel mengandungi lima lajur Nama pertama , Nama terakhir , Nombor telefon bimbit , Bandar , dan Profesion dipisahkan oleh kekunci tab . Tugas kami adalah membaca kandungan fail ini dari HDFS dan memaparkan semua lajur rekod ini.
akhirnya dan muktamad di java
Untuk memproses data ini menggunakan Babi, file ini harus ada di Apache Hadoop HDFS.
Perintah : hadoop fs –copyFromLocal /home/edureka/information.txt / edureka
Langkah 1: Menulis skrip Babi
Buat dan buka fail skrip Apache Pig di editor (mis. Gedit).
Perintah : sudo gedit /home/edureka/output.pig
Perintah ini akan membuat fail ‘output.pig’ di dalam direktori utama pengguna edureka.
Mari tulis beberapa arahan PIG dalam fail output.pig.
apa maksud append di java
A = LOAD '/edureka/information.txt' menggunakan PigStorage ('') sebagai (FName: chararray, LName: chararray, MobileNo: chararray, City: chararray, Profession: chararray) B = FOREACH A menghasilkan FName, MobileNo, Profession DUMP BSimpan dan tutup fail.
- Perintah pertama memuat fail 'information.txt' ke pemboleh ubah A dengan skema tidak langsung (FName, LName, MobileNo, City, Profession).
- Perintah kedua memuat data yang diperlukan dari pemboleh ubah A hingga pemboleh ubah B.
- Baris ketiga memaparkan kandungan pemboleh ubah B pada terminal / konsol.
Langkah 2: Laksanakan Skrip Babi Apache
Untuk melaksanakan skrip babi dalam mod HDFS, jalankan arahan berikut:
Perintah : babi /home/edureka/output.pig
Setelah pelaksanaan selesai, semak hasilnya. Gambar di bawah ini menunjukkan hasil dan peta perantaraannya dan mengurangkan fungsi.
Gambar di bawah menunjukkan bahawa Skrip berjaya dilaksanakan.
Gambar di bawah menunjukkan hasil skrip kami.
Selamat menjalankan skrip Apache Pig pertama anda dengan jayanya!
Sekarang anda tahu, bagaimana membuat dan melaksanakan skrip Apache Pig. Oleh itu, blog kami seterusnya di akan merangkumi bagaimana buat UDF (Fungsi Ditetapkan Pengguna) di Babi Apache dan laksanakan dalam mod MapReduce / HDFS.
Sekarang setelah anda membuat dan menjalankan Skrip Babi Apache, periksa oleh Edureka, sebuah syarikat pembelajaran dalam talian yang dipercayai dengan rangkaian lebih daripada 250,000 pelajar berpuas hati yang tersebar di seluruh dunia. Kursus Latihan Pensijilan Hadoop Data Besar Edureka membantu pelajar menjadi pakar dalam bidang HDFS, Benang, MapReduce, Babi, Hive, HBase, Oozie, Flume dan Sqoop menggunakan kes penggunaan masa nyata pada domain Runcit, Media Sosial, Penerbangan, Pelancongan, Kewangan.
Ada soalan untuk kami? Sila sebutkan di bahagian komen dan kami akan menghubungi anda.