Apache Hive adalah salah satu kerangka yang paling penting dalam ekosistem Hadoop, seterusnya menjadikannya sangat penting untuk . Di blog ini, kita akan belajar mengenai pemasangan Apache Hive dan Hive di Ubuntu.
Apa itu Apache Hive?
Sarang Apache adalah infrastruktur gudang data yang memudahkan pertanyaan dan menguruskan set data besar yang terdapat dalam sistem penyimpanan teragih. Ia dibina di atas Hadoop dan dikembangkan oleh Facebook. Sarang menyediakan cara untuk meminta data menggunakan bahasa pertanyaan seperti SQL yang dipanggil HiveQL (Bahasa pertanyaan Hive).
Secara dalaman, penyusun menerjemahkan HiveQL penyataan menjadi Pengurangan Peta pekerjaan, yang kemudian diserahkan kepada Kerangka Hadoop untuk pelaksanaan.
Perbezaan antara Hive dan SQL:
Sarang kelihatan sama seperti pangkalan data tradisional dengan SQL akses. Namun, kerana Sarang berdasarkan Hadoop dan Pengurangan Peta operasi, terdapat beberapa perbezaan utama:
Sebagai Hadoop bertujuan untuk imbasan berurutan yang panjang dan Sarang berdasarkan Hadoop , anda menjangkakan pertanyaan mempunyai kependaman yang sangat tinggi. Ini bermaksud Sarang tidak sesuai untuk aplikasi yang memerlukan masa tindak balas yang sangat cepat, seperti yang anda harapkan dengan pangkalan data RDBMS tradisional.
Akhirnya, Sarang berdasarkan bacaan dan oleh itu tidak sesuai untuk pemprosesan transaksi yang biasanya melibatkan peratusan operasi tulis yang tinggi.
apakah indexof dalam javascript
Pemasangan Sarang di Ubuntu:
Ikuti langkah-langkah berikut untuk memasang Sarang Apache di Ubuntu:
Langkah 1: Muat turun Hive tar.
Perintah: wget http://archive.apache.org/dist/hive/hive-2.1.0/apache-hive-2.1.0-bin.tar.gz
Langkah 2: Ekstrak tar fail.
Perintah: tar -xzf apache-hive-2.1.0-bin.tar.gz
Perintah: ls
Langkah 3: Edit '.Bashrc' fail untuk mengemas kini pemboleh ubah persekitaran untuk pengguna.
Perintah: sudo gedit .bashrc
Tambahkan yang berikut di akhir fail:
# Tetapkan HIVE_HOME
eksport HIVE_HOME = / rumah / edureka / apache-hive-2.1.0-bin
eksport PATH = $ PATH: /home/edureka/apache-hive-2.1.0-bin/bin
Juga, pastikan jalan hadoop juga ditetapkan.
Jalankan perintah di bawah untuk membuat perubahan berfungsi di terminal yang sama.
Perintah: sumber .bashrc
Langkah 4: Periksa versi sarang.
cara memasang php 7
Langkah 5: Buat Sarang direktori dalam HDFS . Direktori ‘Gudang’ adalah lokasi untuk menyimpan jadual atau data yang berkaitan dengan sarang.
Perintah:
- hdfs dfs -mkdir -p / pengguna / sarang / gudang
- hdfs dfs -mkdir / tmp
Langkah 6: Tetapkan kebenaran membaca / menulis untuk jadual.
Perintah:
Dalam perintah ini, kami memberikan kebenaran menulis kepada kumpulan:
- hdfs dfs -chmod g + w / pengguna / sarang / gudang
- hdfs dfs -chmod g + w / tmp
Langkah 7: Tetapkan Hadoop jalan masuk h ive-env.sh
Perintah: cd apache-hive-2.1.0-bin /
Perintah: gedit conf / hive-env.sh
Tetapkan parameter seperti yang ditunjukkan dalam gambar di bawah.
Langkah 8: Edit hive-site.xml
Perintah: gedit conf / hive-site.xml
javax.jdo.option.ConnectionURL jdbc: derby: databaseName = / home / edureka / apache-hive-2.1.0-bin / metastore_dbcreate = rentetan sambungan JDBC benar untuk metastore JDBC. Untuk menggunakan SSL untuk mengenkripsi / mengesahkan sambungan, berikan bendera SSL khusus pangkalan data di URL sambungan. Contohnya, jdbc: postgresql: // myhost / db? Ssl = true untuk pangkalan data postgres. hive.metastore.warehouse.dir / user / hive / warehouse lokasi pangkalan data lalai untuk gudang hive.metastore.uris Thrift URI untuk metastore terpencil. Digunakan oleh pelanggan metastore untuk menyambung ke metastore jauh. javax.jdo.option.ConnectionDriverName org.apache.derby.jdbc.EmbeddedDriver Nama kelas pemandu untuk metastore JDBC javax.jdo.PersistenceManagerFactoryClass org.datanucleus.api.jdo.JDOPersistenceManagerFactory class melaksanakan jdo
Langkah 9: Secara lalai, Hive menggunakan Derby pangkalan data. Memulakan pangkalan data Derby.
cara menggunakan amaran dalam javascript
Perintah: bin / schematool -initSchema -dbJenis derby
Langkah 10 :Lancarkan Sarang.
Perintah: sarang
Langkah 11 :Jalankan beberapa pertanyaan dalam shell Hive.
Perintah: tunjukkan pangkalan data
Perintah: buat pekerja jadual (rentetan id, rentetan nama, rentetan dept) format baris dibatasi medan ditamatkan oleh '' disimpan sebagai textfile
Perintah: menunjukkan jadual
Langkah 12: Untuk keluar dari Sarang:
Perintah: jalan keluar
Setelah anda selesai dengan pemasangan Hive, langkah seterusnya adalah mencuba perintah Hive pada shell Hive. Oleh itu, blog kami seterusnya ' Perintah Hive Teratas dengan Contoh dalam HQL 'Akan membantu anda menguasai perintah Hive.
Catatan berkaitan: