Salah satu ciri paling menarik dari kerangka Hadoop adalah penggunaan perkakasan komoditi . Walau bagaimanapun, ini membawa kepada kerusakan DataNode yang kerap dalam kluster Hadoop. Satu lagi ciri menarik Hadoop Framework adalah kemudahan skala sesuai dengan pertumbuhan volume data yang pesat . Kerana dua sebab ini, salah satu tugas pentadbir Hadoop yang paling biasa adalah komisen (Tambah) dan penyahtinjaan (Buang) Node Data dalam Hadoop Cluster.
Nombor Pentauliahan dan Penutupan Perkhidmatan dalam Kluster Hadoop:
Gambar rajah di atas menunjukkan proses langkah demi langkah untuk mematikan DataNode dalam kluster.
cara menggunakan studio visual
Tugas pertama adalah mengemas kini ‘ tidak termasuk 'Fail untuk kedua-duanya HDFS (hdfs-site.xml) dan Pengurangan Peta (mapred-site.xml).
Fail 'kecualikan':
- untuk pencari kerja mengandungi senarai host yang harus dikecualikan oleh jobtracker. Sekiranya nilainya kosong, tidak ada host yang dikecualikan.
- untuk Namenode mengandungi senarai host yang tidak dibenarkan untuk menyambung ke Namenode.
Berikut adalah contoh konfigurasi untuk fail kecualikan dalam hdfs-site.xml dan mapred-site.xml:
hdfs-site.xml
dfs.hosts.exclude
/ rumah / hadoop / tidak termasuk
benar
mapred-site.xml
mapred.hosts.exclude
/ rumah / hadoop / tidak termasuk
benar
Catatan: Nama jalan penuh fail mesti ditentukan.
Begitu juga, kami mempunyai fail 'include':
- untuk pencari kerja mengandungi senarai nod yang mungkin menyambung ke JobTracker. Sekiranya nilainya kosong, semua host dibenarkan.
- untuk Namenode mengandungi senarai hos yang dibenarkan untuk menyambung ke Namenode. Sekiranya nilainya kosong, semua host dibenarkan.
The ‘ dfsadmin 'Dan' mradmin Perintah menyegarkan konfigurasi dengan perubahan untuk membuat mereka mengetahui node baru.
The ‘ hamba Fail pada pelayan induk mengandungi senarai semua nod data. Perkara ini juga mesti dikemas kini untuk memastikan sebarang masalah di daemon hadoop dimulakan / berhenti.
Langkah penting dalam proses komisen simpul data adalah menjalankan Cluster Balancer.
> hadoop pengimbang-tahap awal 40
tukar dari double ke int java
Pengimbang percubaan untuk memberikan keseimbangan ke ambang tertentu di antara nod data dengan menyalin data blok dari node lama ke node yang baru ditugaskan.
Jadi, inilah cara yang boleh anda lakukan - Pentauliahan dan Penutupan Nod dalam Hadoop Cluster.
Ada soalan untuk kami? Sila sebutkan di bahagian komen dan kami akan menghubungi anda.
Pautan Berkaitan: