Penyedia Kerja Hadoop
Job Tracker adalah daemon utama untuk pengurusan sumber pekerjaan dan penjadualan / pemantauan pekerjaan. Ia bertindak sebagai penghubung antara Hadoop dan aplikasi anda.
Prosesnya
Pengguna terlebih dahulu menyalin fail ke Sistem Fail Terdistribusi (DFS), sebelum menyerahkan tugas kepada klien. Pelanggan kemudian menerima fail input ini. Pengguna akan menerima perpecahan atau blok berdasarkan fail input.Pelanggan bolehbuat perpecahan atau blok pada lelakiner itu prefkerana ada pertimbangan tertentu di belakangnya. Sekiranya analisis dilakukan terhadap data yang lengkap, anda akan membahagikan data menjadi beberapa bahagian. Fail tidak disalin melalui klien, tetapi disalin menggunakan flume atau Sqoop atau klien luaran.
Setelah fail disalin ke DFS dan pelanggan berinteraksi dengan DFS,pembahagi akan menjalankan MapReduce job. Tugas dihantar melalui pelacak pekerjaan. Penjejak tugas adalah daemon induk yang berjalan pada simpul yang sama dengan ituberjalanpelbagai pekerjaan ini pada nod data. Data ini akan terletak pada pelbagai nod data tetapi menjadi tanggungjawab pelacak pekerjaan untuk mengurusnya.
Selepas pelanggan menyerahkanpelacak pekerjaan, pekerjaan diinisialisasi pada barisan kerja dan penjejak kerja membuat peta dan mengurangkan. Berdasarkan program yang terdapat dalam fungsi peta dan fungsi pengurangan, ia akan membuat tugas peta dan mengurangi tugas. Kedua-dua ini akan berjalan pada pemisahan input. Catatan: Apabila dibuat oleh klien, pemisahan input ini mengandungi keseluruhan data.
Setiap pemisahan input mempunyai tugas peta berjalan di dalamnya dan output tugas peta masuk ke tugas pengurangan. Job tracker menjalankan trek pada data tertentu. Terdapat banyak ulangan dari itu sehingga ia memilih data tempatan dan menjalankan tugas pada pelacak tugas tertentu. Penjejak tugas adalah yang benar-benar menjalankan tugas pada simpul data. Penjejak pekerjaan akan lulusmaklumatke task tracker dan task tracker akan menjalankan tugas pada data node.
Setelah tugas tersebut diberikan kepada pelacak tugas, ada detak jantung yang berkaitan dengan setiap pelacak tugas dan pelacak tugas. Ia menghantar isyarat untuk mengetahui sama ada nod data masih hidup. Kedua-duanya sering diselaraskan kerana ada kemungkinan simpul pudar.
Ada soalan untuk kami? Sebutkannya di bahagian komen dan kami akan menghubungi anda.
Catatan berkaitan:
boneka vs ansible vs chef