Pangkalan Data Relasional untuk masa yang lama sudah cukup untuk menangani set data kecil atau sederhana. Tetapi kadar kolosal di mana data berkembang menjadikan pendekatan tradisional untuk penyimpanan dan pengambilan data tidak dapat dilaksanakan. Masalah ini diselesaikan dengan teknologi baru yang dapat menangani Big Data. Hadoop, Hive dan Hbase adalah platform popular untuk mengendalikan set data besar seperti ini. Pangkalan data SQL atau Bukan Hanya SQL seperti MongoDB menyediakan mekanisme untuk menyimpan dan mengambil data dalam model konsistensi yang kalah dengan kelebihan seperti:
- Penskalaan mendatar
- Ketersediaan lebih tinggi
- Akses lebih pantas
Pasukan kejuruteraan MongoDB baru-baru ini mengemas kini MongoDB Connector untuk Hadoop agar mempunyai integrasi yang lebih baik. Ini memudahkan pengguna Hadoop untuk:
- Mengintegrasikan data masa nyata dari MongoDB dengan Hadoop untuk analisis dalam dan luar talian.
- Connector memperlihatkan kekuatan analisa MapReduce Hadoop untuk data aplikasi langsung dari MongoDB, mendorong nilai dari data besar lebih cepat dan lebih cekap.
- Connector menyajikan MongoDB sebagai sistem fail yang sesuai dengan Hadoop yang membolehkan pekerjaan MapReduce membaca dari MongoDB secara langsung tanpa terlebih dahulu menyalinnya ke HDFS (Sistem fail Hadoop), sehingga menghilangkan keperluan untuk memindahkan Terabyte data ke seluruh rangkaian.
- Pekerjaan MapReduce dapat menyampaikan pertanyaan sebagai penapis, sehingga menghindari perlunya memindai keseluruhan koleksi, dan juga dapat memanfaatkan kemampuan pengindeksan MongoDB yang kaya termasuk indeks geo-spasial, pencarian teks, array, kompaun dan jarang.
- Membaca dari MongoDB, hasil pekerjaan Hadoop juga dapat ditulis kembali ke MongoDB, untuk menyokong proses operasi masa nyata dan pertanyaan ad-hoc.
Kes Penggunaan Hadoop dan MongoDB:
Mari kita lihat penerangan tahap tinggi tentang bagaimana MongoDB dan Hadoop dapat disatukan dalam timbunan Big Data khas. Terutamanya kami mempunyai:
ruang nama dalam c ++
- MongoDB digunakan sebagai Stor data masa nyata 'Operasi'
- Hadoop untuk pemprosesan dan analisis data kumpulan luar talian
Teruskan membaca untuk mengetahui sebabnya dan bagaimana MongoDB digunakan oleh syarikat dan organisasi seperti Aadhar, Shutterfly, Metlife dan eBay .
java cara menggunakan iterator
Aplikasi MongoDB dengan Hadoop dalam Batch Aggregation:
Dalam kebanyakan senario, fungsi agregasi bawaan yang disediakan oleh MongoDB cukup untuk menganalisis data. Walau bagaimanapun, dalam kes tertentu, pengumpulan data yang lebih kompleks mungkin diperlukan. Di sinilah Hadoop dapat menyediakan kerangka kerja yang kuat untuk analisis kompleks.
Dalam senario ini:
- Data diambil dari MongoDB dan diproses dalam Hadoop melalui satu atau lebih pekerjaan MapReduce. Data juga dapat diperoleh dari tempat lain dalam pekerjaan MapReduce ini untuk mengembangkan penyelesaian sumber multi-data.
- Hasil dari pekerjaan MapReduce ini kemudian dapat ditulis kembali ke MongoDB untuk membuat pertanyaan pada tahap kemudian dan untuk analisis apa pun secara ad-hoc.
- Oleh itu, aplikasi yang dibina di atas MongoDB dapat menggunakan maklumat dari batch analytics untuk disampaikan kepada pelanggan akhir atau untuk mengaktifkan ciri hiliran lain.
Aplikasi dalam Pergudangan Data:
Dalam penyediaan pengeluaran biasa, data aplikasi mungkin berada di banyak gudang data, masing-masing dengan bahasa dan fungsi pertanyaan mereka sendiri. Untuk mengurangkan kerumitan dalam senario ini, Hadoop dapat digunakan sebagai gudang data dan bertindak sebagai repositori terpusat untuk data dari berbagai sumber.
Dalam senario seperti ini:
jadual dalam jadual html
- Pekerjaan MapReduce berkala memuat data dari MongoDB ke Hadoop.
- Setelah data dari MongoDB dan sumber lain tersedia di Hadoop, set data yang lebih besar dapat ditanyakan.
- Penganalisis data kini mempunyai pilihan untuk menggunakan MapReduce atau Babi untuk membuat pekerjaan yang meminta set data yang lebih besar yang menggabungkan data dari MongoDB.
Pasukan yang bekerja di belakang MongoDB telah memastikan bahawa dengan integrasi yang kaya dengan teknologi Big Data seperti Hadoop, ia dapat berintegrasi dengan baik di Big Data Stack dan membantu menyelesaikan beberapa masalah seni bina yang kompleks ketika datang ke penyimpanan data, pengambilan, pemprosesan, pengumpulan dan pergudangan. . Nantikan posting kami mengenai prospek kerjaya yang akan datang bagi mereka yang menggunakan Hadoop dengan MongoDB. Sekiranya anda sudah bekerja dengan Hadoop atau hanya memilih MongoDB, lihat kursus yang kami tawarkan untuk MongoDB