Sekiranya anda sudah dari Industri IT , anda mesti sedar bahawa Data besar adalah perbincangan hari ini. Sama ada, permulaan baru yang muncul dengan model perniagaan yang inovatif, atau rakan sekerja anda terus bergabung dengan syarikat permulaan tersebut, atas sebab tertentu, hari ini padang rumput yang lebih hijau nampaknya menjadi Data besar industri.
Sekiranya anda tertanya-tanya mengapa, maka saya cadangkan anda membaca ini hingga akhir kerana ini boleh menjadi blog yang boleh diterokai sendiri, yang membawa anda ke arah tujuan anda.
Jadi, mengapa semua iniHYPEsekitarnya DATA BESAR?
Adakah hanya domain lain yang akan mengungsi pelarian dari semua domain lain untuk sementara waktu? Atau, adakah ia akan berada di sini untuk jangka masa panjang?
Sekiranya saya meneka, saya akan mengatakan bahawa, bukan hanya akan berada di sini untuk jangka masa panjang, tetapi industri Data Besar akan menjadi pusat kemajuan teknologi.
Kerana semuanya mengenaiDATA!
Sama seperti MataharinaikdaripadaTimurdansetdi dalamBarat, penggunaan peranti pengkomputeran / bukan komputer secara berterusan akan menghasilkan ledakan data yang tidak terkawal.
Apabila data ini melintasi ambang, yang dikendalikan oleh Excel atau Sistem Pengurusan Pangkalan Data, kami menamakannya DATA BESAR .
Fikirkan, produk manakah yang terakhir anda beli dari Amazon? Mana yang boleh menjadi produk seterusnya yang mungkin anda beli berdasarkan aktiviti masa lalu? Jawapan untuk soalan tersebut disimpan di Big Data.
Adakah terdapat trend di sebalik produk? Atau, adakah trend menurun? Adakah pelanggan akan membeli ‘Stoking’ ketika dia membeli ‘Kasut’? Ini adalah soalan penyelesaian masalah perniagaan.
Dan, soalan-soalan ini boleh dilakukan dengan mudah dijawab dengan menggunakan Analisis Data Besar .
Lagipun, apa gunanya data, jika tidak menganalisis ia?
Jadi, adalah Big Datasepenuhnya mengenaiAnalitis?Tidak sepenuhnya, tetapi Analitis adalah Hadiah Utama.
Aliran utama lain di Big Data adalahPenyimpanandanPengurusan.
Di sinilah anda sebagai profesional dapat menyumbang. Anda boleh mengambil peranan sama ada:
- Jurutera Data Besar
- Arkitek Penyelesaian Data Besar
Dan pastikan bahawa data besar yang dihasilkan, selalu tersedia dan dapat digunakan untuk analisis di kemudian hari. Jadi ini membawa kita kepada persoalan & neraka
cara menggunakan anaconda python
Di mana Data Besar disimpan?
Bolehkah ia disimpan diFail Excel? Bolehkah ia disimpan dalam asistem pangkalan data hubungan?
tutorial perkhidmatan integrasi pelayan sql
Takkan!
Sekiranya ia boleh berlaku, maka sudah tentu!
Dan dipanggil sesuatu yang berbeza bersama-sama. Mungkin sesuatu sepertiData ExcelatauRDBMS-Data: D
Dan itu akan membawa kita kembali ke LANGKAH 1 : - Mengapa Data Besar tidak dapat diuruskan menggunakan Excel? KeranaBig Data terlalu panas untuk dikendalikan oleh Excel. Malah sistem pengurusan pangkalan data lain sebenarnya.
Jadi, apakah alternatifnya?
Untuk mengendalikan Big Data, kami ada HADOOP . Anda mungkin menyedari perkataan ini juga. Tetapi, anda mungkin tertanya-tanya, bagaimana sebenarnya ia berfungsi?
Sebagai permulaan, HADOOP adalah produk dariYayasan APACHE. Apache adalah organisasi bukan untung Amerika yang menyokong pengembangan perisian sumber terbuka.
Hadoop didefinisikan sebagai kerangka pengaturcaraan berbasis Java sumber terbuka yang menyokong pemprosesan dan penyimpanan set data yang sangat besar dalam lingkungan pengkomputeran yang diedarkan.
Apa yang boleh dilakukan Hadoop, tetapi Excel tidak boleh?
Memproses dan memahami data tidak berstruktur!Data berstruktur dalam format jadual atau sebaliknya dapat ditangani dengan mudah. Excel boleh melakukannya, dan begitu juga RDBMS lain.
Tetapi apabila kebolehbacaan berkurang, dan data tidak tersusun, di situlah Big Dataalat seperti Hadoopskor. Contoh data tidak berstruktur adalah syslog . Contoh gambar ada di bawah.
Log seperti itu pasti tidak dapat ditanyakan menggunakan Excel.
Hadoop, seperti alat Big Data, dapat memahami data sebagaimana adanya, dengan menggali corak dan membentuk hubungan antara pelbagai bidang. Dan setelah data mempunyai sentuhan relasional, itu adalahAnalitis sedia.
Analisis adalah apa yang akan memberi kesan perniagaan kepada organisasi! Kerjaya anda akan mendapat banyak manfaat dengan penglibatannya dalam domain Big Data ini.
' Bolehkah saya menjadikannya sebagai Hadoop-er? '
... mungkin soalan seterusnya di fikiran anda. Dan difikirkan dengan tepat, Big Data adalah pasaran yang paling panas seperti sebelumnya, dan sama pentingnya seperti sebelumnya.
Tanpa Hadoop, syarikat akan mengalami kesukaran untuk berurusan dengan Big Data. Dan tanpa profesional mahir seperti anda, syarikat akan menghadapi kesukaran untuk berurusan dengan Hadoop.
Terdapat laporan yang mengatakan, ada defisit bakat dalam domain ini. Defisit bakat bermaksud, kurang profesional tetapi permintaan tinggi. Dan ini dalam skala global dan tidak terhad kepada geografi tertentu.
Adakah anda mahukan nombor?
KE Institut Global McKinsey kajian menyatakan bahawa AS akan menghadapi kekurangan kira-kira 190,000 saintis data dan 1.5 juta pengurus dan penganalisis yang dapat memahami dan membuat keputusan menggunakan Big Data menjelang 2018.
Nasihat kerjaya kepada anda? Surf ketika air surut!
Tetapi adakah anda terhad kepada sahaja Hadoop ?
Tidak juga. Terdapat sebilangan besar alat untuk memproses Big Data, dan Hadoop dianggap sebagai salah satu yang terbaik. Tetapi, tidak setiap masa!
Ada kalanya Hadoop tidak sesuai. Contohnya, jika anda seorang yang bukan teknikal yang tidak mahir menulis program MapReduce.
ec2 buat contoh dari snapshot
Dalam kes sedemikian, anda boleh menggunakanTALEND, yang memberi anda antara muka pengguna grafik untuk melakukan apa sahaja yang sebaliknya anda lakukan dengan MapReduce.
Untuk menulis kod Java yang lebih mudah, anda boleh menggunakanBabi.
Sekiranya anda ingin menjalankan pertanyaan seperti SQL pada Big Data, makaHIVEboleh digunakan.
Sekiranya anda ingin menggunakan data yang disimpan dalam pangkalan data NoSQL, makaHBaseboleh digunakan.
Untuk melakukan analisis dalam masa nyata, anda boleh menggunakanSPARK.
Ini adalah alat Big Data, yang bersamaan dengan Hadoop, namun mereka tidak menggantikan Hadoop sama sekali. Mereka adalah Hadoop Add-on untuk Big Data.
Selain itu, terdapat beberapa alat lain seperti SQOOP, FLUME, OOZIE, dan lain-lain yang dapat disatukan dengan kerangka Hadoop untuk menyelesaikan pelbagai masalah perniagaan.
Apa yang diharapkan industri daripada anda sebagai Pakar Data Besar?
Industri ini sangat memerlukan ARKITEK DATA BESAR yang boleh membina penyelesaian data besar dari hujung ke hujung untuk organisasi mereka. Big Data Architects adalah mereka yang mempunyai kepakaran dalam semua alat yang disebutkan sebelumnya.
Berikut adalah keterangan oleh pelajar Edureka mengenai kursus:
Menjadi seorang bermula dari latihan pensijilan Big Data And Hadoop Edureka yang membantu pelajar menjadi pakar dalam bidang HDFS, Benang, MapReduce, Babi, Hive, HBase, Oozie, Flume dan Sqoop dengan menggunakan kes penggunaan masa nyata pada domain Runcit, Media Sosial, Penerbangan, Pelancongan, Kewangan .