Di dunia hari ini, data adalah bahan utama aplikasi internet dan biasanya merangkumi yang berikut:
- Lawatan dan klik halaman
- Aktiviti pengguna
- Acara yang sepadan dengan log masuk
- Kegiatan rangkaian sosial seperti suka, berkongsi dan komen
- Metrik khusus aplikasi (mis. Log, masa muat halaman, prestasi dll.)
Ini data boleh digunakan untuk menjalankan analisis secara real time melayani pelbagai tujuan, antaranya adalah:
- Menyampaikan iklan
- Mengesan tingkah laku pengguna yang tidak normal
- Memaparkan carian berdasarkan kesesuaian
- Menunjukkan cadangan berdasarkan aktiviti sebelumnya
Masalah: Mengumpulkan semua data tidaklah mudah kerana data dihasilkan dari pelbagai sumber dalam format yang berbeza
Penyelesaian: Salah satu cara untuk menyelesaikan masalah ini adalah dengan menggunakan sistem pesanan. Sistem pesanan memberikan integrasi yang lancar antara aplikasi yang diedarkan dengan bantuan mesej.
Apache Kafka:
apakah kerangka dalam selenium
Apache Kafka adalah sistem pesanan langganan terbitan diedarkan yang pada awalnya dikembangkan di LinkedIn dan kemudian menjadi sebahagian daripada projek Apache. Kafka cepat, tangkas, berskala dan diedarkan mengikut reka bentuk.
Senibina dan Terminologi Kafka:
Topik: Aliran mesej yang termasuk dalam kategori tertentu disebut topik
Penerbit : Pengeluar boleh menjadi aplikasi apa pun yang dapat menerbitkan mesej ke topik
Pengguna: Pengguna boleh menjadi aplikasi apa pun yang melanggan topik dan menggunakan mesej
Broker: Kafka cluster adalah sekumpulan pelayan, yang masing-masing disebut broker
Kafka boleh diskalakan dan membolehkan pembuatan pelbagai jenis kelompok.
- Kluster Broker Tunggal Node Tunggal
- Sekumpulan Pelbagai Broker Node Tunggal
- Kluster Broker Berbilang Node
Broker Tunggal Node Tunggal
Apa peranan ZooKeeper?
Setiap broker Kafka berkoordinasi dengan broker Kafka lain menggunakan ZooKeeper. Pengeluar dan Pengguna diberitahu oleh perkhidmatan ZooKeeper mengenai kehadiran broker baru atau kegagalan broker dalam sistem Kafka.
Broker Berbilang Node Tunggal
Broker Berbilang Node
Kafka @ LinkedIn
LinkedIn Newsfeed dikuasakan oleh Kafka
Cadangan LinkedIn dikuasakan oleh Kafka
goto c ++ contoh
Pemberitahuan LinkedIn dikuasakan oleh Kafka
Catatan: Selain daripada ini, LinkedIn menggunakan Kafka untuk banyak tugas lain seperti pemantauan log, metrik prestasi, peningkatan carian, dan lain-lain.
Siapa lagi yang menggunakan Kafka?
Peralihan Data: DataSift menggunakan Kafka sebagai pengumpul acara pemantauan dan untuk mengesan penggunaan aliran data pengguna dalam masa nyata
Wooga: Wooga menggunakan Kafka untuk mengumpulkan dan memproses data penjejakan dari semua permainan Facebook mereka (dihoskan di pelbagai penyedia) di lokasi pusat
Spongecell: Spongecell menggunakan Kafka untuk menjalankan keseluruhan analisis dan pemantauan saluran paip yang menggerakkan aplikasi masa nyata dan aplikasi ETL
Loggly: Loggly adalah pengurusan log berasaskan awan yang paling popular di dunia. Ia menggunakan Kafka untuk pengumpulan log.
Kajian Perbandingan: Kafka vs. ActiveMQ vs RabbitMQ
Kafka mempunyai format penyimpanan yang lebih cekap. Rata-rata, setiap mesej mempunyai overhead 9 bait di Kafka, berbanding 144 bait di ActiveMQ
Dalam ActiveMQ dan RabbitMQ, broker mengekalkan keadaan penghantaran setiap mesej dengan menulis ke cakera tetapi dalam kes Kafka, tidak ada penulisan cakera, sehingga membuatnya lebih cepat.
Dengan penggunaan Kafka yang luas dalam produksi, ia kelihatan sebagai penyelesaian yang menjanjikan untuk menyelesaikan masalah dunia nyata. Latihan Apache Kafka dapat membantu anda mendahului rakan sebaya dalam kerjaya analitik masa nyata. Mulakan dengan tutorial Apache Kafka di sini .
Ada soalan untuk kami? Sila sebutkan di bahagian komen dan kami akan menghubungi anda.
Catatan berkaitan:
Apa yang anda perlukan untuk kerjaya dalam Analisis Masa Nyata