Artikel tentang big data lengkap (Pengertian, Konsep dan Contoh)
Selamat pagi sahabat, pada pagi ini saya akan membahas mengenai artikel tentang big data. mungkin kalian juga baru mengenal apa itu big data ketika masuk dibangku perkuliahan, begitu pula dengan saya mengenal big data ketika kampus saya mengadakan company visit ke Oracle yang berada di Jakarta. untuk mengenal lebih jauh apa itu big data silahkan baca Pengertian Big Data, Konsep Big Data dan Contoh Big Data.
Pengertian Big Data
Apa itu big data? "Big Data adalah sebuah data yang mempunyai ciri ukuran yang sangat besar, sangat variatif, sangat cepat pertumbuhannya dan bisa jadi data tersebut tidak terstruktur yang perlu diolah khusus dengan teknologi inovatif sehingga mendapatkan informasi yang mendalam dan dapat membantu pengambilan keputusan yang lebih baik."
Empat karakterik big data tersebut: berukuran sangat besar (high-volume), atau sangat bervariasi (high-variety), atau kecepatan pertumbuhan tinggi (high-velocity), dan sangat tidak jelas (high veracity) sering disebut dengan 4V's of Big Data.
Untuk Teknologi Big Data diciptakan untuk menangani keempat ciri big data di atas. Jadi jika data anda hanya memiliki satu ciri saja atau beberapa kombinasi dari empat ciri big data di atas, tentunya dapat memanfaatkan teknologi Big Data yang tersedia di pasaran.
Definisi di atas merupakan kompilasi definisi dari Gartner - sebuah perusahaan riset dan konsultan IT yang sangat terkenal di dunia dan berbasis di US - dan beberapa organisasi lain yang menambahkan elemen high-veracity ke dalam definisi Gartner.
3V Dalam Big Data (Volume, Velocity dan Variety)
VOLUME
Mari kita kupas mulai dari volume. Salah satu persoalan yang big data jajaki pecahkan ialah meledaknya volume data yang sebuah organisasi hendak simpan atau proses. Salah satu perusahaan telekomunikasi yang pernah saya tangani perlu menyimpan lebih dari 1 milyar record data kegiatan browsing internet pemakai. Jangan kaget, 1 milyar record itu hanya data sehari, dan data yang ingin dikumpulkan tentunya berbulan-bulan.
Apakah persoalan volume data ini hanya dapat dipecahkan oleh big data? Jawabannya, tidak juga.Sebenarnya sebuah sistem database atau data warehouse pun dapat menyimpan data yang paling besar. Namun, price per terabyte Hadoop, sebagai platform big data, jauh lebih rendah dibanding keduanya. Di samping itu, bertolak belakang dengan sebatas network storage, teknologi big data tidak hanya menyediakan penyelesaian untuk menyimpan data, namun pun untuk mengubah dan menganalisa data bervolume besar.
Lalu, mengapa tidak seluruh data dilempar ke big data saja? Kenapa mesti masih menggunakan database atau data warehouse atau network storage? Saya akan mengupayakan menjawab dengan analogi simple: mobil sport bagus guna berlari kencang di jalanan mulus, truk bermanfaat untuk membawa barang dalam jumlah besar, mobil MPV umumnya irit bensin, nyaman dan dapat membawa tidak sedikit orang.
Database / data warehouse paling ideal guna menyimpan data yang diperlukan untuk operasional day-to-day sebuah organisasi, atau guna menghasilkan report bulanan. Namun, cost per terabyte (biaya penyimpanan) jauh lebih tinggi dikomparasikan big data platform laksana Hadoop. Oleh sebab itu, guna menyimpan data-data yang belum diketahui nilai bisnisnya dan dalam volume besar, platform berbasis big data seperti Hadoop memberikan solusi yang lebih masuk akal.
Lalu, sebesar apakah volume data supaya bisa dinamakan big data? Apakah jumlah datanya mesti lebih dari 1 milyar record per hari? Walaupun masih tidak sedikit perdebatan soal ini, kini sudah banyak pihak yang sepakat bahwa: jika volume data membuat data tersebut tidak ekonomis / mungkin lagi untuk disimpan di solusi penyimpanan data tradisional (network storage / database / data warehouse), maka “Houston, we’ve got the volume problem!”
VELOCITY
Permasalahan yang kedua: data velocity atau kecepatan data dibuat. Bisa dibilang, permasalahan ini berkaitan erat dengan permasalahan volume data, karena kecepatan data dibuat umumnya berbanding lurus dengan volume data. Data tidak hanya datang dalam jumlah besar, tetapi juga dalam tempo yang lebih singkat dan bahkan ada yang real-time.
Salah satu perusahaan telekomunikasi di Australia, misalnya, butuh untuk menganalisa kualitas koneksi internet jutaan pelanggannya secara near real-time. Setiap beberapa menit sekali, jutaan record data jaringan ditaruh ke platform big data, lalu dianalisa pada saat itu juga. Hasil analisa tersebut langsung divisualisasikan ke dashboard tim jaringan, dan tim jaringan bisa langsung bertindak apabila ada satu daerah yang mendadak mengalami penurunan kualitas koneksi internet.
Lagi-lagi, tentu platform data konvensional juga bisa melakukan hal tersebut. Seperti alasan pemilihan big data untuk memecahkan masalah volume data, menyimpan dan mengolah data akan lebih ekonomis di platform big data. Beban penyimpanan dan pemrosesan data di data warehouse akan lebih berguna apabila diutilisasi untuk data-data yang berhubungan langsung dengan bisnis -- data transaksi, keuangan, dan pelanggan.
VARIETY
Variety! Finally! Ini adalah permasalahan, yang menurut saya, “Big data banget!”. Mengapa? Menurut saya pribadi, permasalahan ini akan sangat sulit dipecahkan oleh data platform tradisional, baik itu database atau data warehouse. Variety adalah permasalahan yang terjadi karena keberagaman data, baik itu dari format file data yang masuk, maupun format / struktur dari isi data tersebut.
Berbicara tentang masalah data variety, saya teringat salah satu project di produsen hard disk server. Perusahaan tersebut telah memproduksi hard disk dari tahun 90-an, dan apabila telah terpasang di server, hard disk itu akan mengirimkan log pemakaian blok-blok memori hard disk secara periodik. Data log tadi akan dianalisa untuk mencari part yang bermasalah dari hard disk (apabila ada laporan dari customer). Jika diketahui part mana yang bermasalah, perusahaan tersebut bisa mencari hard disk lain yang menggunakan part yang sama dan dari batch produksi yang sama. Perusahaan tersebut lalu bisa mengganti hard disk lainnya sebelum hard disk itu rusak dan customer komplain.
Permasalahannya, data-data tersebut dikirimkan dalam format yang berbeda-beda. Untuk 1 data yang sama saja, bisa berbagai macam variasi format atau struktur data. Ada yang berupa file XML, CSV, TSV, dan bahkan ada yang dikompresi dalam format GZip, Zip, dan Tar.
Karena kasus seperti ini bukan tidak mungkin terjadi, platform big data memungkinkan kita untuk “store first, define structure later”. Pada Hadoop, contohnya, kita bisa menaruh file-file tadi dalam format mentahnya, lalu kita kelompokkan saja file-file yang sejenis. Lalu ketika kita butuh membaca data, baru kita gunakan tools yang tersedia untuk mengekstrak sisi data. Hal ini dengan implementasi database atau data warehouse di mana kita harus menerapkan dan meng-enforce skema/struktur ketika kita memulai akuisisi data.
Konsep Big Data
Big Data, dimulai pada tahun 2000-an ketika seorang analis industri Doug Laney menyampaikan konsep Big Data yang terdiri dari tiga bagian penting, diantaranya:
Volume Organisasi mengumpulkan data dari berbagai sumber, termasuk transaksi bisnis, media sosial dan informasi dari sensor atau mesin. Di masa lalu, aktivitas semacam ini menjadi masalah, namun dengan adanya teknologi baru (seperti Hadoop) bisa meredakan masalah ini.
Kecepatan Aliran data harus ditangani dengan secara cepat dan tepat bisa melalui hardware maupun software. Teknologi hardware seperti tag RFID, sensor pintar lainnya juga dibutuhkan untuk menangani data yang real-time.
Variasi Data yang dikumpulkan mempunyai format yang berbeda-beda. Mulai dari yang terstruktur, data numerik dalam database tradisional, data dokumen terstruktur teks, email, video, audio, transaksi keuangan dan lain-lain.
Selain tiga bagian penting tersebut, para peneliti Big Data juga menambah bagian yang termasuk penting lainnya seperti variabilitas dan kompleksitas.
Variabilitas Selain kecepatan pengumpulan data yang meningkat dan variasi data yang semakin beraneka ragam, arus data kadang tidak konsisten dalam periode tertentu. Salah satu contohnya adalah hal yang sedang tren di media sosial. Periodenya bisa harian, musiman, dipicu peristiwa dadakan dan lain-lain. Beban puncak data dapat menantang untuk analis Big Data, bahkan dengan data yang tidak terstruktur.
Kompleksitas Hari ini, data berasal dari berbagai sumber sehingga cukup sulit untuk menghubungkan, mencocokan, membersihkan dan mengubah data di seluruh sistem. Namun, Big Data sangat dibutuhkan untuk memiliki korelasi antar data, hierarki dan beberapa keterkaitan data lainnya atau data yang acak
Mengapa Big Data Penting?
Pentingnya Big Data, tidak hanya berputar pada jumlah data yang organisasi miliki, tetapi hal yang penting adalah bagaimana mengolah data internal dan eksternal. Kita dapat mengambil data dari sumber manapun dan menganalisanya untuk menemukan jawaban yang diinginkan dalam bisnis seperti: 1) pengurangan biaya; 2) pengurangan waktu; 3) pengembangan produk baru dan optimalisasi penawaran produk; dan 4) pengambilan keputusan yang cerdas.
Ketika organisasi mampu menggabungkan jumlah data besar yang dimilikinya dengan analisis bertenaga tinggi, organisasi dapat menyelesaikan tugas-tugas yang berhubungan dengan bisnis seperti:
- Menentukan akar penyebab kegagalan untuk setiap masalah bisnis.
- Menghasilkan informasi mengenai titik penting penjualan berdasarkan kebiasaan pelanggan dalam membeli.
- Menghitung kembali seluruh risiko yang ada dalam waktu yang singkat.
- Mendeteksi perilaku penipuan yang dapat mempengaruhi organisasi.
Itulah sekilas pengenalan Big Data. Istilah Big Data relatif baru, dan bagian penting konsep Big Data diantaranya adalah Volume, Kecepatan, Varietas, Variabilitas, dan Kompleksitas. Adapun potensi Big Data hari ini benar-benar menggiurkan untuk strategi bisnis kedepannya.
Contoh Big Data
Contoh Big Data dapat berupa data yang berukuran hingga petabytes (1,024 terabytes) atau exabytes (1,024 petabytes), seperti milyaran hingga triliunan catatan personal seseorang yang semuanya berasal dari sumber berbeda seperti web, sales, customer service, social media, data mobile dan sebagainya.
Data-data ini biasanya tidak terstruktur, sering tidak lengkap dan tidak dapat diakses. Pada saat berhadapan dengan kelompok data yang lebih besar, perusahaan menghadapi kesulitan membuat, memanipulasi dan mengelola Big Data. Big Data sesungguhnya masalah dalaman alisis bisnis karena tools dan prosedur standar tidak didesain untuk mencari dan menganalisa kumpulan data yang massive.
Contoh Manfaat Big Data
- Perusahaan ritel dapat menggunakan informasi dari social media seperti Facebook, Twitter, Google+ untuk menganalisis bagaimana perilaku, persepsi pelanggan terhadap suatu produk atau brand dari perusahan.
- Perusahan manufaktur dapat memantau kondisi peralatan setiap saat (real-time), sehingga dapat memperkirakan waktu terbaik untuk mengganti peralatan. Karena mengganti terlalu cepat akan merugikan/buang-buang uang atau kalau terlambat akan menyebabkan produksi terganggu karena kerusakan peralatan.
- Perusahaan manufaktur juga bisa memantau produk yang baru launching melalui social sedia untuk mengetahui apakah ada isu after-sales sehingga dapat mencegah kegagalan garansi yang menyebabkan publikasi besar yang dapat merusak citra produk dan perusahaan.
- Perusahaan periklanan dapat menggunakan informasi dari social media untuk mengetahui tanggapan terhadap promosi/iklan yang baru diluncurkan.
- Rumah sakit dapat merekam catatan medis pasien sehingga big data tersebut bisa digunakan untuk menganalisis kecenderungan sakit pasien
- Pemerintahan dapat menggunakan informasi dari social media untuk mengetahui tingkat kepuasan masyarakat terhadap pemerintah
- Jasa Keuangan dapat menggunakan analisis big data untuk melihat aplikasi asuransi yang dapat segera diproses, dan mana yang perlu divalidasi dengan dilakukan kunjungan oleh agen asuransi
- Jasa Perbankan dapat menggunakan rekaman transaksi nasabah untuk mengetahui kemungkinan adanya kegiatan kejahatan seperti pencucian uang, atau juga untuk merekam catatan kebiasaan karyawan dalam rangka mendeteksi kemungkinan fraud.
- Tim olahraga dapat menggunakan big data untuk tracking penjualan tiket, mengetahui kondisi pemain dan probabilitas akan mengalami cedera dan bahkan strategi bermain dari tim.
Sekian mengenai artikel tentang big data, semoga bermanfaat. jangan lupa untuk dishare ya sahabat ..