BIG DATA
Big Data adalah sebuah teknologi baru di dunia teknologi informasi dimana memungkinan proses pengolahan, penyimpanan dan analisis data dalam beragam bentuk/format, berjumlah besar dan pertambahan data yang sangat cepat. Pengolahan dan analisis data dalam jumlah sangat besar ini memerlukan waktu yang relatif jauh lebih singkat dengan menggunakan Big Data dibanding teknologi data sebelumnya, misalnya. database relational seperti MySQL. Big Data adalah istilah yang menggambarkan volume data yang besar, baik data yang terstruktur maupun data yang tidak terstruktur. Big Data telah digunakan dalam banyak bisnis. Tidak hanya besar data yang menjadi poin utama tetapi apa yang harus dilakukan organisasi dengan data tersebut. Berikut merupakan ciri-ciri data yang dikelola oleh Big data :
- Jumlah nya sangat besar (Volume). Biasanya ukuran total data dalam terabytes keatas.
- Pertumbuhan data sangat cepat (Velocity) sehingga data bertambah dalam jumlah yang sangat banyak dalam kurun waktu relatif singkat.
- Bentuk atau format datanya beraneka ragam (Variety). Format disini bisa berupa data dalam tabel-tabel relasional database seperti MySQL, file text biasa, File Excel atau bentuk apapun.
Istilah Big Data masih terbilang baru dan sering disebut sebagai tindakan pengumpulan dan penyimpanan informasi yang besar untuk analisis. Fenomena Big Data, dimulai pada tahun 2000-an ketika seorang analis industri Doug Laney menyampaikan konsep Big Data yang terdiri dari tiga bagian penting, diantaranya:
- Volume Organisasi mengumpulkan data dari berbagai sumber, termasuk transaksi bisnis, media sosial dan informasi dari sensor atau mesin. Di masa lalu, aktivitas semacam ini menjadi masalah, namun dengan adanya teknologi baru (seperti Hadoop) bisa meredakan masalah ini.
- Kecepatan Aliran data harus ditangani dengan secara cepat dan tepat bisa melalui hardware maupun software. Teknologi hardware seperti tag RFID, sensor pintar lainnya juga dibutuhkan untuk menangani data yang real-time.
- Variasi Data yang dikumpulkan mempunyai format yang berbeda-beda. Mulai dari yang terstruktur, data numerik dalam database tradisional, data dokumen terstruktur teks, email, video, audio, transaksi keuangan dan lain-lain.
Selain tiga bagian penting tersebut, para peneliti Big Data juga menambah bagian yang termasuk penting lainnya seperti variabilitas dan kompleksitas. Berikut merupakan penjelasannya :
- Variabilitas Selain kecepatan pengumpulan data yang meningkat dan variasi data yang semakin beraneka ragam, arus data kadang tidak konsisten dalam periode tertentu. Salah satu contohnya adalah hal yang sedang tren di media sosial. Periodenya bisa harian, musiman, dipicu peristiwa dadakan dan lain-lain. Beban puncak data dapat menantang untuk analis Big Data, bahkan dengan data yang tidak terstruktur.
- Kompleksitas Hari ini, data berasal dari berbagai sumber sehingga cukup sulit untuk menghubungkan, mencocokan, membersihkan dan mengubah data di seluruh sistem. Namun, Big Data sangat dibutuhkan untuk memiliki korelasi antar data, hierarki dan beberapa keterkaitan data lainnya atau data yang acak.
Big Data merupakan istilah untuk menggambarkan data set yang besar baik Structured, Semi-Structured maupun Unstructured data. Definisi big data bisa juga dijelaskan dalam 3V :
- Volume berarti data set yang disimpan dalam jumlah yang besar
- Velocity berarti ada kebutuhan mengakses data set besar tersebut dengan cepat
- Variety berarti format data yang semakin bervariasi saat ini.
Berikut ini tiga jenis format data :
- Structured data seperti relational database (RDBMS)
- Semi-Structured data seperti XML, JSON
- Unstructured data seperti Dokumen, metadata, video, gambar, audio, file teks, ebooks, email message, social media, jurnal dll.
Analisis data adalah proses meneliti data untuk mengetahui pola tersembunyi, korelasi yang belum diketahui, dan informasai berguna lainnya. Dengan demikian pengertian Analisis Big Data adalah proses meneliti, mengolah data set besar (Big Data) untuk mengetahui pola tersembunyi, korelasi yang tidak diketahui, tren pasar, preferensi pelanggan dan informasi bisnis berguna lainnya. Berikut beberapa contoh aplikasi analisis big data :
- IBM Big data Analytics
- HP Big Data
- SAP Big Data Analytics
- Microsoft Big Data Analytics
- Oracle Big Data Analytics
- Talend Open Studio
- Teradata Big Data Analytics
- SAS Big Data Analytics
- Dell Big Data Analytics,
- Pentaho Big Data Analytics
- Amazon Web Service
- Google Big Query
- Pivotal Big Data
- Cloudera Enterprise Big Data
- Hortonworks Data Platform
Solusi big data yang ditawarkan pada umumnya menggunakan kerangka kerja (framework) Hadoop dan beberapa tools pendukung lainnya seperti HBase, Pig, Hive, Mapreduce, Oozie, Zookeeper, HCatalog, Avro, Sqoop (untuk ingin tahu istilah tersebut dapat dibaca di sini). Yang memungkinkan pengguna untuk menyimpan, mengelola dan menganalisa data dari berbagai sumber, di mana data tersebut dapat diakses oleh para analis bisnis, data scientist dan pengguna/praktisi TI.
Solusi big data tersebut adapula yang secara arsitektur dikombinasikan dengan teknologi yang sudah biasa untuk keperluan analisis dan visualisasi data, seperti Data Warehouse dan Business Intellegent (BI). Dengan menggunakan tools visualisasi tersebut akan lebih menarik dan mudah dalam penyediaan reporting dari hasil analisis.
