Như đã đề cập ở bài trước, Big Data là một tập hợp dữ liệu rất lớn và / hoặc rất phức tạp đến nỗi những công cụ, kỹ thuật xử lý dữ liệu truyền thống không thể nào đảm đương được. Vậy những kỹ thuật hiện đại nào sẽ giải quyết được vấn đề của Big Data? Ở bài này mình xin giới thiệu về Hadoop, một framework được dùng phổ biến nhất để giải quyết các bài toán về Big Data.
Hình ảnh về Apache Hadoop
Một hệ thống với dữ liệu lớn cỡ hàng Peta Bytes, thì rõ ràng việc vận hành, thực thi xử lý dữ liệu là rất khó khăn. Để giải quyết vấn đề đó, người ta chỉ có cách là làm thế nào tăng được khả năng xử lý hệ thống máy tính lên. Và có 2 phương án được đưa ra là Scale Up và Scale Out. Scale Up là phương án làm tăng khả năng xử lý của máy chủ lên bằng cách tăng CPU và tăng bộ nhớ (RAM). Còn Scale Out là phương án làm tăng khả năng xử lý của hệ thống máy chủ bằng cách tăng số lượng máy chủ lên, cấu hình mỗi máy chủ không yêu cầu cao.
Nội dung dưới đây sẽ liệt kê ra những ưu nhược điểm của 2 phương án này:
Nhìn vào những ưu nhược điểm trên, rõ ràng là phương án Scale Out có lợi điểm hơn nhiều so với phương án Scale Up trong việc tăng hiệu năng xử lý của hệ thống máy chủ.
Ngoài những so sánh trên, một khó khăn nữa cũng cần phải kể đến là tốc độ truyền tải (đọc, ghi) của của ổ cứng. Với tốc độ truyền tải dữ liệu của ổ cứng hiện tại vào khoảng 100MB/s thì việc đọc 1TB dữ liệu sẽ mất hơn 10,000 giây (khoảng hơn 2 tiếng), với 1PB dữ liệu sẽ mất hơn 10,000,000 giây (khoảng 115 ngày). Với tốc độ đọc dữ liệu như vậy thì cho dù triển khai phương án Scale Up với máy chủ cấu hình khủng đến mấy thì cũng không thể đáp ứng được yêu cầu sử dụng trong thực tế. Nói một cách cụ thể, người dùng không thể đợi 115 ngày để có được kết quả báo cáo từ việc phân tích 1PB dữ liệu. Khi triển khai theo mô hình Scale Out thì việc đọc dữ liệu là song song, giả sử bạn xử lý 1PB dữ liệu trên một hệ thống gồm 1000 máy chủ thì việc đọc dữ liệu có thể sẽ nhanh hơn 1000 lần, nói cách khác thời gian người dùng phải chờ có thể giảm từ 115 ngày xuống còn hơn 2 tiếng.
Như vậy, để giải quyết bài toán Big Data chỉ có phương án duy nhất là hệ thống phải được triển khai theo mô hình Scale Out. Và Hadoop là một framework cho phép thực thi theo mô hình này. Hơn thế nữa, Hadoop còn cho phép người quản trị quản lý, cài đặt & vận hành một cách khá dễ dàng thông qua giao diện UI và Command line.
Hadoop bao gồm 2 thành phần cơ bản là: HDFS & MapReduce
Để dễ hiểu hơn, hãy cùng xem ví dụ WordCount sau đây. WordCount là bài toán đếm tần suất xuất hiện của các từ trong đoạn văn bản. Hãy xem quá trình xử lý bài toán WordCount với mô hình lập trình MapReduce như hình dưới đây.
Với hàm Map:
Hàm Map được thực hiện song song để xử lý các tập dữ liệu khác nhau.
Với hàm Reduce:
Hàm Reduce cũng được chạy song song để xử lý các tập từ khoá khác nhau.
Giữa hàm Map và Reduce có một giai đoạn xử lý trung gian gọi là hàm Shuffle. Hàm này có nhiệm vụ sắp xếp các từ và tổng hợp dữ liệu đầu vào cho Reduce từ các kết quả đầu ra của hàm Map.
Như vậy, cấu trúc của một hệ thống Hadoop có thể biểu diễn như hình bên dưới:
Cấu trúc hệ thống Hadoop
Để triển khai một hệ thống ứng dụng dựa trên Hadoop, ngoài thành phần cốt lõi là Hadoop ra người ta cũng thường sử dụng các thành phần khác nữa gọi là Hadoop ecosystem.
Hadoop Ecosystem
Các thành phần trong Hadoop ecosystem được liệt kê ra như dưới đây:
Chi tiết về một số thành phần trên mình sẽ giới thiệu ở những bài viết tiếp theo.
Drupal Developer having 9+ year experience, implementation and having strong knowledge of technical specifications, workflow development. Ability to perform effectively and efficiently in team and individually. Always enthusiastic and interseted to study new technologies
Google đã cho công bố mã nguồn của phiên bản hệ điều hành Android 4.0, tên mã Ice Cream Sandwich trước khi điện thoại thông minh đầu tiên chạy nền tảng này được bán ra.
Đại đa số các bậc phụ huynh, nhà trường khi tư vấn, định hướng cho con em, học sinh về nấc thang kế tiếp của cuộc đời các em, đều chỉ có 1 đích đến mang tên “Đại học”
Eric Schmidt phải bán tháo 2,4 triệu cổ phiếu của công ty nhằm gom đủ số tiền đền bù cho một cuộc li hôn được coi là đắt giá thứ hai trong lịch sử thế giới này.
