[Knowledge] Compare Cloud Data Fusion and Dataflow

Hệ thống lưu trữ dữ liệu trong doanh nghiệp rất “khổng lồ” và được lưu trữ phân tán từ rất nhiều nguồn, vì thế Cloud Data Fusion – một sản phẩm trên Google Cloud Platform (GCP) được ra mắt trong Google Cloud Next 2019 sẽ làm cho việc truy cập dữ liệu trên nền tảng GC dễ dàng hơn, đa dạng hơn. 

Cloud Data Fusion là gì?

Data Cloud Fusion là sản phẩm kỹ thuật dữ liệu được quản lý hoàn toàn bởi Google Cloud. Data Cloud Fusion giúp người dùng xây dựng và quản lý hiệu quả việc dẫn dữ liệu ETL/ELT. Sản phẩm này chuyển trọng tâm từ “code” để kết nối từ nguồn dữ liệu đến phần cần tập trung vào thông tin chi tiết của dữ liệu. Data Cloud Fusion được xây dựng dựa trên CDAP của dự án mã nguồn mở và nó tận dụng giao diện người dùng thuận tiện để xây dựng “đường” dẫn dữ liệu bằng cách “kéo và thả”. 

So sánh giữa Cloud Data Fusion và Dataflow

Tóm lại, Cloud Data Fusion tập trung vào việc cung cấp trải nghiệm trực quan, không có mã để tích hợp dữ liệu và ETL, trong khi Dataflow cung cấp mô hình lập trình linh hoạt và có thể mở rộng hơn để xử lý dữ liệu. Sự lựa chọn giữa chúng tùy thuộc vào các yêu cầu cụ thể, chuyên môn kỹ thuật và sở thích của bạn đối với các phương pháp phát triển trực quan hoặc dựa trên mã.

Khi nào cần Data Cloud Fusion?

​​Data Cloud Fusion sẽ phát huy được vai trò của chính giải pháp nhằm xử lý cho doanh nghiệp khi cần lưu trữ và khai thác một lượng lớn dữ liệu đã được phân tán từ nhiều nguồn dữ liệu khác nhau nhằm thống kê, tổng hợp chúng lại vào một kho dữ liệu trung tâm.

Data Cloud Fusion sẽ xử lý những thách thức mà doanh nghiệp đưa ra bằng cách đơn giản và dễ dàng hóa việc di chuyển dữ liệu. Những trọng tâm và nổi bật chính của Data Cloud Fusion là: 

• Xây dựng “đường dẫn” dữ liệu mà không cần viết code vì Data Cloud Fusion đã được xây dựng dựa trên dự án về mã nguồn mở (open-source) tên là CDAP. Lõi mở mở này đảm bảo tính di động của “đường dẫn” dữ liệu cho người dùng. Sự tích hợp rộng rãi của CDAP với các nền tảng đám mây công cộng và tại chỗ mang lại cho người dùng Cloud Data Fusion khả năng chia nhỏ các silo và cung cấp thông tin chi tiết mà trước đây không thể truy cập được.
• Thực hiện việc chuyển đổi dữ liệu mà không cần viết bất kỳ code nào vì Data Cloud Fusion đi kèm với một tập hợp các phép biến đổi tích hợp có sẵn có thể áp dụng ngay và liền mạch với hệ thống dữ liệu của doanh nghiệp.

Mô hình của Data Cloud Fusion theo hình sau:

Phần khởi động tóm tắt này sẽ thể hiện được cho bạn thấy:

• Tạo một phiên bản Cloud Data Fusion.
• Triển khai một đường dẫn mẫu được cung cấp với phiên bản Cloud Data Fusion của bạn. Đường dẫn sẽ thực hiện những việc sau:
  • Đọc tệp JSON chứa dữ liệu NYT bán chạy nhất từ ​​Cloud Storage.
  • Chạy các biến đổi trên tệp để phân tích cú pháp và làm sạch dữ liệu.

Một số tính năng có liên quan khác của Data Fusion là:

• Open-source code: như đã đề cập ở trên, nó được xây dựng dựa trên CDAP và do đó nó được hưởng một cộng đồng lớn luôn phát triển các trình kết nối mới.
• Khả năng truy cập: nhờ vào giao diện người dùng, Data Fusion không yêu cầu bạn phải có bất kỳ loại nền tảng mã hóa nào.
• Metadata: tìm kiếm các tập dữ liệu tích hợp theo siêu dữ liệu kỹ thuật và kinh doanh. Theo dõi dòng dõi cho tất cả các bộ dữ liệu tích hợp ở cấp độ bộ dữ liệu và trường.
• Flexibility: nếu bạn không thể thực hiện điều gì đó thông qua giao diện người dùng, Data Fusion có thể mở rộng và bạn có thể thêm mã của riêng mình vào đó.
• GCP-native: được quản lý hoàn toàn, kiến ​​trúc GCP-native mở ra khả năng mở rộng, độ tin cậy, bảo mật và đảm bảo quyền riêng tư của Google Cloud.

Dưới đây là danh sách các thách thức mà Data Cloud Fusion sẽ đáp ứng và xử lý được:

Data Cloud Fusion đang cung cấp một kết cấu cho phép người dùng kết hợp nhiều hơn các hệ thống công nghệ và sản phẩm khác nhau có sẵn trên Google Cloud được dễ dàng hơn, dễ tiếp cận hơn, an toàn và hệ thống hoá hơn như hình minh hoạ. 

Conclude

Data Cloud Fusion mang lại nhiều lợi ích cho doanh nghiệp: Tích hợp dữ liệu đa nguồn; Tăng cường khả năng tổng hợp thông tin; Giảm thiểu thời gian và chi phí; Tích hợp liên tục và hiệu quả … Vì vậy, các doanh nghiệp cần Data Cloud Fusion để tăng cường khả năng quản lý và tích hợp dữ liệu của mình, giúp đưa ra các quyết định thông minh và tối ưu hóa các quy trình kinh doanh. Data Cloud Fusion cho phép tổ chức tích hợp nhanh chóng các nguồn dữ liệu khác nhau và quản lý từ một điểm trung tâm, tiết kiệm thời gian và chi phí, hỗ trợ tích hợp liên tục và giảm thiểu rủi ro trong việc quản lý dữ liệu.