Tự động hóa quản trị, mở rộng cấu trúc dữ liệu với tích hợp Google Dataplex – BigLake

Khai thác toàn bộ tiềm năng của dữ liệu đòi hỏi phải phá vỡ rào cản giữa các định dạng dữ liệu nguồn mở và kho dữ liệu. Đồng thời, điều quan trọng là kích hoạt nhóm quản trị dữ liệu để áp dụng các chính sách bất kể dữ liệu xảy ra ở đâu, cho dù nó đang trên tệp hay lưu trữ cột.

Ngày nay, các nhóm quản trị dữ liệu phải trở thành chuyên gia về chủ đề trên mỗi hệ thống lưu trữ mà dữ liệu của công ty nằm trên đó. Kể từ tháng 2 năm 2022, Google Dataplex đã cung cấp một nơi thống nhất để áp dụng các chính sách, được phổ biến trên cả kho lưu trữ thô và kho dữ liệu trong GCP. Thay vì chỉ định các chính sách ở nhiều nơi, mang tải nhận thức của việc dịch các chính sách từ “những gì bạn muốn hệ thống lưu trữ thực hiện” sang “dữ liệu của bạn sẽ hoạt động như thế nào” Dataplex cung cấp một điểm duy nhất để quản lý chính sách rõ ràng. Bây giờ, Google đang giúp bạn sử dụng dễ dàng hơn với BigLake.

Đầu năm nay, Google đã đưa BigLake vào khả dụng rộng rãi, BigLake hợp nhất kết cấu dữ liệu giữa Data Lake và Data Warehouse bằng cách mở rộng BigQuery lưu trữ để mở các định dạng tập tin. Hôm nay, Google công bố Tích hợp BigLake với Dataplex (có sẵn trong bản xem trước). Việc tích hợp này loại bỏ các bước cấu hình để quản trị viên tận dụng lợi thế của BigLake và quản lý các chính sách trên GCS và BigQuery từ một bảng điều khiển hợp nhất.

Trước đây, bạn có thể dẫn Dataplex vào một Google Cloud Storage (GCS) và Dataplex sẽ phát hiện và trích xuất tất cả siêu dữ liệu từ kho dữ liệu và đăng ký siêu dữ liệu này trong BigQuery (và Dataproc Metastore, Data Catalog) để phân tích và tìm kiếm. Với khả năng tích hợp BigLake, Google đang xây dựng dựa trên khả năng này bằng cách cho phép “nâng cấp” nội dung bộ chứa và thay vì chỉ tạo các bảng bên ngoài trong BigQuery để phân tích – Dataplex sẽ tạo các bảng BigLake có khả năng áp dụng theo chính sách!

Hàm ý ngay lập tức là quản trị viên giờ đây có thể chỉ định chính sách cột, hàng và bảng cho các bảng BigLake do Dataplex tự động tạo, như với BigLake – lớp cơ sở hạ tầng (GCS) tách biệt với lớp phân tích (BigQuery). Dataplex sẽ xử lý việc tạo kết nối BigQuery và tập dữ liệu xuất bản BigQuery, đồng thời đảm bảo tài khoản dịch vụ BigQuery có quyền chính xác.

Nhưng xin chờ chút nữa. Với phiên bản Dataplex này, Google cũng giới thiệu tính năng ghi nhật ký nâng cao được gọi là nhật ký quản trị. Nhật ký quản trị cho phép theo dõi trạng thái chính xác của việc truyền bá chính sách tới các bảng và cột – thêm một mức độ chi tiết bổ sung vượt ra ngoài “trạng thái” cấp cao cho nhóm và vào trạng thái và nhật ký chi tiết cho các bảng, cột.

Bước tiếp theo?

• Google đã cập nhật tài liệu của họ cho managing buckets và có thêm chi tiết về tuyên truyền chính sách và quá trình nâng cấp.
• Hãy theo dõi lộ trình thú vị phía trước, với nhiều tính năng tự động hóa hơn trong quản lý chính sách.

Để biết thêm thông tin, vui lòng truy cập:

• Google Cloud Dataplex

Liên hệ Gimasys – Google Cloud Premier Partner tài Việt Nam để được tư vấn chiến lược chuyển đổi lên Cloud phù hợp,tối ưu chi phí nhất với tình hình thực tế doanh nghiệp của bạn và trải nghiệm miễn phí dịch vụ Google Cloud Platform:

• Hotline: Hà Nội: 0987 682 505 – Hồ Chí Minh: 0974 417 099
• Email: gcp@gimasys.com

Nguồn: Gimasys