Dữ liệu đang tăng trưởng với tốc độ chóng mặt, nhưng làm thế nào để…
Hội nhập, đón nhận sự thay đổi với kho dữ liệu đám mây
Việc chuyển từ nền tảng kho dữ liệu truyền thống tại chỗ sang kho dữ liệu đám mây như Google Cloud BigQuery, không chỉ đơn thuần là áp dụng công nghệ mới. Nó cũng cung cấp một cơ hội để xem xét lại các thực tiễn hiện có và áp dụng các cách làm việc mới. Chúng tôi đã lưu ý một số thay đổi điển hình mà các nhóm phải trải qua để hỗ trợ di chuyển kho dữ liệu lên đám mây.
Để có được khung quản lý thay đổi và thực tiễn tốt nhất để di chuyển lên đám mây, bạn có thể tìm thêm chi tiết trong tài liệu Quản lý thay đổi trong đám mây.
Con người chính là cốt lõi của bất kỳ sáng kiến quản lý thay đổi. Đối với một sáng kiến di chuyển kho dữ liệu, Google sẽ tập trung vào ba bên liên quan chính có liên quan đến việc sử dụng và quản lý hàng ngày (mặc dù có thể có các vai trò phụ trợ khác liên quan):
- Người tiêu dùng dữ liệu (Data consumer) – thường là nhà phân tích dữ liệu, nhà khoa học dữ liệu hoặc người dùng doanh nghiệp
- Người kích hoạt dữ liệu (Data enabler) – thường là một kỹ sư dữ liệu hoặc nhà phát triển công cụ ETL
- Người quản trị dữ liệu (Data administrator) – thông thường một người quản trị cơ sở dữ liệu /kho dữ liệu
Hãy xem xét từng bên liên quan và xem trách nhiệm của họ thay đổi như thế nào khi tổ chức của họ chuyển từ tại chỗ sang đám mây.
Người tiêu dùng dữ liệu (Data consumer)
Các nhà phân tích dữ liệu và nhà khoa học dữ liệu có rất nhiều lợi ích từ việc di chuyển sang kho dữ liệu đám mây. Có sẵn các bộ dữ liệu mới, thuật toán mới để chơi và các tùy chọn truy cập có độ trễ thấp hơn trong đám mây. Thông thường, trong quá trình di chuyển, các ứng dụng báo cáo hiện tại và các công cụ BI được giữ nguyên ban đầu để đảm bảo sự gián đoạn kinh doanh tối thiểu khiến cho người tiêu dùng dữ liệu chấp nhận các thay đổi tương đối dễ dàng. Tuy nhiên, người tiêu dùng dữ liệu có thể muốn đảm bảo rằng các báo cáo và trường hợp sử dụng hiện tại của họ được kiểm tra trên nền tảng mới. Do đó, nên yêu cầu họ tham gia vào bất kỳ nỗ lực xác thực dữ liệu nào. Bạn có thể tạo một nhóm xác thực dữ liệu, ví dụ.
Sau khi di chuyển, người tiêu dùng dữ liệu có thể tìm thấy cách làm việc mới khi họ có quyền truy cập vào bộ dữ liệu mới, như chuyển đổi báo cáo hàng loạt thành bảng điều khiển thời gian thực và tìm cách biến máy học thành hiện thực cho tổ chức. Các khả năng nền tảng mới cuối cùng trở thành chất xúc tác quan trọng nhất cho sự thay đổi trong vai trò này. Người tiêu dùng dữ liệu càng tham vọng, sự thay đổi sẽ càng lớn đối với các vai trò khác trong tổ chức.
Người kích hoạt dữ liệu (Data enabler)
Các khả năng kỹ thuật của người kích hoạt dữ liệu rất quan trọng đối với việc đám mây được áp dụng thành công vào tổ chức như thế nào. Những cá nhân này sở hữu các đường ống dữ liệu và tham gia sâu vào bất kỳ nỗ lực tái cấu trúc nào cần thiết để di chuyển khối lượng công việc lên đám mây. Lộ trình có thể chia giai đoạn tùy thuộc vào ngăn xếp công nghệ mà mà Google áp dụng; lập kế hoạch tài nguyên phù hợp sẽ rất quan trọng đối với những người kích hoạt dữ liệu này. Việc di chuyển lên đám mây có thể là một công việc lâu dài, do đó, nó đáng để xem xét dành thời gian để lập kế hoạch, tái công cụ và tự động hóa việc di chuyển.
Khi các người kích hoạt dữ liệu đang tái cấu trúc và thiết kế lại các đường ống dữ liệu và làm việc cùng với người tiêu dùng dữ liệu, họ có rất nhiều cơ hội để suy nghĩ lại về cách các quy trình kinh doanh nên thay đổi để tận dụng việc nhập dữ liệu thời gian thực, các kỹ thuật mô hình dữ liệu mới hoặc các lưu trữ cố định mà công nghệ đám mây mới cung cấp. Người kích hoạt dữ liệu cũng có thể xem lại các yêu cầu cũ không thể cung cấp do quy mô, độ phức tạp định dạng dữ liệu hoặc độ phức tạp của ETL. Các công nghệ đám mây có thể phù hợp hơn để vượt qua các thách thức đó thông qua các khả năng như lưu trữ và tính toán độ co giãn tài nguyên, hỗ trợ nhiều định dạng dữ liệu và tùy chọn lưu trữ, cũng như nhiều công cụ và thư viện để xử lý dữ liệu. Ngoài ra, việc áp dụng mô hình DevOps, ứng dụng container hoặc mô hình tính toán không có máy chủ là những cách mà người kích hoạt dữ liệu (cùng với quản trị viên dữ liệu) có thể khám phá để cải thiện tốc độ thay đổi được áp dụng và những hiểu biết mới được cung cấp cho người dùng.
Người quản trị dữ liệu (Data administrator)
Quản trị viên cơ sở dữ liệu tiếp tục đóng một vai trò quan trọng ngay cả khi kho dữ liệu doanh nghiệp được lưu trữ trên đám mây. Là chủ sở hữu của nền tảng, các quản trị viên phải sớm làm quen với các khả năng công nghệ đám mây và thúc đẩy chuyển đổi doanh nghiệp với các bên liên quan chính. Khi quản trị viên cơ sở dữ liệu di chuyển khối lượng công việc dữ liệu vào đám mây, tiếp theo sẽ có các lĩnh vực quan trọng cần tập trung; tổng quan về quản trị trong và sau quá trình di chuyển, tính toàn vẹn dữ liệu và SLA như RPO và RTO. Nếu tổ chức chấp nhận kho dữ liệu đám mây do nhà cung cấp quản lý, quản trị viên cơ sở dữ liệu sẽ có ít nhiệm vụ mua sắm và điều chỉnh cơ sở dữ liệu nền tảng hơn. Nhưng tối ưu hóa chi phí so với hiệu suất vẫn là một lĩnh vực quan trọng để các quản trị viên tham gia đầy đủ. (Xem báo cáo ESG về cách di chuyển sang BigQuery có thể hạ thấp TCO ba năm của bạn lên tới 52%.)
Các quản trị viên cơ sở dữ liệu cũng được giải phóng để hiểu sâu hơn về các tùy chọn lưu trữ, mạng và tính toán mà đám mây cung cấp và tìm cách tối ưu hóa khối lượng công việc của doanh nghiệp trong đám mây. Quản trị viên có thể áp dụng những cách mới để làm việc với môi trường máy tính xách tay máy học, công cụ truy vấn mới, công cụ container hóa, đám mây lai và hơn thế nữa – có rất nhiều thứ để học và tối ưu hóa!
Các tổ chức áp dụng các kỹ năng và quy trình mới này có cơ hội thành công cao hơn trong việc cung cấp kết quả kinh doanh trong đám mây. Để biết thêm thông tin về cách hợp lý hóa đường dẫn di chuyển doanh nghiệp của bạn, hãy xem tài liệu hướng dẫn và khung di chuyển kho dữ liệu. Bạn cũng có thể áp dụng các ưu đãi di chuyển kho dữ liệu để được trợ giúp với quá trình di chuyển đầy đủ.
Nguồn: Gimasys