Google BigQuery’s AI-assisted data preparation cách mạng hóa cách quản lý và chuẩn bị dữ liệu

Trong thế giới dữ liệu ngày nay, khả năng chuyển đổi dữ liệu thô thành thông tin chi tiết có thể hành động một cách hiệu quả là tối quan trọng. Tuy nhiên, việc chuẩn bị và dọn dẹp dữ liệu thường là một thách thức đáng kể. Và sự ra đời của Google BigQuery’s AI-assisted data preparation đã mở ra một chương mới, hứa hẹn cách mạng hóa cách chúng ta làm việc với dữ liệu. Với khả năng tự động hóa các công việc tẻ nhạt và tăng cường hiệu quả phân tích, BigQuery đang giúp các doanh nghiệp khai thác tối đa giá trị từ dữ liệu của mình.

Hiện đang trong giai đoạn thử nghiệm, BigQuery data preparation cung cấp một số khả năng:

• Gợi ý do AI cung cấp: BigQuery’s AI-assisted data preparation sử dụng Gemini trong BigQuery để phân tích dữ liệu và lược đồ của bạn và đưa ra các gợi ý thông minh để làm sạch, chuyển đổi và làm giàu dữ liệu. Điều này giúp giảm đáng kể thời gian và công sức cần thiết cho các tác vụ chuẩn bị dữ liệu thủ công.
• Làm sạch và chuẩn hóa dữ liệu: Dễ dàng xác định và sửa lỗi không nhất quán, giá trị bị thiếu và lỗi định dạng trong dữ liệu của bạn.
• Trực quan Pipeline: Giao diện trực quan, ít mã nguồn giúp cả người dùng chuyên môn và không chuyên môn dễ dàng thiết kế pipeline data phức tạp và tận dụng các khả năng SQL phong phú và có thể mở rộng của BigQuery.
• Thiết kế pipeline: Tự động thực hiện và giám sát pipeline của bạn. SQL được tạo ra bởi chuẩn bị dữ liệu BigQuery có thể trở thành một phần của đường ống kỹ thuật dữ liệu Dataform mà bạn có thể triển khai và phối hợp với CI/CD, để có trải nghiệm phát triển chung.

BigQuery data preparation giúp bạn đảm bảo tính chính xác và độ tin cậy của dữ liệu, dẫn đến các quyết định kinh doanh sáng suốt hơn. BigQuery’s AI-assisted data preparation kiểm tra chất lượng dữ liệu và tích hợp với các dịch vụ Google Cloud khác như Dataform và Cloud Storage, cung cấp một môi trường thống nhất và có thể mở rộng cho nhu cầu dữ liệu của bạn.

Nó hoạt động thế nào?

Khi bạn lấy mẫu một bảng BigQuery trong quá trình chuẩn bị dữ liệu BigQuery, nó sử dụng các mô hình nền tảng tiên tiến để đánh giá dữ liệu và lược đồ bằng cách sử dụng Gemini trong BigQuery để tạo các đề xuất chuẩn bị dữ liệu như các đề xuất lọc và chuyển đổi. Ví dụ, nó biết cách xác định các định dạng ngày hợp lệ theo quốc gia và các cột nào có thể hoạt động như khóa liên kết, giúp đẩy nhanh quá trình kỹ thuật dữ liệu.

Trong ví dụ trên (sử dụng dữ liệu tổng hợp), cột Ngày sinh chứa hai định dạng ngày khác nhau và có kiểu là CHUỖI. Chuẩn bị dữ liệu BigQuery đề xuất “ Chuyển đổi cột Ngày sinh từ kiểu chuỗi sang ngày với các định dạng sau: ‘%Y-%m-%d’,’%m/%d/%Y ”. Sau khi áp dụng thẻ gợi ý, bạn có thể xác minh dữ liệu xem trước đã chuyển đổi trong cột định dạng NGÀY.

Với tính năng chuẩn bị dữ liệu được hỗ trợ bởi BigQuery’s AI-assisted data preparation, bạn có thể:

• Giảm đáng kể thời gian phát hiện các vấn đề về chất lượng dữ liệu và dọn dẹp dữ liệu bằng cách tận dụng các thẻ gợi ý được Gemini hỗ trợ
• Tùy chỉnh thẻ gợi ý của riêng bạn bằng cách cung cấp ví dụ trong lưới dữ liệu
• Tăng hiệu quả hoạt động bằng cách triển khai chuẩn bị dữ liệu với xử lý dữ liệu gia tăng

Khách hàng của BigQuery đang nói gì 

Khách hàng hiện đang giải quyết được nhiều thách thức nhờ BigQuery data preparation. 

GAF là nhà sản xuất vật liệu lợp mái lớn ở Bắc Mỹ và đang áp dụng chuẩn bị dữ liệu để tạo quy trình chuyển đổi dữ liệu trên BigQuery.

“GAF đang tìm cách hiện đại hóa cơ sở hạ tầng ETL và áp dụng giải pháp mã thấp, gốc BigQuery. Việc BigQuery data preparation sẽ giúp người dùng doanh nghiệp lành nghề và nhóm phân tích của Google trong các quy trình chuẩn bị dữ liệu để hỗ trợ phân tích tự phục vụ.” – Puja Panchagnula, Giám đốc quản lý – Quản lý dữ liệu doanh nghiệp & Phân tích, GAF

mCloud Technologies giúp các doanh nghiệp trong các lĩnh vực như năng lượng, tòa nhà và sản xuất tối ưu hóa hiệu suất, độ tin cậy và tính bền vững của tài sản.

“Google nhận được nguồn cấp dữ liệu từ các đối tác của mình. BigQuery’s AI-assisted data preparation cho phép các nhà quản lý sản phẩm của Google chuẩn bị và vận hành các nguồn cấp dữ liệu tệp mà hầu như không cần sự trợ giúp từ nhóm kỹ thuật dữ liệu của Google.” – Jim Christian, Giám đốc sản phẩm và công nghệ, mCloud Technologies

Public Value Technologies là liên doanh giữa hai tổ chức phát thanh truyền hình công cộng của Đức (ARD).

“Public Value Technologies nhận nguồn cấp dữ liệu từ các đối tác truyền thông của Google cho giải pháp lưới dữ liệu và các ứng dụng AI của Google. BigQuery’s AI-assisted data preparatio cho phép các nhà phân tích dữ liệu và nhà khoa học của Google nhanh chóng tích hợp các nguồn cấp dữ liệu chuẩn hóa và xử lý trước dữ liệu theo cách mã hóa thấp.” – Korbinian Schwinger, Trưởng nhóm Kỹ sư dữ liệu, Public Value Technologies 

Getting started

Với khả năng AI mạnh mẽ, giao diện trực quan và tích hợp chặt chẽ với hệ sinh thái Google Cloud, BigQuery data preparation được thiết lập để cách mạng hóa cách các tổ chức quản lý và chuẩn bị dữ liệu của họ. Bằng cách tự động hóa các tác vụ tẻ nhạt, cải thiện chất lượng dữ liệu và trao quyền cho người dùng, giải pháp sáng tạo này giúp bạn giảm thời gian chuẩn bị dữ liệu và cải thiện năng suất của bạn. 

Để bắt đầu chuẩn bị dữ liệu BigQuery, hãy khám phá các tài nguyên sau:

• Xem hướng dẫn sử dụng
• Xem video demo dài 2 phút
• Tìm hiểu về Gemini trong BigQuery