Cách thức hiểu và tối ưu hóa các truy vấn phân tích Google BigQuery qua biểu đồ thực thi truy vấn

BigQuery cung cấp hiệu suất truy vấn mạnh mẽ, nhưng nó cũng là một hệ thống phân tán phức tạp với nhiều yếu tố bên trong và bên ngoài có thể ảnh hưởng đến tốc độ truy vấn. Khi các truy vấn của bạn đang chạy chậm hơn dự kiến ​​hoặc chậm hơn so với các lần chạy trước đó, việc hiểu rõ điều gì đã xảy ra có thể là một thách thức.

Biểu đồ thực hiện truy vấn cung cấp giao diện trực quan để kiểm tra chi tiết thực hiện truy vấn. Bằng cách sử dụng nó, bạn có thể xem lại thông tin kế hoạch truy vấn ở định dạng đồ họa cho bất kỳ truy vấn nào, dù đang chạy hay đã hoàn thành.

Bạn cũng có thể sử dụng biểu đồ thực thi truy vấn để nhận thông tin chi tiết về hiệu suất cho các truy vấn. Thông tin chi tiết về hiệu suất cung cấp các đề xuất nỗ lực nhất để giúp bạn cải thiện hiệu suất truy vấn. Vì hiệu suất truy vấn có nhiều khía cạnh nên thông tin chi tiết về hiệu suất có thể chỉ cung cấp một phần bức tranh về hiệu suất truy vấn tổng thể.

Đồ thị thực hiện (Execution Graph)

Khi BigQuery thực hiện một công việc truy vấn, nó chuyển đổi câu lệnh SQL khai báo thành một biểu đồ thực thi, được chia thành một loạt các giai đoạn truy vấn, bản thân các giai đoạn này bao gồm nhiều tập hợp các bước thực hiện chi tiết hơn. Biểu đồ thực thi truy vấn cung cấp biểu diễn trực quan về các giai đoạn thực hiện và hiển thị các chỉ số tương ứng. Không phải tất cả các giai đoạn đều được thực hiện như nhau. Một số đắt hơn và tốn thời gian hơn những cái khác. Biểu đồ thực thi cung cấp các nút chuyển đổi để làm nổi bật các giai đoạn quan trọng, giúp dễ dàng phát hiện các tắc nghẽn hiệu suất tiềm ẩn trong truy vấn.

Thông tin chi tiết về hiệu suất truy vấn

Ngoài biểu đồ thực thi chi tiết, BigQuery còn cung cấp thông tin chi tiết cụ thể về các yếu tố có thể làm chậm hiệu suất truy vấn.

Slot contention

Khi bạn chạy một truy vấn, BigQuery sẽ cố gắng chia nhỏ công việc mà truy vấn của bạn cần thành các tác vụ. Dữ liệu duy nhất được nhập vào và xuất ra từ một giai đoạn. Một vị trí duy nhất chọn một tác vụ và thực thi phần dữ liệu cho giai đoạn đó. Lý tưởng nhất là các vị trí BigQuery thực thi các tác vụ song song để đạt được hiệu suất cao. Xung đột vị trí xảy ra khi truy vấn của bạn có nhiều tác vụ sẵn sàng cho các vị trí bắt đầu thực thi, nhưng BigQuery không thể có đủ các vị trí khả dụng để thực thi chúng.

Insufficient shuffle quota

Trước khi chạy truy vấn của bạn, BigQuery chia logic truy vấn của bạn thành các giai đoạn. BigQuery thực thi các tác vụ cho từng giai đoạn. Khi một vị trí hoàn thành việc thực hiện các tác vụ của một giai đoạn, nó sẽ lưu trữ các kết quả trung gian ở dạng xáo trộn. Các giai đoạn tiếp theo trong truy vấn của bạn đọc dữ liệu từ xáo trộn để tiếp tục thực hiện truy vấn của bạn. Hạn ngạch xáo trộn không đủ xảy ra khi bạn có nhiều dữ liệu cần được ghi vào xáo trộn hơn khả năng của bạn.

Thay đổi quy mô đầu vào dữ liệu

Nhận thông tin chi tiết về hiệu suất này cho biết rằng truy vấn của bạn đang đọc ít nhất thêm 50% dữ liệu cho một bảng đầu vào nhất định so với lần cuối cùng bạn chạy truy vấn và do đó, truy vấn bị chậm. Bạn có thể sử dụng lịch sử thay đổi bảng để xem liệu kích thước của bất kỳ bảng nào được sử dụng trong truy vấn gần đây có tăng lên hay không.

Bước tiếp theo?

Google sẽ tiếp tục làm việc để cải thiện khả năng hiển thị của biểu đồ. Hiện họ đang làm việc để thêm các số liệu bổ sung cho mỗi bước và thêm nhiều thông tin chi tiết về hiệu suất hơn sẽ giúp chẩn đoán truy vấn dễ dàng hơn đáng kể. Google đang vừa mới bắt đầu thôi!

Liên hệ Gimasys – Google Cloud Premier Partner tài Việt Nam để được tư vấn chiến lược chuyển đổi lên Cloud phù hợp,tối ưu chi phí nhất với tình hình thực tế doanh nghiệp của bạn và trải nghiệm miễn phí dịch vụ Google Cloud Platform:

• Hotline: Hà Nội: 0987 682 505 – Hồ Chí Minh: 0974 417 099
• Email: gcp@gimasys.com

Nguồn: Gimasys