Tăng tốc khối lượng công việc AI/ML bằng Cloud Storage hierarchical namespace

Khi khối lượng công việc AI và học máy (ML) ngày càng lớn, hạ tầng hỗ trợ cần phát triển theo kịp nhu cầu riêng của doanh nghiệp. Với Google Cloud Storage, Google cam kết cung cấp cho những người sử AI/ML các công cụ để tối ưu hóa hiệu suất, khả năng mở rộng và khả năng sử dụng của Cloud Storage. Trong bài đăng này,Gimasys sẽ khám phá cách khả năng hierarchical namespace (HNS) mới của Cloud Storage có thể giúp bạn tối đa hóa hiệu suất và hiệu quả của khối lượng công việc AI/ML của mình.

Vai trò của lưu trữ trong khối lượng công việc AI/ML

Pipeline dữ liệu AI/ML thường bao gồm các bước sau, có thể đặt ra yêu cầu lớn đối với hệ thống lưu trữ cơ bản:

1. Chuẩn bị và xử lý dữ liệu bao gồm xác thực dữ liệu, xử lý trước, đưa dữ liệu vào bộ lưu trữ và chuyển đổi dữ liệu sang định dạng chính xác để đào tạo mô hình.
2. Đào tạo mô hình là một quá trình sử dụng nhiều trường hợp tính toán GPU/TPU để phát triển và tinh chỉnh mô hình AI/ML theo từng bước. Quá trình này cũng bao gồm việc kiểm tra điểm , định kỳ lưu trạng thái của mô hình để có thể tiếp tục từ trạng thái đã lưu cuối cùng thay vì khởi động lại từ đầu, tiết kiệm thời gian và tài nguyên quý giá. Điều này cung cấp khả năng chịu lỗi đối với các sai sót thường gặp trong đào tạo phân tán quy mô lớn và cũng giúp các nhà phát triển thử nghiệm với siêu tham số hoặc điều chỉnh mục tiêu đào tạo mà không làm mất tiến trình trước đó.

3. Việc phục vụ mô hình thường bao gồm việc tải mô hình, trọng số và tập dữ liệu vào các phiên bản tính toán có GPU/TPU để suy luận mô hình. Khối lượng công việc AI/ML có thể chạy trên các cụm máy tính lớn bao gồm hàng nghìn nút thực hiện I/O đồng thời trên các tập dữ liệu quy mô petabyte. Do đó, hệ thống lưu trữ cơ bản thường có thể trở thành nút thắt cổ chai đối với các đường ống AI/ML, dẫn đến việc sử dụng không hết các chu kỳ GPU/TPU đắt tiền.

Lợi ích của việc sử dụng hierarchical namespace cho khối lượng công việc AI/ML

Hierarchical namespace của Cloud Storage có thể được bật khi tạo bucket và nó mang lại một số lợi ích cho khối lượng công việc AI/ML, bao gồm:

• Một loại tài nguyên “thư mục” mới và các API được tối ưu hóa cho ngữ nghĩa hệ thống tập tin.
• Đổi tên thư mục nhanh chóng và chính xác, giúp kiểm tra nhanh hơn và đáng tin cậy hơn.
• Bố cục lưu trữ được tối ưu hóa có thể xử lý nhiều truy vấn mỗi giây (QPS) đọc và ghi hơn.

Tổ chức dữ liệu và truy cập được tối ưu hóa cho ngữ nghĩa hệ thống tập tin

Trong một bucket hierarchical namespace, một thư mục có thể chứa các đối tượng và các thư mục khác, cho phép sắp xếp dữ liệu Cloud Storage (theo truyền thống là phẳng) thành một cấu trúc hình cây phản ánh hệ thống tệp truyền thống. Điều này cho phép các thư viện máy khách như Cloud Storage FUSE ánh xạ các lệnh gọi hệ thống tệp tới các API Cloud Storage hoạt động trực tiếp trên các thư mục. Trong khi các flat namespace đòi hỏi phải thực hiện các hoạt động cấp đối tượng kém hiệu quả và tốn kém để mô phỏng các hoạt động của hệ thống tệp, thì việc sử dụng hierarchical namespace cho phép bạn tận dụng ngữ nghĩa hệ thống tệp do hệ thống lưu trữ cơ bản cung cấp. Ví dụ: các thư viện hệ thống tệp thường sử dụng các lệnh gọi ListObject tốn nhiều tài nguyên để triển khai tra cứu inode; những lệnh này có thể được thay thế bằng các lệnh gọi GetFolderMetadata hiệu quả hơn khi sử dụng hierarchical namespace. Do đó, khối lượng công việc AI/ML được hưởng lợi rất nhiều vì chúng thường dựa vào các khuôn khổ như TensorFlow và PyTorch tương tác với bộ lưu trữ thông qua giao diện hệ thống tệp.

Những khách hàng như AssemblyAI đã báo cáo những cải tiến đáng kể khi sử dụng hierarchical namespace với Cloud Storage FUSE để hỗ trợ khối lượng công việc AI/ML của họ.

“Với HNS và GCSfuse, chúng tôi đã quan sát thấy thông lượng tăng hơn 10 lần từ GCS, với tốc độ đào tạo được cải thiện 15 lần.” – Ahmed Etefy, Kỹ sư phần mềm nhân viên, AssemblyAI

Kiểm tra điểm nhanh hơn tới 20 lần

Đổi tên thư mục và đối tượng là việc thường làm khi viết điểm kiểm tra hoặc quản lý đầu ra trung gian. Các hierarchical namespace của Cloud Storage giới thiệu một API RenameFolder mới vừa nhanh vừa đúng trọng tâm. Trong khi việc mô phỏng việc đổi tên thư mục trong thùng flat namespace có thể liên quan đến hàng nghìn lần ghi lại và xóa đối tượng riêng lẻ (tùy thuộc vào số lượng đối tượng trong thư mục), thì dịch vụ hierarchical namespace cung cấp một hoạt động chỉ có siêu dữ liệu cấp thư mục mới thực hiện việc này trong một hành động chi tiết hoàn thành trong một phần nhỏ thời gian. Tính chi tiết ngăn ngừa sự không nhất quán và quản lý trạng thái phức tạp do lỗi một phần gây ra, đây là một vấn đề thường gặp khi đổi tên được mô phỏng trong  flat namespace.

Khi xem xét việc đổi tên thư mục đang diễn ra, đánh giá chuẩn điểm kiểm tra cho thấy các hierarchical namespace tăng tốc độ ghi điểm kiểm tra lên đến 20 lần so với các flat namespace.

QPS cao hơn tới 8 lần

Khối lượng công việc AI/ML chạy trên các cụm lớn tạo ra hàng triệu yêu cầu I/O trên hệ thống lưu trữ được đính kèm. Ghi và khôi phục điểm kiểm tra trong quá trình đào tạo mô hình và phục vụ đọc để suy luận là khối lượng công việc bùng nổ cao, trong đó nhiều nút được đồng bộ hóa để giao tiếp với bộ lưu trữ cùng một lúc. Khả năng QPS cao giúp tránh tình trạng tắc nghẽn lưu trữ có thể làm GPU/TPU đắt tiền bị thiếu hụt.

Các hierarchical namespace có bố cục lưu trữ được tối ưu hóa, cung cấp số lượng yêu cầu đọc và ghi đối tượng ban đầu cao hơn tới 8 lần mỗi giây (QPS) so với các flat namespace, trong khi vẫn hỗ trợ tăng gấp đôi QPS sau mỗi 20 phút theo hướng dẫn tăng tốc của Cloud Storage . Ví dụ: điều này có nghĩa là một hierarchical namespace có thể đạt được 100.000 QPS ghi đối tượng trong gần một nửa thời gian so với một flat namespace.

Kết luận

Khối lượng công việc AI/ML yêu cầu cơ sở hạ tầng được thiết kế riêng theo nhu cầu riêng của chúng: tổ chức dữ liệu hiệu quả và ngữ nghĩa hệ thống tệp để tích hợp chặt chẽ với các khuôn khổ, kiểm tra điểm hiệu suất cao để tối đa hóa việc sử dụng GPU/TPU và tỷ lệ QPS cao để hỗ trợ tăng tốc nhanh. Các hierarchical namespace cung cấp tất cả những lợi ích này, cùng với khả năng mở rộng, độ tin cậy, tính đơn giản và hiệu quả về chi phí mà Cloud Storage nổi tiếng. Chúng tôi khuyên bạn nên bật hierarchical namespace trên các bucket mới cho khối lượng công việc AI/ML.