5 cách điều chỉnh siêu thông số Vertex Vizier cải thiện mô hình ML

Gần đây, Google Cloud Platform đã ra mắt Vertex AI để giúp bạn chuyển công nghệ máy học (ML) từ thử nghiệm sang sản xuất nhanh hơn và tự tin quản lý mô hình của mình — tăng tốc khả năng cải thiện kết quả tại tổ chức của bạn.

Nhưng họ biết nhiều bạn mới bắt đầu với ML và có rất nhiều điều để học hỏi! Song song với việc xây dựng nền tảng Vertex AI, các nhóm đang giảm bớt nội dung các phương pháp hay nhất có thể để giúp bạn bắt kịp tốc độ. Ngoài ra, Google có một sự kiện dành riêng vào ngày 10 tháng 6, Hội nghị thượng đỉnh ML ứng dụng, với các phiên về cách áp dụng công nghệ ML trong các dự án của bạn, cũng như phát triển kỹ năng của bạn trong lĩnh vực này.

Trong thời gian chờ đợi, chính Google cũng không thể cưỡng lại một bài học nhanh về điều chỉnh siêu thông số, bởi vì:

(a) nó cực kỳ tuyệt vời

(b) bạn sẽ gây ấn tượng với đồng nghiệp của mình

(c) Google Cloud có một số công nghệ độc đáo đã được thử nghiệm trong lĩnh vực này và

(d) bạn sẽ tiết kiệm thời gian bằng cách đưa các mô hình ML tốt hơn vào sản xuất nhanh hơn.

Trung bình, Vertex Vizier tìm thấy các tham số tối ưu cho các chức năng phức tạp trong số lần thử nghiệm ít hơn 80% so với các phương pháp truyền thống.

Vì vậy, nó vô cùng tuyệt vời, nhưng nó là gì?

Trong khi các mô hình học máy tự động học từ dữ liệu, chúng vẫn yêu cầu các nút do người dùng xác định để hướng dẫn quá trình học. Ví dụ, những nút này, thường được gọi là siêu tham số, điều khiển, sự cân bằng giữa độ chính xác đào tạo và khả năng tổng quát hóa. Ví dụ về siêu tham số là trình optimizer đang được sử dụng,của nó  learning rate, regularization parameters, số lớp ẩn trong DNN và kích thước của chúng.

Đặt siêu tham số thành giá trị tối ưu của chúng cho một tập dữ liệu nhất định có thể tạo ra sự khác biệt lớn về chất lượng mô hình. Thông thường, các giá trị siêu tham số tối ưu được tìm thấy thông qua tìm kiếm lưới với một số lượng nhỏ các kết hợp hoặc thử nghiệm thủ công tẻ nhạt. Hyperparameter tuning tự động hóa công việc này cho bạn bằng cách tìm kiếm cấu hình tốt nhất của siêu tham số để có hiệu suất mô hình tối ưu.

Vertex Vizier cho phép điều chỉnh siêu tham số tự động theo một số cách: Điều chỉnh siêu tham số

1. “truyền thống”: bằng cách này, có nghĩa là tìm giá trị tối ưu của siêu tham số bằng cách đo một số liệu mục tiêu duy nhất là đầu ra của mô hình ML. Ví dụ: Vizier chọn số lượng lớp ẩn và kích thước của chúng, trình tối ưu hóa và tốc độ học của nó, với mục tiêu tối đa hóa độ chính xác của mô hình.

2. Khi các siêu tham số được đánh giá, các mô hình được đào tạo và đánh giá trên các phần của tập dữ liệu. Nếu các số liệu đánh giá được truyền trực tuyến tới Vizier (ví dụ như một hàm của kỷ nguyên) khi mô hình được đào tạo,của Vizier’s early stopping  thuật toán có thể dự đoán giá trị mục tiêu cuối cùng và khuyến nghị nên dừng sớm các thử nghiệm không thỏa đáng. Điều này bảo tồn tài nguyên máy tính và tăng tốc độ hội tụ.

3. Thông thường, các mô hình được điều chỉnh tuần tự trên các tập dữ liệu khác nhau. Tính năng được tích hợp sẵn của Vizier transfer learning những điểm chính từ các nghiên cứu điều chỉnh siêu tham số trước đó và tận dụng chúng để hội tụ nhanh hơn vào các nghiên cứu điều chỉnh siêu tham số tiếp theo.

4. AutoML là một biến thể của # 1, trong đó Vertex Vizier thực hiện cả việc lựa chọn mô hình và cũng điều chỉnh các siêu tham số sửa đổi kiến ​​trúc / phi kiến ​​trúc. AutoML thường yêu cầu nhiều mã hơn trên Vertex Vizier (để nhập dữ liệu, v.v.), nhưng trong hầu hết các trường hợp, Vizier là “động cơ” đằng sau quy trình. AutoML được triển khai bằng cách xác định dạng cây như (DAG không gian tìm kiếm), thay vì không gian tìm kiếm “phẳng” (như trong # 1). Lưu ý rằng bạn có thể sử dụng không gian tìm kiếm DAG cho bất kỳ mục đích nào khác khi tìm kiếm trên không gian phân cấp có ý nghĩa.

5. Đôi khi bạn có thể muốn tối ưu hóa nhiều hơn một số liệu. Ví dụ: Google Cloud muốn tối ưu hóa độ chính xác của mô hình, đồng thời giảm thiểu độ trễ của mô hình. Vizier có thể tìm thấy  Pareto frontier, nơi đưa ra sự cân bằng cho nhiều số liệu, cho phép người dùng chọn sự cân bằng thích hợp. Ví dụ đơn giản: Tôi muốn tạo một mô hình chính xác hơn, nhưng muốn giảm thiểu độ trễ phân phối. Tôi không biết trước sự cân bằng giữa hai số liệu là gì. Vizier có thể được sử dụng để khám phá và vẽ đường cong cân bằng, vì vậy người dùng có thể chọn đường thích hợp nhất. Ví dụ: “độ trễ giảm 200 mili giây sẽ chỉ làm giảm độ chính xác 0,5%”

Nguồn: Gimasys