How to optimize the cost of using Google Cloud?

Trong bối cảnh không ngừng phát triển ngày nay, mặc dù lợi ích của cloud rất dễ nhận ra, nhưng bản chất việc kiểm soát chi phí cho nền tảng cloud có thể là một thách thức. Nền tảng cloud từ Google hỗ trợ kiểm soát chi phí sử dụng một cách linh hoạt nhưng không phải ai cũng có thể tối ưu chi phí sử dụng một cách hiệu quả. Vì lý do đó, doanh nghiệp cần nắm vững cách tối ưu hóa chi phí sử dụng Google Cloud để mở ra các cơ hội kinh doanh có giá trị và hiệu quả để thúc đẩy các tổ chức phát triển.

Why is it important to optimize the cost of using Google Cloud?

Google offers a range of native tools on the platform to help businesses track, manage, and optimize their spending. Google Cloud Platform. Google's native tools can manage deployments, alert you to infrastructure failures, and provide visibility into cost drivers. It even tells you when a VM instance is being underutilized so you can choose a more suitable configuration.

However, many businesses find it difficult to optimize their Google Cloud environment because things change so quickly in the cloud. So even though the environment Google Cloud may be in an optimized state after you have used all available tools to cost optimization using Google Cloud Platform, but the chances are that a week, month or quarter later, costs will once again rise to uncontrollable levels and you'll have to redo the optimization process.

What is the best way to optimize costs when using Google Cloud?

1. Learn invoicing and expense management tools

Do tính chất thay đổi theo yêu cầu của việc sử dụng cloud, chi phí có khả năng tăng lên nếu bạn không theo dõi chúng chặt chẽ. Khi bạn hiểu chi phí của mình, bạn có thể bắt đầu thực hiện các biện pháp kiểm soát và tối ưu hóa chi tiêu của mình. Để trợ giúp việc này, Google Cloud cung cấp một bộ công cụ quản lý chi phí và lập hóa đơn miễn phí mạnh mẽ có thể mang đến cho bạn khả năng hiển thị và thông tin chi tiết cần thiết để theo kịp việc triển khai cloud của mình.

Để bắt đầu, tổ chức và cấu trúc chi phí của bạn phù hợp với nhu cầu kinh doanh của doanh nghiệp. Sau đó, đi sâu vào các dịch vụ sử dụng tính năng Billing reports để xem nhanh chi phí của bạn. Bạn cũng nên tìm hiểu cách phân bổ chi phí lại cho các phòng ban hoặc nhóm bằng cách sử dụng labels và tạo custom dashboards của riêng bạn để có thể xem chi phí chi tiết hơn. Bạn cũng có thể sử dụng quotas, budgets, and alerts để giám sát chặt chẽ xu hướng chi phí hiện tại của bạn và dự báo chúng theo thời gian, để giảm nguy cơ tăng ngân sách chi.

2. Pay only for the resources you need

Now that you have detailed visibility into your cloud costs, it's time to reassess your most expensive projects to identify compute resources that aren't delivering true business value. .

Identify unused VMs (and drives):

Cách dễ nhất để giảm chi phí vận hành Google Cloud Platform (GCP) là loại bỏ các tài nguyên không còn được sử dụng. Hãy nghĩ về những dự án proof-of-concept (POC) đã bị tước quyền sử dụng, hoặc những VM bị lãng quên khi không còn cần thiết mà chẳng ai thèm xóa. Google Cloud cung cấp một số Recommenders có thể giúp bạn tối ưu hóa các tài nguyên này, bao gồm một idle VM recommender xác định các máy ảo không hoạt động (VM) và các persistent disks dựa trên các chỉ số sử dụng.

Tuy nhiên, hãy luôn cẩn thận khi xóa VM. Trước khi xóa một tài nguyên, hãy tự hỏi, “việc xóa tài nguyên này sẽ có tác động tiềm ẩn gì và tôi có thể tạo lại nó như thế nào nếu cần?” Xóa các instances sẽ loại bỏ các disks bên dưới và tất cả dữ liệu của nó. Một phương pháp hay nhất là snapshot instances trước khi xóa nó. Ngoài ra, đơn giản hơn bạn có thể chọn dừng VM, thao tác này kết thúc instance, nhưng vẫn giữ các tài nguyên như các disks hoặc địa chỉ IP cho đến khi bạn tách hoặc xóa chúng.

Schedule VMs to automatically start and stop:

Lợi ích của một nền tảng như Compute Engine là bạn chỉ phải trả tiền cho các tài nguyên máy tính mà bạn sử dụng. Hệ thống sản xuất (Production systems) có xu hướng chạy 24/7; tuy nhiên, VMs trong môi trường phát triển, thử nghiệm hoặc cá nhân có xu hướng chỉ được sử dụng trong giờ làm việc và việc tắt chúng đi có thể giúp bạn tiết kiệm rất nhiều tiền! Ví dụ: một VM chạy trong 10 giờ mỗi ngày, từ Thứ Hai đến Thứ Sáu, chi phí chạy mỗi tháng ít hơn 75% so với để nó chạy xuyên suốt.

Rightsize VMs:

Trên Google Cloud, bạn đã có thể tiết kiệm đáng kể bằng cách tạo custom machine type với số lượng CPU và RAM phù hợp để đáp ứng nhu cầu của mình. Nhưng yêu cầu về khối lượng công việc có thể thay đổi theo thời gian. Các phiên bản trước đây từng được tối ưu hóa giờ đây có thể phục vụ ít người dùng và lưu lượng truy cập hơn. Để tối ưu, rightsizing recommendations có thể chỉ cho bạn cách giảm kích thước machine type một cách hiệu quả dựa trên những thay đổi về vCPU và mức sử dụng RAM. Quá trình này được tạo bằng cách sử dụng các chỉ số hệ thống do Cloud Giám sát thu thập trong 8 ngày trước đó.

Take advantage of preemptible VMs:

Preemptible VMs là các phiên bản máy tính có giá cả phải chăng, hoạt động đến 24 giờ và rẻ hơn đến 80% so với các phiên bản thông thường. Preemptible VMs phù hợp cho các khối lượng công việc có khả năng tiếp tục hoạt động mà không bị gián đoạn khi một hoặc nhiều thành phần của nó gặp sự cố. Ví dụ như dữ liệu lớn, hệ gen, chuyển mã media, mô hình tài chính và mô phỏng. Bạn cũng có thể sử dụng kết hợp các phiên bản thường và phiên bản preemptible để hoàn thành khối lượng công việc đòi hỏi nhiều tính toán nhanh hơn và tiết kiệm chi phí, bằng cách thiết lập một nhóm phiên bản được quản lý chuyên biệt.

Optimize Cloud Storage cost and performance

When you run a traditional data management system, storage space tends to be lost in the overall infrastructure cost, making it more difficult to properly manage costs. But in the cloud, where storage is billed as a separate category, and when you pay attention to usage and configuration of capacity can lead to significant cost savings.

Và nhu cầu lưu trữ cũng luôn thay đổi. Lớp lưu trữ mà bạn đã chọn khi thiết lập môi trường lần đầu có thể không còn phù hợp với khối lượng công việc nhất định. Ngoài ra, Cloud Storage đã được sử dụng từ lâu và hiện tại đang cung cấp rất nhiều tính năng mới chưa từng có so với cách đây một năm.

If you are looking to save memory, here are some parts to consider.

Storage classes:

Cloud Storage cung cấp nhiều lớp lưu trữ — standard, nearline, coldline và archival, tất cả đều có chi phí khác nhau và các trường hợp sử dụng phù hợp nhất của riêng chúng. Nếu bạn chỉ sử dụng lớp standard, có thể đã đến lúc xem xét khối lượng công việc của bạn và đánh giá lại tần suất dữ liệu của bạn đang được truy cập. Nhiều công ty sử dụng lưu trữ lớp standard cho mục đích archival và có thể giảm chi tiêu của họ bằng cách tận dụng lưu trữ lớp nearline hoặc coldline. Và trong một số trường hợp, nếu bạn đang giữ các đối tượng cho các trường hợp sử dụng cold-storage như legal discovery, thì lớp archival mới có thể tiết kiệm hơn nữa.

Lifecycle policies

Bạn không chỉ tiết kiệm tiền bằng cách sử dụng các lớp lưu trữ khác nhau mà còn có thể làm cho nó diễn ra tự động với tính năng quản lý vòng đời đối tượng. Bằng cách định cấu hình lifecycle policy, bạn có thể lập trình thiết lập một đối tượng để điều chỉnh lớp lưu trữ của nó dựa trên một tập hợp các điều kiện — hoặc thậm chí xóa hoàn toàn nếu không còn cần thiết. Ví dụ: hãy tưởng tượng bạn và nhóm của mình phân tích dữ liệu trong tháng đầu tiên khi dữ liệu được tạo; ngoài ra, bạn chỉ cần nó cho các mục đích quy định. Trong trường hợp đó, chỉ cần đặt một chính sách điều chỉnh bộ nhớ của bạn thành coldline hoặc archive sau khi đối tượng đạt 31 ngày.

Deduplication:

Another common source of waste in hosting environments is duplicated data. Of course, there are times when it's necessary. For example, you might want to replicate a dataset across multiple geographies so that teams can access it quickly. However, in my experience working with clients, a lot of duplicate data is the result of lax version control. As a result, replicas can take up space and be expensive to manage.

Fortunately, there are many ways to prevent duplicate data, as well as tools to prevent data from being deleted by mistake.

• Nếu bạn đang cố gắng duy trì khả năng phục hồi dữ liệu, bạn có thể sử dụng multi-region bucket hơn là tạo nhiều bản sao trong các nhóm khác nhau. Với tính năng này, bạn sẽ kích hoạt chức năng sao lưu dự phòng (Geo-redundant) cho các đối tượng được lưu trữ. Điều này sẽ đảm bảo dữ liệu của bạn được sao chép một cách không đồng bộ trên hai hoặc nhiều vị trí.
• Bạn có thể thiết lập object versioning policies để đảm bảo bạn có số lượng bản sao thích hợp. Nếu vẫn lo lắng một bản sao là không đủ để lưu trữ phòng trường hợp bị mất, bạn có thể cân nhắc sử dụng tính năng bucket lock, giúp đảm bảo rằng các mục không bị xóa trước một ngày hoặc giờ cụ thể.

Tune your data warehouse

Các doanh nghiệp thuộc mọi quy mô đều tìm đến BigQuery để có phương pháp phân tích dữ liệu hiện đại. Tuy nhiên, một số cấu hình đắt hơn những cấu hình khác. Hãy kiểm tra nhanh môi trường BigQuery của bạn và thiết lập một số bảo vệ để giúp bạn giảm chi phí.

Control enforcement:

Để giới hạn chi phí query, hãy sử dụng cài đặt maximum bytes billed. Vượt quá giới hạn sẽ khiến truy vấn không thành công, nhưng bạn cũng sẽ không bị tính phí cho điều đó, như hình minh họa bên dưới.

Along with enabling cost control at the query level, you can also apply the same logic to users and projects.

Using partitioning and clustering:

One benefit of partitioning is that BigQuery automatically reduces the price of stored data to 50% for every 90-day unmodified partition or table, by moving that data into permanent storage. It's more cost-effective and convenient to keep your data in BigQuery than having to move data into lower-level storage. There is no degradation in performance, durability, availability, or any other functionality when a table or partition is moved to permanent storage.

Check the streaming inserts:

Bạn có thể tải dữ liệu vào BigQuery theo hai cách: dưới dạng batch load hoặc phát trực tuyến theo thời gian thực, sử dụng streaming inserts. Khi tối ưu hóa chi phí BigQuery, điều đầu tiên cần làm là kiểm tra hóa đơn của bạn và xem liệu bạn có bị tính phí cho các lần streaming inserts hay không. Và nếu có, hãy tự hỏi: “Tôi có cần dữ liệu có sẵn ngay lập tức (giây thay vì hàng giờ) trong BigQuery không?” và “Tôi có đang sử dụng dữ liệu này cho bất kỳ trường hợp sử dụng thời gian thực nào sau khi dữ liệu có sẵn trong BigQuery không?” Nếu câu trả lời cho một trong hai câu hỏi này là không, thì chúng tôi khuyên bạn nên chuyển sang dữ liệu batch load, và nó miễn phí.

Using Flex Slots:

Due to rapidly changing business requirements, Google introduced Flex Slots, a new way to buy BigQuery positions with durations as short as 60 seconds, in addition to monthly and yearly fixed rate commitments. With this combination of on-demand and fixed-rate pricing, you can respond quickly and cost-effectively to changing analytical needs.

Network packet filtering

In fact, Google Cloud comes with a number of tools that can give you visibility into your network traffic (and accordingly costs). Additionally, you can make some quick configuration changes to reduce your network costs.

Network service levels:

Google Cloud lets you choose between two levels of network service: premium and standard. For great global performance, you can opt for the premium tier, which has always been the tier of choice for Google Network. The standard tier offers lower performance, but can be a suitable replacement for some cost-priority workloads.

• Cloud Logging: Có thể bạn không biết, nhưng bạn có quyền kiểm soát khả năng hiển thị lưu lượng mạng bằng cách lọc ra các nhật ký mà bạn không cần nữa. Kiểm tra một số ví dụ phổ biến về nhật ký mà bạn có thể loại trừ một cách an toàn. Điều tương tự cũng áp dụng cho Data Access audit logs, thứ mà có thể khá lớn và phải chịu thêm chi phí.

Through ways to optimize the cost of using Google Cloud, doanh nghiệp có thể tự trang bị cho mình những cấu hình tùy chỉnh theo nhu cầu kinh doanh và mục đích sử dụng. Việc tối ưu hóa chi phí sử dụng có thể giúp chủ động phân bổ chi phí đầu tư để sở hữu những tài nguyên phục vụ hiệu quả cho việc phát triển doanh nghiệp mình.

Contact Gimasys for advice on a transformation strategy that is right for your business situation and to experience the free Google Cloud Platform service:

• Hotline: Hanoi: 0987 682 505 – Ho Chi Minh: 0974 417 099
• Email: gcp@gimasys.com

The source: Gimasys