Go-Jek: Using Machine Learning for Dynamic Pricing and Forecasting

Using Google Cloud Platform and Google Maps Platform, GO-JEK has established itself as the leading on-demand multi-service platform and one of the few unicorn businesses in Southeast Asia.

“Google Maps Platform is currently the core platform that helps us find optimized routes and estimated arrival times for our drivers.”

— Ajey Gore, Group Chief Technology Officer, GO-JEK —

Traffic congestion is a fact of life for most Indonesians. National roads and related infrastructure are buckling to support 260 million people, of whom about 10 million reside in the capital, Jakarta. To minimize delays, Indonesians largely rely on motorbikes, including motorbike taxis, known as ojeks, for their daily commute to work or personal activities.

Founded in 2010 and headquartered in Jakarta, GO-JEK started as an ojek call center. The organization has fueled demand for the service to become one of the few “unicorns” — privately held startups and over $1 billion worth of holdings — in Southeast Asia.

Since 2010, GO-JEK has been collecting data to understand customer behavior and in 2015 launched a mobile app that includes ride-hailing, food and merchandise delivery. “Demand for the app is huge and we’re growing really fast,” said Willem Pienaar, Data Science Platform Team Leader at GO-JEK.

GO-JEK continues to listen to its customers and collect user feedback to feed into the development of new products. The business now has more than 18 products, a loyalty program, and a crypto service in its app, as well as other products outside of the app. Customers have downloaded the app nearly 108 million times.

GO-JEK today operates in 167 cities and districts across Indonesia and is the largest player in many key industries. “For ride-hailing alone, we have over 1 million drivers on our platform, and on a typical day we would have hundreds of thousands of drivers online at the same time,” says Pienaar. its customers. “We also have over 300,000 sellers on our food delivery platform. “We call them merchants because they are not just restaurants, they are parents who sell food from their garage. Our platform supports socioeconomic mobility in Indonesia by helping people lift themselves out of poverty. Furthermore, our payment service has become one of the leading e-money platforms in Southeast Asia.”

Key Ecosystem of Google

The business has heavily relied on the skills and expertise of its technology team, and on selecting the right technologies, to grow and to expand into new markets. GO-JEK helps to run its applications and data in Google Cloud due significantly to an ecosystem comprising of Google Cloud Platform, and other technologies.

The business relies heavily on the skills and expertise of the technology team as well as the selection of the right technology to grow and expand into new markets. GO-JEK ran its applications and data in Google Cloud, largely due to an ecosystem that included Google Cloud Platform and other technologies.

Ajey Gore, Giám đốc Công nghệ tại GO-JEK giải thích: “Chúng tôi phải tìm đúng người lái xe theo đúng yêu cầu – cho dù đó là vận chuyển người hoặc thực phẩm hoặc vật phẩm khác từ địa điểm A đến địa điểm B – càng nhanh càng tốt”. Google Maps Platform hiện là công cụ cốt lõi giúp chúng tôi tìm ra các tuyến đường được tối ưu hóa và thời gian đến dự kiến cho các tài xế của chúng tôi. ”

Google Cloud Platform solutions play an integral role in enabling GO-JEK to capture and analyze data related to 1 million drivers across 167 counties and cities as well as 2.5 million customers. “For example, we ping each of our drivers every 10 seconds, which means 6 million pings per minute and 8 billion pings per day,” Gore said. “If you look at the scale and number of customer interactions, we generate about 4TB to 5TB of data per day. We need to leverage this data to let our drivers know where customer demand is strongest and how to get there.”

Cloud Professional Services, we have a deeper understanding of Google technologies, better collaboration, smarter design, and faster time to market.”

—Willem Pienaar, Data Science Platform Lead, GO-JEK—

Expanding group in the international market

As GO-JEK expands into international markets, data science and machine learning become increasingly important to businesses. “Data Science plays an important role in understanding our customers,” explains Pienaar. “With our international expansion in 2018, we wanted to understand the unique needs of our customers in different markets. Furthermore, when there are so many decisions to be made in real time, machine learning is crucial.”

Pienaar investigated how GO-JEK data scientists spend their time and whether they have access to the tools they need. “One of our data scientists asked if we could help him optimize his time,” he explains. “This engineer represents many of the engineers in our organization and is working on projects in areas such as fraud detection, personalization, driver allocation, and forecasting. However, he spent more time on engineering than exploring data and creating features and models.”

By looking at data scientists' projects across three dimensions: data sourcing, feature engineering, and machine learning, Pienaar's team identified the need to establish a centralized data platform.

GO-JEK sau đó đã hợp tác chặt chẽ với Google Cloud Professional Services (https://cloud.google.com/consulting) để khám phá và tinh chỉnh thêm các ý tưởng của mình. Pienaar nói: “Nhóm Google Cloud Professional Services là công cụ thúc đẩy sự thành công của một số dự án quan trọng cho nhóm khoa học dữ liệu GO-JEK”. “Nhóm nghiên cứu đã mang lại nhiều kinh nghiệm trong việc quản lý các dự án có tác động cao từ khi bắt đầu cho đến khi sản xuất. Cuối cùng, nhờ Google Cloud Professional Services, chúng tôi đã hiểu sâu hơn về các công nghệ của Google, cộng tác tốt hơn, thiết kế thông minh hơn và thời gian đưa ra thị trường nhanh hơn ”.

Nhóm Professional Services đã tổ chức các buổi hội thảo, hội nghị kiến trúc và thiết kế, cũng như nghiên cứu sâu về công nghệ thực tế. Sau đó, các thành viên trong nhóm đã làm việc với GO-JEK để phát triển một POC bằng cách sử dụng các công nghệ như Apache Beam chạy trên Cloud Dataflow, Cloud Bigtable và BigQuery, which forms the basis of the GO-JEK feature engineering and storage platform.

Các công nghệ khác được sử dụng trong nền tảng – sẽ thu thập và lưu trữ dữ liệu từ sản phẩm của GO-JEK và các nhóm khác – bao gồm Apache Kafka, Cloud Pub/Sub và Cloud Storage. Those teams will benefit from automated reporting, storage, monitoring, event alerts, and security through the platform, while the data science and machine learning teams can access their data. needed to generate insights.

With feature generation, standardization, and consistency addressed through the combination of Cloud Dataflow and Apache Beam, enterprises had to choose a feature hosting environment. “We chose BigQuery to store our training data because of its high scalability and the fact that it is a fully cloud-based service which means you don’t have to manage any facilities,” says Pienaar. What infrastructure? “In addition, it is tightly integrated with other Google Cloud services.”

“We believe in the power of unity, and over the past two years we've worked closely with Google to unlock new limits and possibilities. Who would have thought that we would now become the leading application for transportation, food and other services in Indonesia? ”

—Ajey Gore, Group Chief Technology Officer, GO-JEK—

Để phục vụ, GO-JEK đã giới thiệu hai kho dữ liệu: Cloud Bigtable và Cloud Memorystore for Redis. Pienaar nói: “Cloud Bigtable thực sự là một công cụ thay đổi cuộc chơi với chúng tôi. “Nó cho phép chúng tôi liên tục truy cập dữ liệu tính năng ở độ trễ dưới 10 mili giây và xử lý tải rất cao, vì vậy bạn có thể ghi và đọc dữ liệu đó lên đến 10.000 lần mỗi giây kết hợp trên mỗi node và nếu bạn muốn mở rộng quy mô, bạn chỉ cần thêm nhiều node hơn.

“Meanwhile, Cloud Memorystore for Redis allows us to respond to scenarios like updating features 200,000 or 300,000 times per second,” he added.

Feature-serving API allows quick feature lookup from Cloud Bigtable or Cloud Memorystore and provides caching.

Với tất cả dữ liệu này được ghi lại và cực kỳ hữu ích cho các data scientists, GO-JEK kết xuất siêu dữ liệu vào cơ sở dữ liệu PostgreSQL. Từ đó, doanh nghiệp sử dụng Google Data Studio để trực quan hóa mức hiệu quả của các tính năng cụ thể trong việc dự đoán kết quả hoặc tối ưu hóa cho các mục tiêu. GO-JEK cũng đã tạo trình khám phá tính năng mà các data scientists có thể sử dụng để tìm các tính năng, chọn chúng trong BigQuery và đào tạo các mô hình của họ.

Cloud Machine Learning supports dynamic pricing

Với nguồn dữ liệu và các khối xây dựng kỹ thuật tính năng được thiết lập, GO-JEK đã trao quyền cho các data scientists của mình để áp dụng các mô hình machine learning có thể mở rộng để cung cấp giá động và các sáng kiến khác. Pienaar giải thích: “Chúng tôi đã giới thiệu Cloud Machine Learning Engine (https://cloud.google.com/ml-engine), được tích hợp chặt chẽ với BigQuery làm tính năng và kho dữ liệu thô của chúng tôi. Cloud Machine Learning Engine là một dịch vụ được quản lý, có thể mở rộng cho phép các data scientists của GO-JEK đào tạo và phục vụ các mô hình TensorFlow.

The GO-JEK architecture also incorporates Cloud Dataflow to infer future flows and needs based on Apache Kafka. Businesses can now effectively predict changes in demand due to events like weather changes or price changes to adjust how drivers react. It can also personalize the application home screen while responding to service-level requests with 30 millisecond latency and up to 10,000 requests per second throughput.

Các kỹ sư GO-JEK hiện chỉ cần quan tâm đến việc sử dụng Cloud Datalab để xây dựng các mô hình machine learning; tìm các tính năng trong trình khám phá tính năng; sử dụng BigQuery để tạo nhóm đào tạo; và sử dụng Cloud Machine Learning Engine để đào tạo các mô hình của họ.

“The impact for GO-JEK is that our data scientists can deliver projects faster, our customer experience has improved a lot, we need less data scientists per customer as we expand into new markets and we spend less time and money on infrastructure.” Pienaar.

Gore adds: “We believe in the power of unity, and over the past two years, we've worked closely with Google to unlock new limits and possibilities. “Who would have thought that we would now become the leading application for transportation, food and other services in Indonesia?”