Go-Jek: Sử dụng Machine Learning để dự báo và định giá động

Sử dụng Google Cloud Platform và Google Maps Platform, GO-JEK đã tự khẳng định mình là nền tảng đa dịch vụ theo yêu cầu hàng đầu và là một trong số ít doanh nghiệp kỳ lân ở Đông Nam Á.

“Google Maps Platform hiện đang là nền tảng cốt lõi giúp chúng tôi tìm ra các tuyến đường được tối ưu hóa và thời gian đến nơi ước tính cho các tài xế của chúng tôi.”

— Ajey Gore, Group Chief Technology Officer, GO-JEK —

Ùn tắc giao thông là một thực tế cuộc sống của hầu hết người dân Indonesia. Các con đường quốc lộ và cơ sở hạ tầng liên quan đang oằn mình để hỗ trợ 260 triệu người, trong đó có khoảng 10 triệu người cư trú tại thủ đô Jakarta. Để giảm thiểu sự chậm trễ, người Indonesia chủ yếu dựa vào xe máy, bao gồm cả taxi xe máy, được gọi là ojeks, để di chuyển hàng ngày đến nơi làm việc hoặc các hoạt động cá nhân.

Được thành lập vào năm 2010 và có trụ sở chính tại Jakarta, GO-JEK bắt đầu như một trung tâm gọi đặt vé ojek. Tổ chức này đã thúc đẩy nhu cầu về dịch vụ để trở thành một trong số ít “kỳ lân” – các doanh nghiệp khởi nghiệp tư nhân và nắm giữ trị giá hơn 1 tỷ USD – ở Đông Nam Á.

Từ năm 2010, GO-JEK đã thu thập dữ liệu để hiểu hành vi của khách hàng và vào năm 2015 đã ra mắt một ứng dụng di động bao gồm dịch vụ gọi xe, giao đồ ăn và hàng hóa. Willem Pienaar, Trưởng nhóm  Data Science Platform tại GO-JEK cho biết: “Nhu cầu về ứng dụng là vô cùng lớn và chúng tôi đạt mức tăng trưởng rất nhanh.”

GO-JEK tiếp tục lắng nghe khách hàng của mình và thu thập phản hồi sử dụng để cung cấp cho sự phát triển của các sản phẩm mới. Doanh nghiệp hiện đã hoàn thiện hơn 18 sản phẩm, một chương trình khách hàng thân thiết và một dịch vụ tiền điện tử trong ứng dụng của mình, cũng như các sản phẩm khác bên ngoài ứng dụng. Khách hàng đã tải ứng dụng gần 108 triệu lần.

GO-JEK ngày nay hoạt động tại 167 thành phố và quận huyện trên khắp Indonesia và là công ty lớn nhất trong nhiều ngành công nghiệp mũi nhọn. Pienaar nói: “Chỉ riêng đối với dịch vụ gọi xe, chúng tôi có hơn 1 triệu tài xế trên nền tảng của mình và vào một ngày thông thường, chúng tôi sẽ có hàng trăm nghìn tài xế trực tuyến cùng một lúc để phục vụ khách hàng của mình. Ông cho biết thêm: “Chúng tôi cũng có hơn 300.000 người bán trên nền tảng giao hàng thực phẩm của mình. “Chúng tôi gọi họ là những thương gia vì họ không chỉ là nhà hàng, họ còn là những người cha người mẹ bán đồ ăn từ ga-ra của họ. Nền tảng của chúng tôi hỗ trợ sự dịch chuyển kinh tế xã hội ở Indonesia bằng cách hỗ trợ mọi người vươn lên thoát nghèo. Hơn nữa, dịch vụ thanh toán của chúng tôi đã trở thành một trong những nền tảng e-money hàng đầu ở Đông Nam Á ”.

Hệ sinh thái chủ chốt của Google

The business has relied heavily on the skills and expertise of its technology team, and on selecting the right technologies, to grow and to expand into new markets. GO-JEK elected to run its applications and data in Google Cloud due largely to an ecosystem comprised of Google Cloud Platform, and other technologies.

Việc kinh doanh chủ yếu dựa vào kỹ năng và chuyên môn của đội ngũ công nghệ cũng như việc lựa chọn công nghệ phù hợp để phát triển và mở rộng sang các thị trường mới. GO-JEK đã chạy các ứng dụng và dữ liệu của mình trong Google Cloud, với phần lớn là do hệ sinh thái bao gồm Google Cloud Platform và các công nghệ khác

Ajey Gore, Giám đốc Công nghệ tại GO-JEK giải thích: “Chúng tôi phải tìm đúng người lái xe theo đúng yêu cầu – cho dù đó là vận chuyển người hoặc thực phẩm hoặc vật phẩm khác từ địa điểm A đến địa điểm B – càng nhanh càng tốt”. Google Maps Platform hiện là công cụ cốt lõi giúp chúng tôi tìm ra các tuyến đường được tối ưu hóa và thời gian đến dự kiến cho các tài xế của chúng tôi. ”

Các giải pháp Google Cloud Platform đóng một vai trò không thể thiếu trong việc cho phép GO-JEK nắm bắt và phân tích dữ liệu liên quan đến 1 triệu tài xế trên 167 quận huyện và thành phố cũng như 2,5 triệu khách hàng. “Ví dụ, chúng tôi ping mỗi lái xe của chúng tôi cứ sau 10 giây, nghĩa là 6 triệu ping mỗi phút và 8 tỷ ping mỗi ngày,” Gore nói. “Nếu bạn nhìn vào quy mô và số lượng tương tác với khách hàng, chúng tôi tạo ra khoảng 4TB đến 5TB dữ liệu mỗi ngày. Chúng tôi cần tận dụng dữ liệu này để cho các tài xế của mình biết nhu cầu từ khách hàng ở đâu là mạnh nhất và làm thế nào để đến đó.”.

Cloud Professional Services, chúng tôi đã hiểu sâu hơn về các công nghệ của Google, khả năng cộng tác tốt hơn, thiết kế thông minh hơn và thời gian đưa ra thị trường nhanh hơn.”

—Willem Pienaar, Data Science Platform Lead, GO-JEK—

Nhen nhóm mở rộng tại thị trường quốc tế

Khi GO-JEK mở rộng hoạt ra thị trường quốc tế, data science và machine learning ngày càng trở nên quan trọng đối với doanh nghiệp. Pienaar giải thích: “Data Science đóng một vai trò quan trọng trong việc hiểu khách hàng của chúng tôi. “Với việc mở rộng ra quốc tế vào năm 2018, chúng tôi muốn hiểu nhu cầu riêng của khách hàng ở các thị trường khác nhau. Hơn nữa, khi có rất nhiều quyết định được đưa ra trong thời gian thực, machine learning là rất quan trọng ”.

Pienaar đã điều tra cách các data scientists liệu của GO-JEK sử dụng thời gian của họ và liệu họ có quyền truy cập vào các công cụ họ cần hay không. “Một trong những data scientists của chúng tôi đã hỏi liệu chúng tôi có thể giúp anh ấy tối ưu hóa thời gian của mình hay không,” anh giải thích. “Kỹ sư này là đại diện của nhiều kỹ sư trong tổ chức của chúng tôi và đang làm việc trong các dự án thuộc các lĩnh vực như phát hiện gian lận, cá nhân hóa, phân bổ trình điều khiển và dự báo. Tuy nhiên, anh ấy đã dành nhiều thời gian cho kỹ thuật hơn là khám phá dữ liệu và tạo ra các tính năng và mô hình ”.

Bằng cách xem xét các dự án của data scientists qua ba khía cạnh: tìm nguồn cung cấp dữ liệu, kỹ thuật tính năng và machine learning, nhóm của Pienaar đã xác định sự cần thiết phải thiết lập nền tảng dữ liệu tập trung.

GO-JEK sau đó đã hợp tác chặt chẽ với Google Cloud Professional Services (https://cloud.google.com/consulting) để khám phá và tinh chỉnh thêm các ý tưởng của mình. Pienaar nói: “Nhóm Google Cloud Professional Services là công cụ thúc đẩy sự thành công của một số dự án quan trọng cho nhóm khoa học dữ liệu GO-JEK”. “Nhóm nghiên cứu đã mang lại nhiều kinh nghiệm trong việc quản lý các dự án có tác động cao từ khi bắt đầu cho đến khi sản xuất. Cuối cùng, nhờ Google Cloud Professional Services, chúng tôi đã hiểu sâu hơn về các công nghệ của Google, cộng tác tốt hơn, thiết kế thông minh hơn và thời gian đưa ra thị trường nhanh hơn ”.

Nhóm Professional Services đã tổ chức các buổi hội thảo, hội nghị kiến trúc và thiết kế, cũng như nghiên cứu sâu về công nghệ thực tế. Sau đó, các thành viên trong nhóm đã làm việc với GO-JEK để phát triển một POC bằng cách sử dụng các công nghệ như Apache Beam chạy trên Cloud Dataflow, Cloud Bigtable và BigQuery, tạo nên cơ sở của nền tảng lưu trữ và kỹ thuật tính năng GO-JEK.

Các công nghệ khác được sử dụng trong nền tảng – sẽ thu thập và lưu trữ dữ liệu từ sản phẩm của GO-JEK và các nhóm khác – bao gồm Apache Kafka, Cloud Pub/Sub và Cloud Storage. Các nhóm đó sẽ được các lợi ích từ báo cáo tự động, lưu trữ, giám sát, cảnh báo sự kiện và bảo mật thông qua nền tảng, trong khi nhóm khoa học dữ liệu và machine learning có thể truy cập vào dữ liệu họ cần để tạo insights.

Với việc tạo tính năng, tiêu chuẩn hóa và nhất quán được giải quyết thông qua sự kết hợp của Cloud Dataflow và Apache Beam, doanh nghiệp đã phải chọn một môi trường lưu trữ tính năng. Pienaar cho biết: “Chúng tôi đã chọn BigQuery để lưu trữ dữ liệu đào tạo của mình vì khả năng mở rộng cao và thực tế đây là một dịch vụ cloud-based hoàn toàn có nghĩa là bạn không phải quản lý bất kỳ cơ sở hạ tầng nào”. “Ngoài ra, nó còn được tích hợp chặt chẽ với các dịch vụ Google Cloud khác.”

“Chúng tôi tin vào sức mạnh của sự đoàn kết và trong hai năm qua chúng tôi đã hợp tác chặt chẽ với Google để mở ra những giới hạn và khả năng mới. Ai có thể nghĩ rằng giờ đây chúng tôi sẽ trở thành ứng dụng hàng đầu cho vận tải, thực phẩm và các dịch vụ khác ở Indonesia? ”

—Ajey Gore, Group Chief Technology Officer, GO-JEK—

Để phục vụ, GO-JEK đã giới thiệu hai kho dữ liệu: Cloud Bigtable và Cloud Memorystore for Redis. Pienaar nói: “Cloud Bigtable thực sự là một công cụ thay đổi cuộc chơi với chúng tôi. “Nó cho phép chúng tôi liên tục truy cập dữ liệu tính năng ở độ trễ dưới 10 mili giây và xử lý tải rất cao, vì vậy bạn có thể ghi và đọc dữ liệu đó lên đến 10.000 lần mỗi giây kết hợp trên mỗi node và nếu bạn muốn mở rộng quy mô, bạn chỉ cần thêm nhiều node hơn.

“Trong khi đó, Cloud Memorystore for Redis cho phép chúng tôi đáp ứng các trường hợp như cập nhật các tính năng 200.000 hoặc 300.000 lần mỗi giây,” ông nói thêm.

Feature-serving API cho phép tra cứu tính năng nhanh chóng từ Cloud Bigtable hoặc Cloud Memorystore và cung cấp bộ nhớ đệm.

Với tất cả dữ liệu này được ghi lại và cực kỳ hữu ích cho các data scientists, GO-JEK kết xuất siêu dữ liệu vào cơ sở dữ liệu PostgreSQL. Từ đó, doanh nghiệp sử dụng Google Data Studio để trực quan hóa mức hiệu quả của các tính năng cụ thể trong việc dự đoán kết quả hoặc tối ưu hóa cho các mục tiêu. GO-JEK cũng đã tạo trình khám phá tính năng mà các data scientists có thể sử dụng để tìm các tính năng, chọn chúng trong BigQuery và đào tạo các mô hình của họ.

Cloud Machine Learning hỗ trợ định giá động

Với nguồn dữ liệu và các khối xây dựng kỹ thuật tính năng được thiết lập, GO-JEK đã trao quyền cho các data scientists của mình để áp dụng các mô hình machine learning có thể mở rộng để cung cấp giá động và các sáng kiến khác. Pienaar giải thích: “Chúng tôi đã giới thiệu Cloud Machine Learning Engine (https://cloud.google.com/ml-engine), được tích hợp chặt chẽ với BigQuery làm tính năng và kho dữ liệu thô của chúng tôi. Cloud Machine Learning Engine là một dịch vụ được quản lý, có thể mở rộng cho phép các data scientists của GO-JEK đào tạo và phục vụ các mô hình TensorFlow.

Kiến trúc GO-JEK cũng kết hợp Cloud Dataflow để suy ra luồng và nhu cầu tương lai dựa trên Apache Kafka. Giờ đây, doanh nghiệp có thể dự đoán hiệu quả những thay đổi về nhu cầu do các sự kiện như thay đổi thời tiết hoặc thay đổi giá để điều chỉnh cách phản ứng của tài xế. Nó cũng có thể cá nhân hóa màn hình chính của ứng dụng trong khi đáp ứng các yêu cầu cấp dịch vụ với độ trễ 30 mili giây và thông lượng lên đến 10.000 yêu cầu mỗi giây.

Các kỹ sư GO-JEK hiện chỉ cần quan tâm đến việc sử dụng Cloud Datalab để xây dựng các mô hình machine learning; tìm các tính năng trong trình khám phá tính năng; sử dụng BigQuery để tạo nhóm đào tạo; và sử dụng Cloud Machine Learning Engine để đào tạo các mô hình của họ.

“Tác động đối với GO-JEK là các data scientists của chúng tôi có thể cung cấp các dự án nhanh hơn, trải nghiệm khách hàng của chúng tôi đã được cải thiện rất nhiều, chúng tôi cần ít data scientists hơn cho mỗi khách hàng khi chúng tôi mở rộng sang các thị trường mới và chúng tôi dành ít thời gian và tiền bạc hơn cho cơ sở hạ tầng”. Pienaar.

Gore cho biết thêm: “Chúng tôi tin vào sức mạnh của sự đoàn kết và trong hai năm qua, chúng tôi đã hợp tác chặt chẽ với Google để mở ra những giới hạn và khả năng mới. “Ai có thể nghĩ rằng giờ đây chúng tôi sẽ trở thành ứng dụng hàng đầu cho vận tải, thực phẩm và các dịch vụ khác ở Indonesia?”