Cách Tyson Foods hình dung lại Nền tảng dữ liệu của họ

Khi môi trường dữ liệu trở nên phức tạp hơn, các công ty đang chuyển sang sử dụng các giải pháp phân tích trực tuyến để phân tích dữ liệu khi nó được nhập và cung cấp thông tin chi tiết có giá trị cao ngay tức khắc về những gì đang xảy ra hiện nay. Những hiểu biết sâu sắc này cho phép những người ra quyết định hành động trong thời gian thực để tận dụng các cơ hội hoặc phản ứng với các vấn đề khi chúng xảy ra.

Mặc dù hiểu những gì đang xảy ra hiện nay có giá trị kinh doanh to lớn, nhưng các công ty có tư duy tương lai đang tiến xa hơn một bước, sử dụng phân tích thời gian thực được tích hợp với trí tuệ nhân tạo (AI) và trí tuệ kinh doanh (BI) để trả lời câu hỏi “điều gì có thể xảy ra trong tương lai?” Tyson Foods có trụ sở tại Arkansas đã áp dụng phân tích AI / BI để cho phép thông tin chi tiết mang tính dự đoán, mở ra các cơ hội mới và thúc đẩy tăng trưởng trong tương lai.

Tạo ra một cặp song sinh kỹ thuật số cho toàn công ty trí tuệ được kết nối

Trước khi sử dụng AI / BI, khả năng phân tích của Tyson bao gồm các giải pháp BI truyền thống tập trung vào KPI và đơn giản hóa dữ liệu để con người có thể hiểu được. Tyson muốn tận dụng dữ liệu của mình để tìm ra cách cải thiện các quy trình hiện tại và phát triển hoạt động kinh doanh của mình. Nhưng chỉ với BI, Tyson đã phải vật lộn để sử dụng dữ liệu để chạy các mô phỏng và các kịch bản cần thiết để đưa ra các quyết định mang tính giáo dục. Để tiếp tục phát triển, nó phải chấp nhận sự phức tạp của dữ liệu, xây dựng các cách để phân tích và sử dụng nó để thông báo cho việc ra quyết định. 

Các giải pháp phân tích tại chỗ của Tyson hạn chế khả năng quyết liệt và đưa ra các quyết định thông minh, kịp thời, mang tính quy luật. Giải pháp là tạo ra một bộ đôi kỹ thuật số để tối ưu hóa quy mô trong các quy trình kinh doanh, chuyển từ tối ưu hóa cục bộ sang tối ưu hóa kết nối trên toàn hệ thống. Làm như vậy có nghĩa là chuyển hoàn toàn sang điện toán đám mây, với trọng tâm ban đầu là xây dựng thành phần nhập của nền tảng song sinh kỹ thuật số.

Việc đầu tư vào một bộ đôi kỹ thuật số cho phép Tyson tăng tốc các khả năng mới như mô phỏng chuỗi cung ứng các kịch bản “điều gì xảy ra nếu”, các khuyến nghị về độ co giãn của giá theo quy định và cải thiện mức độ thân thiết của khách hàng. 

Giải quyết vấn đề nhập để có thời gian thông tin chi tiết nhanh hơn

Trước khi chuyển sang Google Cloud, các dự án phân tích mà Tyson phải đối mặt với sự không chắc chắn về cách lấy dữ liệu. Vấn đề này rất phổ biến và khiến thời gian dự án bị kéo dài hàng tuần hoặc thậm chí hàng tháng do nhu cầu viết và hỗ trợ quy trình nhập dữ liệu một lần ở giao diện người dùng. Vấn đề này cũng khiến nhóm CNTT không thể cung cấp các giải pháp phân tích đủ nhanh để doanh nghiệp có thể tận dụng tối đa chúng. 

Để giải quyết vấn đề phân tích này, nhóm đã tạo Công cụ tính toán nhập dữ liệu (DICE). DICE là một nền tảng nhập nguồn gốc đám mây, được lưu trữ trên nền tảng đám mây, được lưu trữ trên đám mây của Google và được phát triển để cung cấp quá trình nhập không cần mã, dựa trên cấu hình từ các hệ thống dữ liệu doanh nghiệp khác nhau, cả nội bộ và bên ngoài. DICE tập trung vào ba mục tiêu cấp cao:

1. Đẩy nhanh tốc độ cung cấp các giải pháp phân tích CNTT
2. Cho phép phát triển khả năng CNTT để tạo ra thông tin chi tiết có ý nghĩa
3. Giảm tổng chi phí sở hữu lâu dài cho các giải pháp nhập

Các dịch vụ của Google Cloud giúp tạo nền tảng nhập DICE Tạo nền tảng nhập DICE với các dịch vụ của Google Cloud

Các nhóm sử dụng DICE để thiết lập các công việc nhập dữ liệu an toàn trong vài phút mà không cần phải quản lý các kết nối phức tạp hoặc viết, triển khai và hỗ trợ mã của riêng chúng. DICE cho phép quy mô không liên kết, xử lý song song cao, DevSecOps, thực hiện triển khai Lambda Data Architecture.

Công việc của DICE là đơn vị logic trong nền tảng DICE, bao gồm các cấu hình bất biến và có thể thay đổi được tồn tại dưới dạng tài liệu JSON được lưu trữ trong Firestore. Công việc được tồn tại dưới dạng tập lệnh cho công cụ dữ liệu DICE, điều mà Apache Beam chạy Dataflow để hướng dẫn dữ liệu nào cần đẩy vào, cách đẩy dữ liệu, tần suất đẩy, cách thực hiện, khi nào cần thay đổi và nơi chỉ đạo nó.

Hai trong số các lớp chính của DICE bao gồm công cụ siêu dữ liệu và công cụ dữ liệu. Công cụ siêu dữ liệu chịu trách nhiệm tạo và quản lý cấu hình và điều phối công việc DICE. Nó được tạo thành từ nhiều dịch vụ vi mô tương tác với nhiều dịch vụ Google Cloud, bao gồm API tạo cấu hình công việc, API trình trợ giúp cấu hình xây dựng công việc và API lập lịch thực thi công việc.

 Data engine sẽ chịu trách nhiệm về việc nhập dữ liệu vật lý, xử lý phát hiện thay đổi của dữ liệu đó và phân phối dữ liệu đó đến các mục tiêu cụ thể. Data engine là Java code sử dụng Apache Beam và vận hành trong Dataflow. Nó bao gồm luồng, công việc và mẫu công việc linh hoạt hàng loạt trên Dataflow. Về mặt logic, công cụ dữ liệu được phân đoạn qua ba lớp: lớp xử lý gửi đến, lớp hệ thống tệp DICE và lớp xử lý đích – lớp này sẽ lấy dữ liệu từ hệ thống tệp DICE và di chuyển nó đến các mục tiêu.

Triển khai DICE cho hàng nghìn công việc nhập mỗi ngày

DICE lần đầu tiên được triển khai vào môi trường sản xuất vào tháng 11 năm 2019 và chỉ hai năm sau, nó có hơn 3.000 công việc nhập dữ liệu từ hơn một trăm hệ thống dữ liệu khác nhau, cả nội bộ và bên ngoài cho Tyson Food. Hầu hết các công việc này chạy nhiều lần trong ngày. Hàng ngày, môi trường DICE nhận thấy hơn 25.000 công việc Dataflow đang chạy và trung bình 3,25 terabyte dữ liệu mới được nhập.

DICE hỗ trợ nhập từ nhiều loại giải pháp khác nhau, bao gồm BigQuery, SQL Server, SAP HANA, Postgres, Oracle, MySQL, Db2, các loại hệ thống tệp và máy chủ FTP. Ngoài ra, DICE hỗ trợ các công nghệ nền tảng mục tiêu cho các công việc nhập bao gồm nhiều mục tiêu JDBC, nhiều mục tiêu hệ thống tệp cũng như BigQuery và các queue-based cửa hàng và các giải pháp công nghệ khác.

Nền tảng này tiếp tục chứng kiến ​​sự tăng trưởng tuyến tính của các công việc DICE, tất cả trong khi giữ cho chi phí nền tảng tương đối bằng phẳng. Với nhu cầu ngày càng tăng đối với nền tảng, đội ngũ CNTT của Tyson đang không ngừng nâng cao DICE để hỗ trợ các nguồn và mục tiêu mới.

Nền tảng thông minh này tiếp tục bổ sung giá trị mới và giúp Tyson dễ dàng tận dụng dữ liệu của nó. Sự đổi mới này là một điều cần thiết trong thế giới kinh doanh kỹ thuật số đang thay đổi nhanh chóng này, trong đó các công ty phải chuyển đổi một lượng lớn dữ liệu phức tạp thành thông tin chi tiết có thể hành động.