Tóm tắt

Khi trí tuệ nhân tạo (AI) phát triển nhanh chóng, mạng trung tâm dữ liệu truyền thống phải đối mặt với những thách thức lớn khi truyền tải lưu lượng AI. Việc sử dụng băng thông cao và một số lượng nhỏ các luồng voi có thể khiến việc cân bằng tải theo- luồng thông thường không hiệu quả, dẫn đến tắc nghẽn và mất gói làm tăng đáng kể thời gian đào tạo mô hình AI và thời gian hoàn thành công việc. Sách trắng này xem xét công nghệ định tuyến thông minh động kết hợp-nhận thức theo thời gian thực với việc ra quyết định-thông minh. Nó sử dụng phép đo chất lượng đường dẫn-, đồng bộ hóa thuộc tính-BGP mở rộng, đa đường dẫn chi phí-có trọng số động (WCMP), loại bỏ đường dẫn-bất thường và

Cân bằng tải tự động cấp độ Flowlet-(ALB) để cải thiện việc lập lịch lưu lượng truy cập trong môi trường AI. Thiết kế này cũng sử dụng công nghệ ảo hóa để cung cấp sự cách ly nhiều{2}}người thuê và cung cấp các kịch bản ứng dụng cũng như hướng dẫn lập kế hoạch cho các mạng trung tâm dữ liệu AI thông minh, ổn định và hiệu quả.

Tại sao các mạng truyền thống gặp khó khăn với AI Giao thông

Trong mạng trung tâm dữ liệu truyền thống, một số lượng lớn các luồng nhỏ cho phép cân bằng tải trên mỗi{0}}luồng để đạt được mức phân phối chấp nhận được và tránh tắc nghẽn ngay cả khi không có-nhận thức về điều kiện mạng theo thời gian thực. Lưu lượng truy cập AI rất khác: mức sử dụng băng thông cực kỳ cao và lưu lượng truy cập thường chỉ bị chi phối bởi một vài luồng voi. Do đó, xung đột băm có thể đặt nhiều luồng lớn trên cùng một đường dẫn trong khi các đường dẫn khác vẫn không được sử dụng. Khi xảy ra mất gói, thời gian hoàn thành toàn bộ khối lượng công việc AI có thể tăng lên đáng kể. Vì lý do này, ngành ngày càng tập trung vào các thuật toán cân bằng tải được tối ưu hóa-cho kết cấu AI để lưu lượng truy cập được phân bổ đồng đều hơn trên nhiều đường dẫn.

Hình 1. So sánh lưu lượng luồng-con voi AI và lưu lượng luồng-nhỏ truyền thống.

Kết hợp nhận thức năng động với việc ra quyết định thông minh-

Định tuyến động thông minh là công nghệ cân bằng tải-dựa trên nhận thức{1}}. Nó sử dụng chất lượng đường dẫn được cảm nhận bởi các công tắc trong kết cấu để điều chỉnh lựa chọn đường dẫn cục bộ và hỗ trợ cân bằng tải có trọng số động. Được xây dựng trên BGP, công nghệ này xác định thuộc tính cộng đồng-mở rộng mới.

Các phép đo đa{0}}chiều, có độ chính xác cao{1}} được sử dụng để đánh giá chất lượng đường dẫn và kết quả được truyền qua BGP để hướng dẫn chuyển tiếp lưu lượng truy cập tiếp theo. Điều này cải thiện khả năng phân phối tải trên toàn mạng- và giảm thời gian phản hồi của ứng dụng [1].

Hình 2. Quy trình nhận thức, quyết định và thực thi động.

Trong-Đo từ xa trong băng tần

Phép đo độ trễ-chuyển tiếp dựa trên INT (Đo từ xa mạng trong- băng tần) và có thể đạt độ chính xác ở mức nano giây-. HDC (Chụp độ trễ cao) ghi lại các gói có độ trễ cao bên trong ASIC. Khi một gói vượt quá ngưỡng độ trễ do người dùng- xác định, bộ chuyển mạch sẽ gửi 150 byte đầu tiên của gói gốc cùng với siêu dữ liệu, bao gồm cổng vào, cổng ra và độ trễ tới bộ thu thập. Trong thiết kế này, CPU đóng vai trò là bộ thu thập và phân tích HDC, cho phép đo độ trễ-chuyển tiếp có độ chính xác cao{9}}và đánh giá chất lượng đường dẫn{10}}chính xác hơn.

Hình 3. Truyền bá chất lượng đường dẫn{1}}và cài đặt WCMP.

Công nghệ này sử dụng thuộc tính cộng đồng-mở rộng BGP mới, Cộng đồng mở rộng băng thông đường dẫn, để biểu thị chất lượng tổng hợp của đường dẫn đến đích. Byte thứ tự cao-của trường loại-mở rộng là 0x00 và byte thứ tự-thấp là 0x05. Trong trường giá trị, trường con Quản trị viên toàn cầu đại diện cho số AS. Chất lượng đường dẫn được mã hóa thành 4 byte bằng định dạng dấu phẩy động IEEE{10}}và được biểu thị bằng GB/s .

Khi NIC1 giao tiếp với NIC2, trước tiên NIC2 sẽ quảng cáo địa chỉ IP của nó tới Leaf2. Leaf2 quảng cáo địa chỉ tới Spine cùng với giá trị chất lượng liên kết-hướng tới NIC2 nhân với trọng số đường xuống của Leaf2. Spine bổ sung chất lượng liên kết có trọng số của riêng mình và chuyển giá trị tích lũy cho Leaf1. Leaf1 tóm tắt chất lượng đường dẫn và cài đặt các tuyến hướng dẫn chuyển tiếp. Trong cấu trúc cột sống Lá{13}}hai cấp, các cổng được phân loại là đường liên kết Lá lên, đường liên kết xuống Lá và cổng Cột sống, với các hệ số tính toán có thể định cấu hình cho mỗi lớp.

lưu lượng truy cập tương ứng trên các liên kết. Trong định tuyến thông minh động, trọng số WCMP được điều chỉnh theo thời gian thực tùy theo chất lượng đường dẫn. Ví dụ: nếu có hai đường dẫn giữa NIC1 và NIC2, hệ thống có thể tính tỷ lệ 3:7. Khi lưu lượng truy cập thay đổi, thông tin chất lượng đường dẫn-được cập nhật sẽ được truyền qua BGP tới mọi nút chuyển Lá, nơi các tuyến WCMP động được tạo để hướng dẫn chuyển tiếp.

Loại bỏ đường dẫn bất thường

Khi chất lượng tổng hợp của đường dẫn giảm xuống dưới ngưỡng đã thỏa thuận, đường dẫn đó được coi là không thể sử dụng được cho khối lượng công việc AI và bị xóa khỏi quá trình chuyển tiếp. Các đường còn lại tiếp tục mang lưu lượng qua WCMP động. Khi đường dẫn trở lại bình thường, nó sẽ được khôi phục. Mặc dù điều này có thể tạm thời khiến một số dung lượng không được sử dụng nhưng nó ngăn chặn tình trạng tắc nghẽn và mất gói nghiêm trọng hơn [1].

Cân bằng tải thông minh (ALB)

ALB cung cấp khả năng phân phối tải dựa trên-Flowlet. ASIC đo tải và độ trễ trên các cổng khác nhau trong thời gian thực và hướng từng Flowlet đến liên kết có tải thấp hơn hoặc độ trễ thấp hơn. Điều này bổ sung thêm-lập kế hoạch chi tiết hơn so với ECMP truyền thống. ALB cũng hỗ trợ chuyển đổi dự phòng cổng và tự động phân phối lại lưu lượng khi liên kết đầu ra bị lỗi [1].

Ảo hóa

Mạng-giao diện người dùng thường cần hỗ trợ nhiều-đối tượng thuê để có thể phân bổ các tài nguyên GPU khác nhau cho những người dùng khác nhau. Giải pháp sử dụng VRF (Định tuyến và chuyển tiếp ảo) để tách biệt người thuê, với một VRF được chỉ định cho mỗi người dùng. Các mạng con liên quan đến GPU{4}}được đặt vào VRF của người dùng và PRE ACL trong ASIC phân loại lưu lượng truy cập vào để lưu lượng truy cập của mỗi người dùng chỉ được chuyển tiếp trong VRF tương ứng [1].

Nhóm điện toán toàn cầu: Liên kết-khu vực giữa các TR được cung cấp theo lưu lượng truy cập cao nhất giữa-khu vực, với QoS liên-khu vực tùy chọn để tạo nhóm điện toán thống nhất giữa các khu vực [2].

3. Mạng dịch vụ suy luận toàn cầu{1}}

Mạng suy luận toàn cầu chọn các mô hình triển khai theo tài nguyên và dịch vụ đám mây có sẵn ở từng khu vực, đồng thời cung cấp khả năng phân phối và truy cập dịch vụ hiệu quả [2].

• Triển khai mô hình hoặc tác nhân: Sử dụng triển khai Model Studio MaaS, triển khai PAI-EAS hoặc Function Computing PaaS hoặc triển khai IaaS trên cơ sở hạ tầng kim loại trần EGS, ACK, ACS hoặc Lingjun- bên trong VPC của khách hàng.
• Phân phối dịch vụ: Tạo VPC phân phối-suy luận và kết nối các mạng riêng bằng cách sử dụng VPC Peering, VPC dịch vụ đám mây-được liên kết hoặc PrivateLink. Triển khai ALB hoặc ALB nâng cao làm điểm truy cập và yêu cầu proxy cho các mô hình hoặc Đại lý khác nhau.
• Truy cập dịch vụ: Người dùng internet cục bộ có thể truy cập trực tiếp vào ALB nâng cao; người dùng từ xa có thể sử dụng Global Accelerator (GA); Người dùng doanh nghiệp Alibaba Cloud nội bộ hoặc bên ngoài có thể kết nối riêng tư thông qua PrivateLink.

Sách trắng này giải thích những thách thức mà mạng IDC phải đối mặt trong kỷ nguyên AI và cách định tuyến thông minh động có thể giải quyết chúng. Nhận thức linh hoạt, ra quyết định thông minh{1}}, ảo hóa WCMP, ALB và VRF cải thiện hiệu quả cân bằng tải-, giảm tắc nghẽn và mất gói, đồng thời đẩy nhanh quá trình đào tạo và suy luận AI. Phần lập kế hoạch nhấn mạnh đến việc phân đoạn VPC, thiết kế đầu ra-bộ sưu tập, tổng hợp và xử lý trước-khu vực, đào tạo mô hình và phân phối suy luận toàn cầu. Khi AI tiếp tục phát triển, mạng trung tâm dữ liệu sẽ phải đối mặt với những yêu cầu khắt khe hơn. Định tuyến thông minh động sẽ tiếp tục cải thiện cho AI biên, học tập liên kết và các tình huống phức tạp khác. Mạng IDC trong tương lai sẽ chú trọng nhiều hơn đến khả năng hội tụ mạng điện toán-, hiệu quả sử dụng năng lượng và hoạt động tự động hóa, tạo ra nền tảng thông minh, hiệu quả và đáng tin cậy hơn cho nền kinh tế kỹ thuật số.

Tài liệu tham khảo

Tài liệu nguồn kỹ thuật-do người dùng cung cấp.

Sách trắng về Mạng lưới AI trên nền tảng đám mây của Alibaba. Truy cập ngày 27 tháng 5 năm 2026.

https://help.aliyun.com/zh/cloud-mạng-tốt-được kiến ​​trúc-design/alibaba-đám mây-ai-mạng-trắng{10}}giấy