כתבה
arXiv cs.AI ·
קסקדיה: תשתית חינם לשרתי AI
Cascadia: A Control-Plane-Free Alternative to Hyperconverged AI Infrastructure
קסקדיה היא תשתית חינם לשרתי AI שאינה דורשת תשתית ניהול נפרדת. היא מאפשרת שירות של מודלי AI גדולים על צי של מחשבי Intel AIPCs.
תקציר מקורי באנגליתarXiv:2609.38697v1 Announce Type: cross Abstract: We present Cascadia, a system for serving large language models on fleets of commodity Intel AIPCs using their CPU, integrated-GPU, and NPU resources. Every node embeds ingress, scheduling, and execution; inference requests require no dedicated routing control plane. Nodes join a libp2p QUIC mesh using CA-issued ed25519 admission certificates, gossip signed capabilities, exchange live load over direct peer streams, and route OpenAI-compatible requests to eligible peers. An operator-run certificate authority handles admission and fleet management outside the inference path. Three serving modes share one interface: whole-model execution on one node, load-balanced replicas, and pipeline-sharded chains using the compilation and speculative deco
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית