因其部署于系統的前端或者現場而得名。體現形式一般為嵌入式設備。為滿足可靠性，低功耗，高效能要求，邊緣AI設備往往需要在嵌入式硬件和軟件兩個方面進行特殊設計。在硬件方面，主要體現在采用專門的嵌入式AI架構，如Nvidia的Jetson AGX，Intel的Nervana NNP等；在軟件層面，因受硬件資源的約束，在盡可能滿足精度的前提下，需要對深度學習模型進行優化和壓縮，也需要考慮算法在框架和語言上的實現效率。另外，移動端的AI硬件和軟件也是未來行業的熱點發展方向之一。