ONNX Runtime
一款用於高效能模型推論的跨平台機器學習引擎。
免費增值
支援平台
web
什麼是 ONNX Runtime
ONNX Runtime 是一款工業級 AI 引擎，專為解決機器學習模型在不同軟硬體環境中進行優化時常見的瓶頸而設計。透過提供統一的訓練與推論介面，它讓開發團隊能夠在 CPU、GPU 和 NPU 上部署模型，且無需犧牲效能。無論您是處理大型語言模型 (LLM) 還是標準預測模型，此引擎都能確保您的應用程式在各種基礎架構下維持低延遲與高吞吐量。為了追求靈活性，該執行環境支援多種程式語言，包括 Python、C#、C++、Java、JavaScript 和 Rust，使其成為複雜技術堆疊的靈活選擇。它彌合了開發與生產環境之間的差距，讓開發人員能夠在 Linux、Windows、macOS、行動平台及網頁瀏覽器上保持一致的模型行為。透過簡化先進模型的執行流程，它讓工程師能專注於建構智慧功能，而無需處理硬體相容性或效能下降的問題。
ONNX Runtime 的核心功能
硬體加速
針對 CPU、GPU 和 NPU 等多種硬體優化延遲、吞吐量與記憶體使用率，確保您的模型能在任何裝置上高效執行。
跨平台支援
在 Linux、Windows 和 macOS 等主要作業系統，以及行動平台和網頁瀏覽器上提供強大的相容性，實現真正的可攜式 AI 策略。
多語言支援
為使用 Python、C#、C++、Java、JavaScript 和 Rust 的開發人員提供原生整合，輕鬆將高效能 AI 納入多樣化且現有的技術堆疊中。
生成式 AI 整合
支援部署最先進的大型語言模型，直接在您的生產應用程式中實現文字生成與影像合成等進階任務。
如何使用 ONNX Runtime
- 首先透過您偏好的套件管理工具安裝執行環境套件，例如執行 'pip install onnxruntime' 或 'pip install onnxruntime-genai' 來設定您的環境。
- 將機器學習模型的檔案路徑傳入 'InferenceSession' 類別來初始化執行環境，這會準備好引擎以執行您的特定模型。
- 將輸入資料格式化為所需的張量 (tensor) 結構，並確保其符合模型預期的輸入架構，以防止處理過程中出現執行階段錯誤。
- 透過呼叫 'session.run' 方法並傳入準備好的輸入資料來執行模型，這將觸發引擎高效地產生預測結果或輸出。
- 檢視從 session 回傳的結果，將模型的預測無縫整合到您現有的應用程式工作流程或服務邏輯中。
ONNX Runtime 的使用情境
邊緣 AI 部署
開發人員可透過優化的執行環境配置，將高效能 AI 模型部署在手機或物聯網 (IoT) 硬體等資源受限的裝置上。
生產環境模型服務
工程師可以在生產環境中可靠地提供機器學習模型服務，確保終端使用者應用程式能受益於低延遲與高吞吐量的效能。
跨平台應用程式開發
為多平台建構應用程式的團隊可以使用單一的統一執行環境，在桌面、行動裝置和網頁環境中維持一致的 AI 效能。
誰適合使用 ONNX Runtime
機器學習工程師
專注於優化模型推論速度與資源效率，以確保其 AI 應用程式符合工業級效能標準的專業人士。
軟體開發人員
需要在各種程式語言中整合 AI，並尋求能融入現有技術堆疊且可靠、高效能執行引擎的開發者。
ONNX Runtime 的價格方案
ONNX Runtime 為開源專案，可免費使用。
