近日，第八屆瑞芯微開發者大會(RKDC2024)期間，基于大模型的星光麒麟端側AI應用“星語對話”首次亮相。“星語對話”目前已完成技術路線驗證并在RK3588上成功部署，可向端側用戶提供本地化生成式人工智能（AIGC）能力。
在軟件技術分論壇上，麒麟軟件專題分享了星光麒麟云邊端的AI框架。目前，除了布局端側AI大模型，星光麒麟AI框架還在不斷提升云邊端靈活協同的能力，提出了面向萬物智聯操作系統的云邊端AI架構。
在端側，“星語對話”已具備智能問答、邏輯生成和多語言等能力。在智能問答方面，能夠模擬人與人之間的對話過程。當用戶提出問題時，系統通過自然語言處理（NLP）理解問題，然后檢索或推理相關信息，并將答案轉化為自然語言回復用戶。
在邏輯生成方面，通過數據清洗和數據預處理，基于模型訓練自動調整權重和參數，最大程度地減少生成結果與真實文本之間的損失。在生成文本時，根據輸入信息和已學習到的語言規律進行邏輯推理，識別和應用適當的邏輯規則，以更準確、合理且連貫地生成文本。
“星語對話”的多語言特性能夠理解和處理多種語言，為用戶提供跨語言的智能對話體驗。通過訓練不同語言的數據，在模型中實現語言間的知識傳遞，使得用戶無論使用哪種語言都能得到高質量、智能化的回復。
除端側AI大模型的布局外，星光麒麟AI框架還在不斷提升云邊端靈活協同的能力，提出了面向萬物智聯操作系統的云邊端AI架構。
例如通過RAG技術結合行業知識庫，提高計算結果準確度；在應用場景切換時，將對應的Agent能力進行切換，包括模型切換，應用上下文切換，會話掛起等操作；模型編排框架模塊負責組織、調度和管理多個機器學習模型，解決復雜場景下多模型的切換及調度；提供云端AI能力下發，端側便捷部署，云端Al編排，邊側自組網的協同計算等能力；提供高效存儲和檢索大規模向量數據的系統，具有高效的相似性搜索功能、多樣化的查詢支持、在線更新和擴展能力等特點，為各種應用場景下的向量數據需求提供了強大的支持；負責云側、端側模型管理。端側數據上報，云側模型自學習后，新模型下發。端側模型更新，升級。
不同場景的復雜度不同，對底層大模型的輸出精準性要求有所側重，云邊端計算框架根據場景選擇模型和算力來源，可靈活地在云端、邊緣端或終端設備上執行特定的操作或計算任務。
在云端部署方面，使用Paddle開源平臺、訊飛語音SDK、星火大模型SDK等，實現語音識別、語音播報、語音翻譯、問題回答、文章生成、語言翻譯、代碼生成、創造性寫作等多種功能。
在邊緣側部署方面，利用軟總線組網后進行數據傳輸，在邊側設備完成模型推理并獲取結果，合理分配任務和算力。
在端側部署方面，使用Whisper語音模型、高性能通用部署解決方案MLC，部署在移動設備上，實現離線的語音識別、問題問答、語言翻譯等功能。
隨著人工智能（AI）技術的不斷發展，操作系統融入AI技術已成為一條必由之路。星光麒麟將利用AI技術不斷提高操作系統的資源管理和調度能力，提升系統穩定性，為用戶提供更加智能、高效和安全的服務體驗，為人機物融合泛在計算提供支撐。