叡揚聚焦LLM 技術與AI加值服務 高效彈性Fine-Tuning策略

(中央社訊息服務20231215 10:23:37)根據IDC 報告指出，生成式 AI 下一波技術發展將全面產業化，隨著企業需求提升，叡揚(6752)於LLM(大型語言模型)以牽涉繁體中文、文化、資料機密、雲地選擇，及成本算力考量下，強調高效且彈性的LLM Fine-Tuning策略，LLM與外部知識的動態結合，持續更新的外部資訊，並把關機敏資料的安全性。多模態的理解與應用擴充，藉由不同資料類型的模型與LLM結合訓練以實現多模態能力的擴充，未來將提供一站式整合 AI Gateway，創造最佳效能。

數位發展部數位產業署署長呂正華也分享數位發展部目前正在大力推動「台灣 AI 行動計畫 2.0」，持續帶動政策規劃、產業商機、數位服務與社會福祉的整體戰略討論，作為台灣 2035 未來展望，透過數位產業打造更有包容性、韌性、蓬勃發展的未來。活動也邀請AI卓越中心副召集人，也是TAIDE的重要成員許永真教授分享臺灣大型語言模型的自主里程碑與發展方向；現場叡揚展示多款將AI技術結合應用系統的前後處理，充分展現成效，如運用機器學習技術辨識影印或影像檔的財報資料，金融產業將OCR加入AI元素，即使影像有斜式或蓋章等干擾，也能夠高達90%以上的成功辨識率，接著串接到會計與徵授信系統，減少使用者90% 以上的登打與核對時間。

另外，廣為被使用的公文管理與知識管理系統在結合AI及LLM下，輔助使用者快速且正確地完成公文撰寫或查找完善資訊，如同隨時都有資深且貼心的同仁手把手協助，讓人工智慧助益組織文化知識傳承與效能躍進。AI、LLM等技術可以為知識管理提供新功能優勢，尤其知識管理系統具備良好的協作介面讓團隊成員無形中留存高品質對話、創化內容，提高組織知識匯集、協作共享及權限管理避免產權洩漏。

而組織的各類系統，也能透過叡揚的機器人生成平台快速生成對話式服務；非資訊人員也能透過視覺化的操作平台，將組織的流程與知識轉化設計出對話機器人，融合AI理解後，更能透過口語化的問與答提供服務對象需要的解答或引導至正確的系統，呈現直覺的人機介面。

對於LLM及AI技術，叡揚投入始於2013 年，由 NLP 、機器學習開始，團隊持續研讀論文、試驗各類模型，落地解決實務問題，後續延伸到圖像區塊辨識及內容物辨識( VDU-Visual Document Understanding)的應用。2022年底GPT的出現，出現更多可探索的機會與挑戰，叡揚過去在AI的實作經驗，可較快測試釐清哪些問題不用LLM就可完成，也可較快試驗各推陳出新的LLM，符合市場需求。