針對行政約談場景中存在的人工記錄效率低、內容理解偏差記錄、資料追溯繁雜等問題，本成果開展了基于音視頻識別及語義分析的智能約談平臺的研究。基于 AI 深度學習的音視頻識別框架、復雜網絡理論和語義知識本體的文本語義相似度計算方法，研究音視頻識別的語音轉寫、對話管理、計算機視覺技術和內容分析的語義理解、語義優化、情感識別方法，實現網信約談、紀委約談、公安審訊、監獄談話等多種行政約談場景下的約談智能化和數字化。其中，語音識別轉寫是開展智能約談系統研究的前提和基礎，本成果訓練了聲學模型和語言模型，構建編碼器，通過音頻角色分離和聲紋識別技術分離說話人聲音，編碼器識別解碼，經過文本語義處理轉寫為文本。而文本語義處理是智能約談系統提升約談效能的源動力，成果構建了基于語義本體的自動專家導引約談知識庫，通過基于復雜網絡的語義相似度計算給約談工作人員推薦約談問題；約談結束后，利用融合主題特征的文本自動摘要技術快速生成匯報摘要，利用基于分布式表示的事件抽取技術自動生成約談報告。本成果研制高效、便捷的智能約談音視頻識別及語義分析平臺，實現了在線約談預約、人臉識別身份核驗、語音實時轉寫、約談問題智能引導提問、音視文同步顯示、匯報摘要自動生成、約談報告自動生成、約談文件回溯、約談大數據分析等功能。