大語言模型是當(dāng)前人工智能領(lǐng)域的研究熱點(diǎn)，推動了自然語言處理、信息檢索和智能問答等眾多任務(wù)的變革。應(yīng)期刊執(zhí)行主編邀請，近日，趙偉教授團(tuán)隊(duì)在Research（中科院一區(qū)、IF=8.49）發(fā)表大語言模型綜述論文《Road of Large Language Model: Source, Challenge and Future Perspectives》。Research是Science自1880年創(chuàng)建以來全球范圍內(nèi)的第一本合作期刊，是中國科協(xié)和美國科學(xué)促進(jìn)會（AAAS）共同創(chuàng)辦的國際綜合性頂級期刊。

論文詳情

大語言模型發(fā)展的四大關(guān)鍵主題

論文圍繞LLM發(fā)展的四大關(guān)鍵主題進(jìn)行了系統(tǒng)性闡述，包括：1）涌現(xiàn)能力：探討LLM規(guī)模增長引發(fā)的非線性能力躍遷，以及如何基于更細(xì)粒度的分析方法來揭示LLM的能力躍遷本質(zhì)；2）人類偏好對齊：探討了如何通過負(fù)樣本學(xué)習(xí)、反事實(shí)數(shù)據(jù)增強(qiáng)等方法減少標(biāo)注依賴，提升LLM在復(fù)雜偏好環(huán)境下的適應(yīng)性；3）檢索增強(qiáng)生成（RAG）：探討了如何通過優(yōu)化檢索策略、提升知識整合能力、緩解外部知識沖突，使RAG技術(shù)在醫(yī)學(xué)、法律、科學(xué)研究等領(lǐng)域發(fā)揮更大作用；4）DeepSeek與跨域應(yīng)用：探討了LLM未來可能的發(fā)展方向，如基于因果推理的模型優(yōu)化和不確定性估計(jì)等方法，以提升LLM在不同學(xué)科中的泛化能力。DeepSeek在優(yōu)化LLM計(jì)算效率、減少推理成本、增強(qiáng)可解釋性方面取得了重大進(jìn)展，這些創(chuàng)新為LLM未來的發(fā)展和跨域應(yīng)用提供了新的思路，使其更加高效可控，并能夠在計(jì)算資源受限的環(huán)境中依然保持卓越的推理能力。

近日，團(tuán)隊(duì)在社會圖像檢索領(lǐng)域的研究取得重要進(jìn)展，研究成果《Cross-Modal Guided VisualRepresentationLearning for Social Image Retrieval》發(fā)表在TPAMI（CCF A類、中科院一區(qū)、IF=20.79），TPAMI為人工智能領(lǐng)域頂級期刊。第一作者為管子玉教授。

CGVR算法框架圖

論文提出了一種基于跨模態(tài)引導(dǎo)的視覺表示學(xué)習(xí)框架（CGVR），用于社會圖像檢索。該框架針對社會圖像中用戶標(biāo)簽噪聲問題，通過引入跨模態(tài)交互和先驗(yàn)常識關(guān)系，從噪聲標(biāo)簽中提取準(zhǔn)確的語義信息，并將其遷移到圖像哈希子網(wǎng)絡(luò)中，實(shí)現(xiàn)了高效的單模態(tài)圖像檢索。實(shí)驗(yàn)結(jié)果表明，該方法不僅在多個公開的社會圖像基準(zhǔn)數(shù)據(jù)集上取得了顯著的性能提升，還能學(xué)習(xí)到用戶標(biāo)簽中的細(xì)粒度語義，提升了檢索的精準(zhǔn)性。

團(tuán)隊(duì)介紹

趙偉教授團(tuán)隊(duì)長期圍繞大數(shù)據(jù)采集、處理、分析、挖掘以及應(yīng)用中的關(guān)鍵科學(xué)問題和重要技術(shù)瓶頸開展研究工作。近年來，在國家級人才、國基金重點(diǎn)和陜西省科技計(jì)劃項(xiàng)目等資助下，在相關(guān)領(lǐng)域高水平期刊，如TPAMI、TKDE等，和CCF A類學(xué)術(shù)會議，如NeurIPS、AAAI等發(fā)表論文130余篇，并獲得2024年度AAAI最佳論文獎。