當前位置:首頁(yè) > 芯聞號 > 極客網(wǎng)
[導讀]現在的生成式AI工具還不完美,經(jīng)常會(huì )“撒謊”,這就是所謂的幻覺(jué)。為了克制幻覺(jué),開(kāi)發(fā)者開(kāi)發(fā)出一系列工具,最近在硅谷比較流行的工具是檢索增強生成(Retrieval-augmented Generation,簡(jiǎn)稱(chēng)RAG)。

現在的生成式AI工具還不完美,經(jīng)常會(huì )“撒謊”,這就是所謂的幻覺(jué)。為了克制幻覺(jué),開(kāi)發(fā)者開(kāi)發(fā)出一系列工具,最近在硅谷比較流行的工具是檢索增強生成(Retrieval-augmented Generation,簡(jiǎn)稱(chēng)RAG)。

RAG是一種結合檢索和生成技術(shù)的模型,它為大模型提供外部知識源,使得大模型具備從指定的知識庫中進(jìn)行檢索,并結合上下文信息,生成相對高質(zhì)量的回復內容,減少模型幻覺(jué)問(wèn)題。例如,企業(yè)可以將所有的HR政策和福利信息上傳到RAG數據庫,AI聊天機器人聚焦于可以從這些文件中找到的答案。

聽(tīng)起來(lái)RAG似乎和ChatGPT技術(shù)沒(méi)有什么太大差異,實(shí)際上差異蠻大的。Thomson Reuters用RAG技術(shù)開(kāi)發(fā)出一套面向法務(wù)工作者的AI工具,其公司高管Pablo Arredondo說(shuō):“RAG不會(huì )單純依靠初始訓練生成的記憶來(lái)回答問(wèn)題,它會(huì )利用搜索引擎收集真實(shí)文檔,比如判例法、論文等,然后根據這些文檔錨定模型的響應?!?

例如,我們可以將某本雜志的所有內容上傳到數據庫,根據數據庫內容回答問(wèn)題。因為AI工具關(guān)注的信息面比較窄,信息質(zhì)量更高,基于RAG開(kāi)發(fā)的聊天機器人在回答問(wèn)題時(shí)會(huì )比通用機器人更有深度。

RAG機器人會(huì )不會(huì )犯錯呢?當然會(huì ),但它捏造內容的概率會(huì )降低。

研究人員認為,RAG方法有很大優(yōu)勢,在訓練模型時(shí),它所接受的信息都是事實(shí),而且是可以追溯來(lái)源的事實(shí)。如果你能教模型對提供的數據進(jìn)行分類(lèi),并在每個(gè)輸出結果中使用、引用,那么人工智能工具就不太可能犯嚴重的錯誤。

用了RAG技術(shù),幻覺(jué)能降低多少呢?一些研究者認為,幻覺(jué)可以達到很低的程度,但無(wú)法完全消除。換言之,RAG不是萬(wàn)能藥??傮w看,幻覺(jué)減少程度取決于兩個(gè)核心要素:一是整體RAG的部署質(zhì)量,二是對AI幻覺(jué)的定義。

并非所有的RAG都是一樣的。在自定義數據庫中,內容的精度影響著(zhù)結果質(zhì)量,但它并不是唯一影響因素。除了要關(guān)注內容的質(zhì)量,還要關(guān)注搜索質(zhì)量及基于問(wèn)題的正確內容的檢索。掌握過(guò)程中的每一步都至關(guān)重要,因為一個(gè)失誤就可能使模型完全偏離。

斯坦福教授Daniel Ho說(shuō):“凡是在某個(gè)搜索引擎中使用自然語(yǔ)言搜索的律師都會(huì )發(fā)現,許多時(shí)候語(yǔ)義相似度影響巨大,它會(huì )導出完全不相關(guān)的資料?!?

如何定義RAG應用中出現的幻覺(jué)也很重要。一些專(zhuān)家認為,判斷RAG系統是否出現幻覺(jué)主要是看輸出結果是否與數據檢索時(shí)模型找到的答案一致。斯坦福大學(xué)則認為,要檢查結果,看它是否基于提供的數據,是否符合事實(shí)。

在回答法律問(wèn)題時(shí),RAG系統明顯比ChatGPT、Gemini更好,但它仍然有可能忽視細節,隨機給出錯誤答案。幾乎所有專(zhuān)家都認為,即使有了RAG系統,也需要人類(lèi)參與,對引用信息進(jìn)行雙重檢查,判定結果的準確率。

在法律領(lǐng)域RAG系統可以找到用武之地,在其它領(lǐng)域也一樣。凡是需要專(zhuān)業(yè)知識的專(zhuān)業(yè)領(lǐng)域,AI系統給出的答案都應該錨定真實(shí)文件,所以RAG適合專(zhuān)業(yè)領(lǐng)域。

Daniel Ho說(shuō):“幻覺(jué)一直存在,我們還沒(méi)有找到好辦法真正消除幻覺(jué)?!彪m然RAG可以降低錯誤率,但還是需要人類(lèi)來(lái)判斷結果如何。(小刀)

聲明:該篇文章為本站原創(chuàng ),未經(jīng)授權不予轉載,侵權必究。
換一批
延伸閱讀

北京——2024年7月8日 全球化云開(kāi)發(fā)者平臺涂鴉智能應用亞馬遜云科技的生成式AI技術(shù)與服務(wù),在針對智慧領(lǐng)域云開(kāi)發(fā)者平臺以及針對企業(yè)內部協(xié)同辦公和技術(shù)產(chǎn)研等關(guān)鍵場(chǎng)景打造生成式AI解決方案,極大提升了開(kāi)發(fā)者效率和終端消費者...

關(guān)鍵字: 生成式AI Claude 3模型

聯(lián)合國旗下世界知識產(chǎn)權組織(World Intellectual Property Organization,簡(jiǎn)稱(chēng)WIPO)不久前發(fā)布報告稱(chēng),在生成式AI專(zhuān)利申請方面中國遠超其它國家,包括美國。

關(guān)鍵字: 生成式AI 專(zhuān)利 AI

北京——2024年6月27日 北京靈奧科技基于亞馬遜云科技的生成式AI、數據庫和容器等云服務(wù),打造大模型中間件,將基礎模型優(yōu)勢和企業(yè)業(yè)務(wù)數據無(wú)縫結合,打通企業(yè)AI應用落地的最后一公里。靈奧科技現已服務(wù)全球超過(guò)30,000...

關(guān)鍵字: 生成式AI 數據庫

Claude 3.5 Sonnet是Anthropic最先進(jìn)的Claude系列AI模型的新成員,比Claude 3 Opus更智能且價(jià)格只有其五分之一

關(guān)鍵字: AI模型 生成式AI

構建智能分析解決方案ChatBI 加速旅游行業(yè)數智化升級 北京2024年6月17日 /美通社/ -- 亞馬遜云科技宣布,全球領(lǐng)先的旅游產(chǎn)品網(wǎng)絡(luò )營(yíng)銷(xiāo)系統設計及分銷(xiāo)技術(shù)服務(wù)公司德比軟件(上海)有限公司(以下簡(jiǎn)稱(chēng)"德比軟件"...

關(guān)鍵字: 亞馬遜 軟件 AI技術(shù) 生成式AI

北京——2024年6月12日 亞馬遜云科技在re:Inforce 2024全球大會(huì )上宣布推出多項安全服務(wù)新功能,涵蓋惡意軟件防護、生成式AI驅動(dòng)安全、身份訪(fǎng)問(wèn)和管理等,幫助用戶(hù)更輕松、安全地在亞馬遜云科技上進(jìn)行構建。具體...

關(guān)鍵字: 生成式AI 防火墻

北京——2024年6月11日 國內領(lǐng)先的電商獨立站SaaS平臺深圳店匠科技有限公司(以下簡(jiǎn)稱(chēng)“店匠科技”)選擇亞馬遜云科技為首選云服務(wù)供應商,應用亞馬遜云科技的生成式AI技術(shù)與服務(wù),在“GenAI營(yíng)銷(xiāo)素材創(chuàng )作、AI建站C...

關(guān)鍵字: 生成式AI 數智化轉型

加速跨境電商行業(yè)邁入生成式AI時(shí)代 北京2024年6月11日 /美通社/ -- 國內領(lǐng)先的電商獨立站SaaS平臺深圳店匠科技有限公司(以下簡(jiǎn)稱(chēng)"店匠科技")選擇亞馬遜云科技為首選云服務(wù)供應商,應用亞馬遜云科技的生成式A...

關(guān)鍵字: 亞馬遜 云服務(wù) 生成式AI 模型

SAP AI Core的生成式AI中心與Amazon Bedrock的基礎模型集成,為企業(yè)客戶(hù)提供生成式AI驅動(dòng)的洞察,并簡(jiǎn)化手動(dòng)流程

關(guān)鍵字: 生成式AI 可持續發(fā)展 互聯(lián)網(wǎng)

2024年6月5日,英國,倫敦 —— OPPO在今日舉辦的AI戰略媒體溝通會(huì )上宣布將全面普及 AI 手機,并提出未來(lái) AI 手機將通過(guò)全棧技術(shù)革新和生態(tài)重構,持續變革移動(dòng)體驗。此外,OPPO 還與谷歌、聯(lián)發(fā)科技、IDC...

關(guān)鍵字: 生成式AI AI 手機
關(guān)閉