IT之家 4 月 26 日消息，人工智能（AI）的發(fā)展日新月異，但也存在一些難題，比如 AI 模型有時(shí)會(huì)出現(xiàn)“幻覺”，即說出錯(cuò)誤的事實(shí)、涉及有害的話題或?qū)е掳踩�風(fēng)險(xiǎn)。為了解決這個(gè)問題，英偉達(dá)在周二發(fā)布了一款新的軟件，名為 NeMo Guardrails，可以幫助軟件開發(fā)者給 AI 模型設(shè)置“護(hù)欄”，防止它們產(chǎn)生不良的輸出。

NeMo Guardrails 是一個(gè)軟件層，位于用戶和 AI 模型之間，可以在模型輸出不良內(nèi)容之前進(jìn)行攔截和修改。例如，如果開發(fā)者想要?jiǎng)?chuàng)建一個(gè)客服聊天機(jī)器人，可以使用 NeMo Guardrails 來(lái)限制它只能談?wù)撓嚓P(guān)的產(chǎn)品，而不能談?wù)摳?jìng)爭(zhēng)對(duì)手的產(chǎn)品或其他不相關(guān)的話題。如果用戶提出這樣的問題，機(jī)器人可以引導(dǎo)對(duì)話回到開發(fā)者希望的話題上。

該軟件還能夠利用一個(gè) AI 模型來(lái)檢測(cè)另一個(gè) AI 模型的“幻覺”，通過向第二個(gè) AI 模型提問來(lái)核實(shí)第一個(gè) AI 模型的答案。如果兩個(gè)模型給出不一致的答案，那么軟件就會(huì)返回“我不知道”的回答。

英偉達(dá)還提供了另一個(gè)例子，一個(gè)用于回答內(nèi)部企業(yè)人力資源問題的聊天機(jī)器人。在這個(gè)例子中，英偉達(dá)能夠使用 NeMo Guardrails 來(lái)阻止基于 ChatGPT 的機(jī)器人回答關(guān)于公司財(cái)務(wù)狀況的問題或訪問其他員工的私人數(shù)據(jù)。

英偉達(dá)還表示，這個(gè)“護(hù)欄”軟件還有助于提高安全性，可以強(qiáng)制 AI 模型只與白名單列表中的第三方軟件進(jìn)行交互。

NeMo Guardrails 是開源的，并通過英偉達(dá)服務(wù)提供，可以用于商業(yè)應(yīng)用，開發(fā)者將使用 Colang 編程語(yǔ)言來(lái)為 AI 模型編寫自定義規(guī)則。

據(jù)IT之家搜索了解，包括谷歌和微軟支持的 OpenAI 等其他 AI 公司，也使用了一種稱為強(qiáng)化學(xué)習(xí)的方法來(lái)防止 LLM 應(yīng)用產(chǎn)生有害的輸出。這種方法使用人類測(cè)試者來(lái)創(chuàng)建關(guān)于哪些答案是可接受或不可接受的數(shù)據(jù)，然后使用這些數(shù)據(jù)來(lái)訓(xùn)練 AI 模型。

英偉達(dá)正在將其注意力轉(zhuǎn)向 AI 領(lǐng)域，該公司目前占據(jù)了創(chuàng)建這項(xiàng)技術(shù)所需芯片的市場(chǎng)主導(dǎo)地位，其股價(jià)在 2023 年迄今為止上漲了 85%，成為標(biāo)準(zhǔn)普爾 500 指數(shù)中漲幅最大的股票。