隨著人工智能大模型的不斷發(fā)展，如何讓其在“難”的問題上深入思考，而不是對(duì)所有問題“想個(gè)不停”？記者5月29日從中國(guó)科學(xué)院自動(dòng)化研究所獲悉，該所聯(lián)合鵬城實(shí)驗(yàn)室提出了一種高效推理策略AutoThink，可讓大模型實(shí)現(xiàn)自主切換思考模式，避免“過度思考”。
“當(dāng)前，越來越多的大模型開始具備‘深度思考能力’。”中國(guó)科學(xué)院自動(dòng)化研究所研究員張啟超說，模型在回答問題之前要先生成一整段包含反復(fù)自我反思、自我驗(yàn)證的推理過程，然后再給出答案。
張啟超表示，這一思考模式顯著提升了大模型解決復(fù)雜問題的能力，但同時(shí)也帶來了“過度思考”的問題，即在處理簡(jiǎn)單任務(wù)時(shí)也會(huì)生成冗余的思考過程。
“比如使用者對(duì)大模型提問‘2+3等于幾’，大模型可能會(huì)從自然數(shù)定義講起，列出加法交換律，甚至反復(fù)確認(rèn)，最后才輸出答案是5。”張啟超說，這種不必要的“過度思考”現(xiàn)象在推理模型中廣泛存在。
針對(duì)這一問題，AutoThink可賦予推理模型根據(jù)題目難度自主切換思考模式的能力，即通過所設(shè)計(jì)的提示詞和多階段強(qiáng)化學(xué)習(xí)，引導(dǎo)其自主決定是否進(jìn)行深度思考。
張啟超介紹，AutoThink提供了一種簡(jiǎn)單而有效的推理新范式——通過省略號(hào)提示配合三階段強(qiáng)化學(xué)習(xí)，引導(dǎo)大模型不再“逢題必深思熟慮”，而是根據(jù)問題難度自主決定“是否思考”“思考多少”。在多個(gè)數(shù)學(xué)數(shù)據(jù)集上，AutoThink實(shí)現(xiàn)了準(zhǔn)確率與效率平衡，既提升性能又節(jié)省算力，展示出較強(qiáng)的適應(yīng)性和實(shí)用性。
據(jù)悉，AutoThink已集成于一站式智能科研平臺(tái)ScienceOne，并將用于訓(xùn)練ScienceOne的基座大模型S1-Base。研發(fā)團(tuán)隊(duì)表示，讓大模型“更聰明地思考、更簡(jiǎn)潔地表達(dá)”，是未來科學(xué)基礎(chǔ)大模型演進(jìn)的重要方向。
隨著人工智能大模型的不斷發(fā)展，如何讓其在“難”的問題上深入思考，而不是對(duì)所有問題“想個(gè)不停”？記者5月29日從中國(guó)科學(xué)院自動(dòng)化研究所獲悉，該所聯(lián)合鵬城實(shí)驗(yàn)室提出了一種高效推理策略AutoThink，可讓大模型實(shí)現(xiàn)自主切換思考模式，避免“過度思考”。
“當(dāng)前，越來越多的大模型開始具備‘深度思考能力’。”中國(guó)科學(xué)院自動(dòng)化研究所研究員張啟超說，模型在回答問題之前要先生成一整段包含反復(fù)自我反思、自我驗(yàn)證的推理過程，然后再給出答案。
張啟超表示，這一思考模式顯著提升了大模型解決復(fù)雜問題的能力，但同時(shí)也帶來了“過度思考”的問題，即在處理簡(jiǎn)單任務(wù)時(shí)也會(huì)生成冗余的思考過程。
“比如使用者對(duì)大模型提問‘2+3等于幾’，大模型可能會(huì)從自然數(shù)定義講起，列出加法交換律，甚至反復(fù)確認(rèn)，最后才輸出答案是5。”張啟超說，這種不必要的“過度思考”現(xiàn)象在推理模型中廣泛存在。
針對(duì)這一問題，AutoThink可賦予推理模型根據(jù)題目難度自主切換思考模式的能力，即通過所設(shè)計(jì)的提示詞和多階段強(qiáng)化學(xué)習(xí)，引導(dǎo)其自主決定是否進(jìn)行深度思考。
張啟超介紹，AutoThink提供了一種簡(jiǎn)單而有效的推理新范式——通過省略號(hào)提示配合三階段強(qiáng)化學(xué)習(xí)，引導(dǎo)大模型不再“逢題必深思熟慮”，而是根據(jù)問題難度自主決定“是否思考”“思考多少”。在多個(gè)數(shù)學(xué)數(shù)據(jù)集上，AutoThink實(shí)現(xiàn)了準(zhǔn)確率與效率平衡，既提升性能又節(jié)省算力，展示出較強(qiáng)的適應(yīng)性和實(shí)用性。
據(jù)悉，AutoThink已集成于一站式智能科研平臺(tái)ScienceOne，并將用于訓(xùn)練ScienceOne的基座大模型S1-Base。研發(fā)團(tuán)隊(duì)表示，讓大模型“更聰明地思考、更簡(jiǎn)潔地表達(dá)”，是未來科學(xué)基礎(chǔ)大模型演進(jìn)的重要方向。
本文鏈接：http://www.lbgj202.com/v-146-957.html我國(guó)科學(xué)家提出高效推理策略 可避免大模型“過度思考”
相關(guān)文章：
思念文章表達(dá)心情隨筆03-26
寶寶上幼兒園媽媽心情隨筆03-24
適合平安夜發(fā)朋友圈的句子12-14
朋友圈情感句子76條10-11
高中開學(xué)工作計(jì)劃08-20
2024安全第一課感悟心得05-26
考試后的學(xué)生發(fā)言稿08-22
小學(xué)學(xué)法知法守法心得體會(huì)08-16
我的初中老師作文700字12-05
五年級(jí)漫畫作文300字11-30
保護(hù)環(huán)境的作文11-14
我為你驕傲的作文200字10-12
醫(yī)科大學(xué)有什么專業(yè)名字 福建,廣西,湖南,湖北,江西,江蘇等醫(yī)學(xué)遠(yuǎn)。醫(yī)科大學(xué)的名字。盡可能完整。越完整越給分02-20
三本分?jǐn)?shù)線的考生能上二本的院校嗎11-23
河北女子職業(yè)技術(shù)學(xué)院學(xué)費(fèi)貴嗎 大概招生多少人08-09
《故宮》語文教學(xué)反思03-10
《我們是一家人》閱讀題及其答案01-07
春節(jié)標(biāo)語01-30
年初公司黑板報(bào)素材11-26
法務(wù)工作方向范文8篇08-15
新員工入職歡迎詞07-25