團(tuán)隊(duì)認(rèn)為，推理模型在計(jì)算層面上與人類群體的集體智慧相呼應(yīng)，其中多樣性在系統(tǒng)化構(gòu)建后能夠促進(jìn)更優(yōu)的問題解決能力，并為智能體組織利用群體智慧提供了新的思路。

準(zhǔn)備工作

研究人員首先探究構(gòu)成雙向?qū)υ挼臅�話行為和社會情感角色是否普遍存在于推理軌跡中。他們使用邏輯推理模型（LLM）作為評判者，量化了每個(gè)推理軌跡中四種會話行為的出現(xiàn)頻率。

他們還基于貝爾斯互動過程分析（IPA）考察了社會情感角色。該分析識別出 12 種互動角色。

數(shù)據(jù)方面針對涵蓋符號邏輯、數(shù)學(xué)問題解決、科學(xué)推理、指令遵循和多智能體推理的 8262 個(gè)推理問題生成了思路鏈和最終答案。團(tuán)隊(duì)一共使用六種模型生成響應(yīng)。

團(tuán)隊(duì)使用稀疏自編碼器 (SAE) 將神經(jīng)網(wǎng)絡(luò)激活分解為大量線性的、可解釋的特征。這種方法可識別和操縱模型激活空間中與對話行為相關(guān)的特征，并研究引導(dǎo)這些特征如何影響模型的推理能力。

實(shí)驗(yàn)結(jié)果

結(jié)果表示，DeepSeek-R1 和 QwQ-32B 表現(xiàn)出對話行為的頻率遠(yuǎn)高于指令調(diào)整模型。

除此之外，它們都表現(xiàn)出更互惠的社會情感角色：它們既會征求也會給予方向、意見和建議，同時(shí)還表現(xiàn)出消極和積極的角色。

研究人員還考察了 DeepSeek-R1 是否增加了推理過程中所表達(dá)的視角多樣性。

結(jié)果顯示，在控制視角數(shù)量的情況下，DeepSeek-R1 和 QwQ-32B 產(chǎn)生了明顯更高的個(gè)性多樣性。尤其是在開放性、神經(jīng)質(zhì)、宜人性和外向性方面。

為了進(jìn)一步檢驗(yàn)學(xué)習(xí)邏輯模型（LLM）在獲得正確答案獎勵時(shí)是否會自我強(qiáng)化對話行為，研究團(tuán)隊(duì)進(jìn)行了一項(xiàng)自學(xué)習(xí)強(qiáng)化學(xué)習(xí)（RL）實(shí)驗(yàn)。

實(shí)驗(yàn)表明，對話行為的頻率在整個(gè)訓(xùn)練過程中持續(xù)增加，盡管沒有獲得直接獎勵。

而基于對話數(shù)據(jù)微調(diào)的模型比基于獨(dú)白數(shù)據(jù)微調(diào)的模型準(zhǔn)確率提升更快，尤其是在訓(xùn)練初期。在第 40 步，基于對話數(shù)據(jù)微調(diào)的 Qwen-2.5-3B 模型準(zhǔn)確率達(dá)到約 38%，而基于獨(dú)白數(shù)據(jù)微調(diào)的模型準(zhǔn)確率仍停留在 28%。

像 DeepSeek-R1 這樣的推理模型并非簡單地生成更長或更復(fù)雜的思維鏈。相反，它們展現(xiàn)出一種社會對話過程的特征模式，這種過程會生成思維社群——提出問題、引入不同的視角、產(chǎn)生和解決沖突，以及協(xié)調(diào)各種社會情感角色。

即使控制了推理軌跡的長度，這些互動模式在不同規(guī)模（671B、70B、32B、8B）的非推理模型中也很少出現(xiàn)，這表明推理優(yōu)化在推理過程本身中引入了一種內(nèi)在的社會結(jié)構(gòu)，而不僅僅是增加文本量。

該模型似乎通過模擬內(nèi)部社群進(jìn)行推理，將思維構(gòu)建為對話者之間的交流，而不是單一不間斷的聲音。這意味著，社會推理是通過強(qiáng)化學(xué)習(xí)自主產(chǎn)生的，這是其持續(xù)產(chǎn)生正確答案能力的體現(xiàn)，而不是通過顯式的人工監(jiān)督或微調(diào)實(shí)現(xiàn)的。

當(dāng) DeepSeek-R1 面對更復(fù)雜的問題時(shí)，對話行為和社會情感角色會被更頻繁地激活，這解釋了其相對于非推理模型的大部分準(zhǔn)確率優(yōu)勢。

這種互動組織是由推理痕跡中多種隱含聲音的多樣性所支撐的。這些聲音在人格特質(zhì)和領(lǐng)域?qū)�業(yè)知識方面存在系統(tǒng)性差異，機(jī)制可解釋性分析證實(shí)，當(dāng)模型被引導(dǎo)至對話標(biāo)記時(shí)，會激活更多與人格和專業(yè)知識相關(guān)的特征。

參考資料：

https://arxiv.org/abs/2601.10825