原創(chuàng) Pei and Jurgens 集智俱樂部

導(dǎo)語

確定性和不確定性是科學(xué)傳播的基礎(chǔ)。在公眾印象中，科學(xué)新聞似乎常常會夸大一些科學(xué)發(fā)現(xiàn)。但事實果真如此嗎？期刊論文和科學(xué)新聞對同一研究發(fā)現(xiàn)的確定性的表述存在怎樣的差異？我們知道，在句子中加入“可能”“大概”等模糊性詞語會減弱確定性，精確的數(shù)字則會增加確定性。然而，確定性實際上是非常復(fù)雜的結(jié)構(gòu)，包含不同方面的確定性。一項最新研究使用包含2167個注釋的科學(xué)發(fā)現(xiàn)的數(shù)據(jù)集，對科學(xué)傳播中句子層面和方面層面的確定性進行度量，發(fā)現(xiàn)模糊限制語和確定性之間只有適度的相關(guān)性。對43.1萬個科學(xué)發(fā)現(xiàn)的分析表明，相比于期刊論文，科學(xué)新聞通常并不會夸大科學(xué)發(fā)現(xiàn)，而是會淡化科學(xué)發(fā)現(xiàn)的確定性。

研究領(lǐng)域：NLP，科學(xué)學(xué)

Pei and Jurgens | 作者

李倩倩 | 譯者

梁金 | 審校

鄧一雪 | 編輯

論文題目：

Measuring Sentence-Level and Aspect-Level (Un)certainty in Science Communications

論文鏈接：

https://arxiv.org/abs/2109.14776

確定性和不確定性是科學(xué)傳播的重要組成部分。然而，在語言學(xué)和科學(xué)傳播研究中，如何對確定性建模一直是一個具有挑戰(zhàn)性的問題。本研究旨在回答以下問題：（1）模糊限制語是否是衡量科技文本確定性的一個好指標(biāo)？（2） 如何在科學(xué)傳播中建立確定性模型？（3）科學(xué)發(fā)現(xiàn)的確定性在科學(xué)傳播中是否會發(fā)生變化？（4） 什么因素會影響新聞和摘要中科學(xué)發(fā)現(xiàn)的確定性？

在這項研究中，我們創(chuàng)建了(i)一個新的數(shù)據(jù)集和方法來衡量科學(xué)發(fā)現(xiàn)的確定性，以及(ii)一個用于確定性預(yù)測的NLP模型。我們將該模型應(yīng)用于超過43.1萬個科學(xué)發(fā)現(xiàn)，研究了科學(xué)傳播中的一系列研究問題。

圖1. 確定性是一種多維度的結(jié)構(gòu)。一個科學(xué)發(fā)現(xiàn)的確定性可以從句子層面的描述中感知，但科學(xué)發(fā)現(xiàn)可能包含不同方面的確定性。

我們的分析表明：1)模糊限制語不能完全捕捉科學(xué)發(fā)現(xiàn)中句子層面和方面層面的確定性（aspect-level certainty）；2)通過超過6000個來自新聞和摘要的配對發(fā)現(xiàn)，新聞發(fā)現(xiàn)的句子層面確定性較低，這與現(xiàn)有研究認為記者傾向于使科學(xué)聽起來更確定相矛盾；3)論文摘要的發(fā)現(xiàn)因期刊影響和團隊規(guī)模而異：低影響力的期刊和大型團隊通常以更高的句子層面的確定性呈現(xiàn)科學(xué)發(fā)現(xiàn)。然而，這種模式在科學(xué)新聞中并不存在。

1. 模糊限制語不能完全捕捉

句子層面和方面層面的確定性

模糊限制語被廣泛地用作語言不確定性的代名詞。然而，模糊限制語是否能夠完全捕捉句子層面和方面層面的確定性仍然不清楚。基于注釋數(shù)據(jù)，我們的研究首先檢驗了模糊限制語在多大程度上可以解釋科學(xué)發(fā)現(xiàn)中確定性的差異。將句子層面的確定性與模糊限制語的數(shù)量進行比較（圖2上），結(jié)果表明，模糊限制語和確定性之間只有適度的相關(guān)性，皮爾遜r=0.55，盡管它們被廣泛用作指標(biāo)（proxy）。例如，“需要進一步研究以了解這是否是因果關(guān)系”不包含任何模糊限制語，但明確表達了對因果關(guān)系的強烈不確定性，這表明許多確定性的描述不能被簡單的基于模糊限制語的詞典很好地捕捉到。

此外，作者在描述確定性的不同方面時，使用模糊限制語的頻率各不相同（圖2下）。這種分布上的差異表明，模糊限制語作為獲取各方面不確定性的指標(biāo)效果較差。

圖2. 模糊限制語和確定性之間只有適度的相關(guān)性

2. 不同方面確定性對整體句子層面的確定性有不同影響

在科學(xué)發(fā)現(xiàn)中，不同方面可以有不同的確定性。不同方面的確定性對整體感知的句子層面確定性的貢獻是否相同？答案是否定的。基于標(biāo)注后的數(shù)據(jù)，我們計算了當(dāng)每個方面都是確定/不確定時的相對句子層面確定性。如下圖所示，關(guān)于“可能性”（Probability）和“建議”（Suggestion）的不確定性與句子層面確定性的急劇下降有關(guān)。然而，關(guān)于“數(shù)量”（Number）和“程度”（Extent）的不確定性只與句子層面確定性的小幅下降有關(guān)。簡而言之，科學(xué)發(fā)現(xiàn)的整體確定性主要受“可能性”和“建議”的影響，而受“數(shù)量”和“程度”等其他方面的影響較小。這一結(jié)果表明，對各方面的描述在如何有助于對科學(xué)發(fā)現(xiàn)的整體確定性的感知方面有所不同。

圖3. 方面確定性對句子層面確定性有不同影響

3. 在科學(xué)傳播中，記者實際上可能淡化科學(xué)發(fā)現(xiàn)的確定性

長期以來，科學(xué)新聞是否讓科學(xué)聽起來更加確定，一直是一個重要但未得到解答的問題。我們的模型能夠在科學(xué)傳播中發(fā)現(xiàn)并檢驗這個問題。回歸分析表明，新聞描述的句子層面確定性低于同一發(fā)現(xiàn)的摘要描述確定性 (p<0.01)。盡管一些研究表明，科學(xué)新聞傾向于消除模糊限制語，以更確定的方式描述科學(xué)發(fā)現(xiàn)，但我們進行了成對檢驗，研究發(fā)現(xiàn)結(jié)果恰好相反：與摘要中的發(fā)現(xiàn)相比，新聞中的發(fā)現(xiàn)不太確定，即使在控制內(nèi)容和許多語境因素的情況下依然如此。

對方面層面確定性的進一步分析揭示了這一現(xiàn)象背后的機制：摘要中的發(fā)現(xiàn)與更多關(guān)于“框架”（Framing）和“數(shù)量” 的確定性有關(guān)。新聞中的發(fā)現(xiàn)與“可能性”“程度”和“數(shù)量”的不確定性相關(guān)，表明記者傾向于淡化某些方面的確定性，尤其是在數(shù)字信息方面。

圖4. （上）科學(xué)新聞的句子層面確定性比論文摘要低；（下）科學(xué)新聞傾向于淡化“數(shù)量”（Number）和“框架”（Framing）方面的確定性。

4. 影響力低的期刊通常以更高的句子層面確定性呈現(xiàn)科學(xué)發(fā)現(xiàn)

期刊的影響因子長期以來一直被認為是與科學(xué)質(zhì)量相關(guān)的核心因素之一。當(dāng)發(fā)現(xiàn)出現(xiàn)在具有不同影響因子的期刊中，是否以不同的方式呈現(xiàn)確定性？答案是肯定的。如下圖所示，影響力較低的期刊中的研究結(jié)果具有最高的確定性，而出現(xiàn)在影響力相對較高的期刊中的發(fā)現(xiàn)則以相對較低的確定性進行描述。

對這一現(xiàn)象的一個可能的解釋是，發(fā)表在審查流程更嚴格的期刊上的高質(zhì)量論文更準(zhǔn)確地呈現(xiàn)確定性，這導(dǎo)致與低影響期刊的發(fā)現(xiàn)相比總體確定性較低。作為比較，記者撰寫的研究結(jié)果的確定性與期刊影響因子沒有顯著相關(guān)性，這表明期刊的聲望并不影響記者呈現(xiàn)科學(xué)發(fā)現(xiàn)的方式。

圖5. 期刊影響因子越小，科學(xué)發(fā)現(xiàn)的句子層面確定性越高

5. 大型團隊通常以更高的句子層面確定性呈現(xiàn)科學(xué)發(fā)現(xiàn)

在團隊科學(xué)的時代，人們發(fā)現(xiàn)團隊規(guī)模與科學(xué)的許多核心方面有關(guān)，包括質(zhì)量和影響力。科學(xué)確定性的呈現(xiàn)是否也隨著研究團隊的規(guī)模而變化？答案是肯定的。使用我們的數(shù)據(jù)和模型，我們發(fā)現(xiàn)作者數(shù)量與科學(xué)發(fā)現(xiàn)的總體確定性水平之間存在線性關(guān)系，即使對領(lǐng)域和作者進行參數(shù)控制也是如此。多種機制可以解釋這種行為。由于更多的個人參與和檢查結(jié)果，或者由于團隊科學(xué)中能夠進行規(guī)模實驗，更大的團隊本身可能更有能力產(chǎn)生更多確定的結(jié)果。此外，我們的結(jié)果也與之前的發(fā)現(xiàn)相聯(lián)系，即小團隊更容易產(chǎn)生新的顛覆性想法，大團隊則傾向于開發(fā)舊的、現(xiàn)有的想法，因為新想法通常與更多的不確定性相關(guān)。

然而，這種線性趨勢在科學(xué)新聞中并不持續(xù)。相反，科學(xué)新聞中發(fā)現(xiàn)的句子層面確定性在不同數(shù)量的作者中保持相對穩(wěn)定。雖然已發(fā)現(xiàn)團隊規(guī)模與科學(xué)的新穎性和影響力有關(guān)，但我們的研究結(jié)果表明，記者在描述發(fā)現(xiàn)的確定性時很大程度上不受研究團隊規(guī)模的影響。

圖6. 作者數(shù)量越多，科學(xué)發(fā)現(xiàn)的句子層面確定性越高

作為論文的一部分，帶注釋的確定性數(shù)據(jù)集、代碼和用于確定性預(yù)測的微調(diào)模型，以及論文中使用的科學(xué)新聞和論文摘要的URL，都可以在以下鏈接獲得：

https://jiaxin-pei.github.io/project_websites/certainty/Certainty-in-Science-Communication.html

計算社會科學(xué)讀書會第二季

計算社會科學(xué)作為一個新興交叉領(lǐng)域，越來越多地在應(yīng)對新冠疫情、輿論傳播、社會治理、城市發(fā)展、組織管理等社會問題和社科議題中發(fā)揮作用，大大豐富了我們對社會經(jīng)濟復(fù)雜系統(tǒng)的理解。相比于傳統(tǒng)社會科學(xué)研究，計算社會科學(xué)廣泛采用了計算范式和復(fù)雜系統(tǒng)視角，因而與計算機仿真、大數(shù)據(jù)、人工智能、統(tǒng)計物理等領(lǐng)域的前沿方法密切結(jié)合。為了進一步梳理計算社會科學(xué)中的各類模型方法，推動研究創(chuàng)新，集智俱樂部發(fā)起了計算社會科學(xué)系列讀書會。

新一季由清華大學(xué)羅家德教授領(lǐng)銜，卡內(nèi)基梅隆大學(xué)、密歇根大學(xué)、清華大學(xué)、匹茲堡大學(xué)的多位博士生聯(lián)合發(fā)起，自2022年6月18日開始，持續(xù)10-12周。本季讀書將聚焦討論Graph、Embedding、NLP、Modeling、Data collection等方法及其與社會科學(xué)問題的結(jié)合，并針對性討論預(yù)測性與解釋性、新冠疫情研究等課題。

原標(biāo)題：《43.1萬項研究背后：科學(xué)新聞是否夸大了科學(xué)發(fā)現(xiàn)的確定性？》

閱讀原文