【协和医学杂志】证据合成方法学:现状与发展
时间:2024-01-12 21:11:08 热度:37.1℃ 作者:网络
证据合成(evidence synthesis),又称证据综合,即使用系统、明确的方法对现有研究进行合成,其能够提高研究结论的可靠性和准确性,为临床实践指南、患者辅助决策及政策简报提供证据基础[1]。在医学领域,系统评价作为经典的证据合成方法,主要关注医疗干预的有效性和安全性问题[2]。为进一步满足不同研究者和决策者的需求,衍生出多种遵循系统评价方法学和命名原则的证据合成方法[3]。随着证据合成方法的种类逐渐增多,越来越多的证据合成研究不断发表,证据合成方法在不同学科和领域的应用也逐渐得以重视。然而,由于方法间存在相似或共有特征,不同证据合成方法在应用中极易混淆。本文将对证据合成方法的现状、分类、定义、特点,以及应用中存在的问题进行梳理,并在此基础上提出思考与建议。
1 证据合成方法的现状
证据合成理念在200年前即已产生,但无论其方法还是数量,近30年间才得以快速发展[4-5]。笔者以最经典的证据合成方法“系统评价”为检索词(“systematic review”[Publication Type])在PubMed数据库进行初步检索,截至2022年12月31日,其文献数量累计20余万篇,呈逐年上升趋势。
证据合成方法的不断发展,不仅助力相关组织的建立和期刊的创办,且进一步促进了证据合成在国内外的传播和应用。自1993年起,国际上先后建立了Cochrane协作网(Cochrane Collaboration)、国际卫生技术评估机构协作网(INAHTA)、Campbell协作网(Campbell Collaboration)、国际指南协作网(GIN)、研究合成方法协会(SRSM)和证据合成国际网络(ESI)等组织[6]。
此外,研究合成方法协会与乔安娜布里格斯研究所(JBI)创办了证据合成的专业期刊Research Synthesis Methods和JBI Evidence Synthesis,致力于发表证据合成相关研究,鼓励广大研究人员改进和创新证据合成方法。与此同时,国际上还创办了诸多发表不同领域系统评价的专业期刊,如Cochrane Database of Systematic Reviews、Campbell Systematic Reviews、JBI Database of Systematic Reviews and Implementation Reports及Systematic Reviews等,致力于发表高质量的系统评价和系统评价计划书。关于证据合成领域的重要事件,详见表1。
表1 证据合成领域的重要事件
2 证据合成方法的分类
目前,证据合成方法的分类形式多种多样,暂无统一的分类方法[15-17]。笔者整理了当前证据合成方法的主要分类形式,以供研究人员参考。
2.1 根据研究目的分类
根据研究目的可将证据合成方法分为描述性(describe)方法、检验性(test)方法、扩展性(extend)方法和批判性(critique)方法[15]。描述性方法主要涉及相关文献的总结,包括叙事综合(narrative synthesis)、元总结(meta-summary)、元叙事(meta-narrative)和概况性评价(scoping review)等。检验性方法关注假设检验,包括Meta分析(meta-analysis)、贝叶斯Meta分析(bayesian meta-analysis)、现实主义评价(realist review)等。
扩展性方法主要关注理论的建立,包括元民族志(meta-ethnography)、主题综合(thematic synthesis)、批判性解释综合(critical interpretive synthesis)和框架综合(framework synthesis)等。批判性方法主要关注文献与既定标准的比较,包括批判性评价(critical review)。
2.2 根据数据处理方法分类
根据数据处理方法可将证据合成方法分为汇集性合成(integrative synthesis)方法和解释性合成(interpretive synthesis)方法[16]。汇集性合成方法涉及数据的合并与汇总,包括系统评价(systematic review)、Meta分析、快速评价(rapid review)、概况性评价、主题综合和框架综合等。解释性合成方法关注概念整合及理论发展,包括元民族志、扎根理论(grounded theory)和批判性解释综合等。
2.3 根据纳入数据类型分类
根据纳入数据类型可将证据合成方法分为定量合成(quantitative synthesis)方法、定性合成(qualitative synthesis)方法和混合合成(mixed synthesis)方法[17]。其中定量合成方法关注定量数据的合成,包括Meta分析和最佳证据综合(best evidence synthesis)等。
定性合成方法关注定性研究或理论合成,包括扎根理论、Meta研究(meta-study)、元民族志和主题综合等。混合合成方法倾向于定性与定量数据合成,包括系统评价、概况性评价、叙事综合和综合评价(integrative review)等。
3 代表性的证据合成方法
笔者检索证据合成方法的相关研究,同时参考健康系统证据(Health System Evidence)、社会系统证据(Social System Evidence)等数据库收录的证据合成研究类型,遴选并整理了10个具有代表性的证据合成方法(表2),其中以系统评价最为典型。值得注意的是,一部分证据合成方法与系统评价具有相似的制作流程,而另一部分证据合成方法则倾向于理论建立和发展,与前者存在较大差异。
表2 证据合成方法及其与系统评价的区别和联系
4 证据合成方法应用中存在的问题与挑战
虽然证据合成方法在诸多领域均有应用,但仍存在如下问题与挑战:
1
证据合成方法术语不统一。目前国际上尚无统一的证据合成方法术语,针对同一方法存在不同表述[37],如“证据地图”同时被称为“evidence map”“mapping review”及“systematic map”等;国内在使用相关术语时也存在翻译不一致的情况,如“meta-ethnography”被译为“元民族志”“Meta民族志”“元人种学”及“元人种志”等,术语不统一在一定程度上影响了学科间的合作与交流。
2
方法学指导手册不完善。尽管目前国际上已发布了一系列指导手册,如Cochrane协作网编制的干预性系统评价手册和诊断性系统评价手册[20,38],Sandelowski等[39]编制的《定性研究合成手册》,JBI编制的《证据合成手册》[40],以及Jeffrey等[41]编制的《研究合成与Meta分析手册(第三版)》等,但大部分证据合成方法目前尚无指导手册,其应用的科学性、严谨性难以保证。
3
证据合成研究报告不规范。研究显示,近一半的证据合成研究未在标题、摘要或正文中说明其研究类型[42],存在报告不充分、报告质量普遍较低等问题,给政策制定者与利益相关者理解和使用证据合成研究带来阻碍。
4
证据合成方法使用存在混淆。Paré等[42]通过文献计量学分析发现,74%的证据合成研究描述的使用方法与实际的应用方法并不一致,方法使用存在混淆,其研究结果的科学性和准确性难以保证,为决策者应用证据合成研究带来较大挑战。
5 未来应用证据合成方法的思考与建议
随着证据合成研究数量的逐渐增多,其被下载和引用的频率远高于已发表的其他研究类型[43]。而证据合成方法的规范应用,对提高证据合成研究结论的科学性、适用性和可及性发挥积极作用。为促进证据合成方法在我国的应用与发展,笔者提出以下思考与建议:
第一,遵循术语标准,统一国内术语。术语的规范化与标准化对促进证据合成方法的合理应用与研发具有重要作用。目前我国已制定《术语工作 原则与方法》[44]等标准对术语不统一现象进行规范。建议国内相关机构遵循术语标准对不同证据合成方法的概念进行严格定义与区分,规范中文翻译的准确性和统一性,减少同义或多义现象,为学科建设与跨学科合作奠定基础。
第二,遵循方法学规范,咨询方法学专家。指导手册是规范证据合成方法应用的重要途径,可为研究人员及读者提供参考。研究人员在应用证据合成方法时需加强学习,严格遵循方法学规范,确保证据合成方法应用的正确性。对于尚无指导手册的其他证据合成方法,可咨询相应的方法学专家,论证研究的可行性与合理性。
第三,遵循报告规范,提高报告质量。通过检索EQUATOR(Enhancing the QUAlity and Transparency Of health Research)网站(https://www.equator-network. org/),笔者发现目前系统评价和Meta分析、系统评价再评价、网状Meta分析、概况性评价、元民族志、元叙事、现实主义综合等诸多证据合成方法已有相应的报告规范(表3)。研究人员需严格遵循现有报告规范,提高证据合成研究的透明度和结论的可信度。同时,对于尚无报告规范的其他证据合成方法,研究人员应积极探索和研发,推动报告规范在我国的应用与发展。
表3 证据合成方法研究报告规范汇总
第四,构建决策树模型,选择合适方法。目前已发表的部分证据合成研究存在方法使用混淆的问题,可能对研究结论的可靠性和准确性产生影响[42]。国际上有学者依据证据合成方法的优/劣势构建了决策树模型以辅助研究者选择恰当的方法[70],但考虑因素与可选择的方法相对较少。
Cook等[70-72]提出选择证据合成方法需考虑的7个因素,其中研究问题、研究目的和目标人群是优先考虑因素,同时还需考虑方法认识论、数据类型、时间限制与财务限制等。因此,建议国内学者综合考虑现有因素,构建更为完善的决策树模型,为研究人员选择合适的证据合成方法提供参考。
6 小结
证据合成是提高研究证据可信度的重要途径,也是证据生态系统中连接证据生产与证据转化的桥梁,对于推动证据从生产到评价、应用的可持续循环发挥至关重要作用。然而,随着证据合成方法种类及研究数量的迅速增加,方法的误用与滥用问题也愈发凸显,亟需更多的研究者共同努力,积极探索证据合成方法的科学应用路径,为政策制定者及使用者提供证据基础。
参考文献
[1]Graham ID,Logan J,Harrison MB,et al.Lost in knowledge translation: time for a map?[J].J Contin Educ Health Prof,2006,26:13-24.
[2]Munn Z,Tufanaru C,Aromataris E.JBI's systematic reviews: data extraction and synthesis[J]. Am J Nurs,2014,114:49-54.
[3]Munn Z,Stern C,Aromataris E,et al.What kind of systematic review should I conduct?A proposed typology and guidance for systematic reviewers in the medical and health sciences[J].BMC Med Res Methodol,2018,18:1-9.
[4]Clarke M. History of evidence synthesis to assess treatment effects:Personal reflections on something that is very much alive[J]. J R Soc Med,2016,109:154-163.
[5]Lind J. A Treatise on the Scurvy[M].London:A Millar in the Strand,1757.
[6]Gough D,Davies P,Jamtvedt G,et al.Evidence Syn-thesis International(ESI):Position Statement[J].Syst Rev,2020,9:1-9.
[7]Pearson K.Report on certain enteric fever inoculation statistics[J].BMJ,1904,3:1243-1246.
[8]Cochrane AL.Effectiveness and Efficiency:Random Reflections on Health Services[M].London:Nuffield Provincial Hospitals Trust,1972.
[9]Glass GV.Primary,secondary,and meta-analysis of research[J].Edu Res,1976,5:3-8.
[10]Smith ML,Glass GV.Meta-analysis of psychotherapy outcome studies[J]. Am Psychol,1977,32:752-760.
[11]Moher D,Cook DJ,Eastwood S,et al.Improving the quality of reports of meta-analyses of randomised controlled trials:the QUOROM statement.Quality of Reporting of Meta-analyses[J].Lancet,1999,354:1896-1900.
[12]Atkins D, Best D, Briss PA, et al.Grading quality of evidence and strength of recommendations[J].BMJ,2004,328:1490.
[13]Moher D,Liberati A,Tetzlaff J,et al.Preferred reporting items for systematic reviews and meta-analyses: the PRISMA statement[J].Ann Intern Med,2009,151:264-269.
[14]Institute of Medicine.Clinical practice guidelines we can trust[M].Washington DC: National Academies Press,2011.
[15]Xiao Y,Watson M.Guidance on Conducting a Systematic Literature Review[J]. J Plan Educ Res,2019,39:93-112.
[16]Dixon-Woods M,Agarwal S,Young B,et al.Integrative approaches to qualitative and quantitative evidence[M].London:Health Development Agency,2004.
[17]Petticrew M,Rehfuess E,Noyes J,et al.Synthesizing evidence on complex interventions: how meta-analytical,qualitative,and mixed-method approaches can contribute[J].J Clin Epidemiol,2013,66:1230-1243.
[18]杨克虎,李秀霞,拜争刚.循证社会科学研究方法:系统评价与 Meta 分析[M].兰州:兰州大学出版社,2018.
[19]周旭毓,方积乾.Meta分析的常见偏倚[J].循证医学,2002:216-220.
[20]田金徽.证据生态系统中证据合成与转化研究方法进展与挑战[J].中国药物评价,2022,39:1-10.
[21]Khangura S,Konnyu K,Cushman R,et al.Evidence summaries:the evolution of a rapid review approach[J].Syst Rev,2012,1:1-9.
[22]Hamel C,Michaud A,Thuku M,et al.Defining Rapid Reviews:a systematic scoping review and thematic analysis of definitions and defining characteristics of rapid reviews[J].J Clin Epidemiol,2021,129:74-85.
[23]Grant MJ,Booth A.A typology of reviews:an analysis of 14 review types and associated methodologies[J].Health Info Libr J,2009,26:91-108.
[24]Munn Z,Peters MDJ,Stern C,et al.Systematic review or scoping review?Guidance for authors when choosing between a systematic or scoping review approach[J].BMC Med Res Methodol,2018,18:143.
[25]Miake-Lye IM,Hempel S,Shanman R,et al.What is an evidence map?A systematic review of published evidence maps and their definitions,methods,and products[J].Syst Rev,2016,5:28.
[26]Cochrane Training.Cochrane Handbook for Systematic Reviews of Interventions[M/OL].(2022-08-04)[2023-02-08].https://training.cochrane.org/handbook.
[27]Elliott JH,Turner T,Clavisi O,et al.Living systematic reviews:an emerging opportunity to narrow the evidence-practice gap[J].PLoS Med,2014,11:e1001603.
[28]Simmonds M,Salanti G,McKenzie J,et al.Living systematic reviews:3. Statistical methods for updating meta-analyses[J].J Clin Epidemiol,2017,91:38-46.
[29]Noblit GW,Hare RD,Hare RD.Meta-ethnography:Synthesizing qualitative studies[M].California:Sage Publications,1988.
[30]张静怡,张雅婷,盖琼艳,等.定性资料的系统评价方法学汇总[J].中国循证心血管医学杂志,2017,9:523-527.
[31]Thomas J,Harden A.Methods for the thematic synthesis of qualitative research in systematic reviews[J].BMC Med Res Methodol,2008,8:45.
[32]刘雪寒,鲁春丽,郑偌祥,等.定性研究的综合方法概述及其在医学中的应用进展[J].世界中医药,2021,16:3093-3099.
[33]Barnett-Page E,Thomas J.Methods for the synthesis of qualitative research:a critical review[J].BMC Med Res Methodol,2009,9:59.
[34]Bowen GA.Grounded theory and sensitizing concepts[J].Int J Qual Meth,2006,5:12-23.
[35]于兆吉,张嘉桐.扎根理论发展及应用研究评述[J].沈阳工业大学学报(社会科学版),2017,10:58-63.
[36]Dixon-Woods M,Agarwal S,Jones D,et al.Synthesising qualitative and quantitative evidence:a review of possible methods[J].J Health Serv Res Policy,2005,10:45-53.
[37]Schick-Makaroff K,MacDonald M,Plummer M,et al.What Synthesis Methodology Should I Use?A Review and Analysis of Approaches to Research Synthesis[J].AIMS Public Health,2016,3:172-215.
[38]Cochrane Collaboration.Cochrane handbook for systematic reviews of diagnostic test accuracy (v2.0)[M/OL].[2023-02-08]. https://methods.cochrane.org/sdt/hand book-dta-reviews.
[39]Sandelowski M,Barroso J.Handbook for synthesizing qualitative research[M].New York:Springer Publishing Company,2006.
[40]JBI.JBI Manual for Evidence Synthesis[M/OL].[2023-02-08].https://jbi-global-wiki.refined.site/space/MANUAL.
[41]Jeffrey CV,Larry VH, Harris C.The handbook of research synthesis and meta-analysis[M].New York:Russell Sage Foundation,2019.
[42]Paré G,Trudel MC,Jaana M,et al.Synthesizing information systems knowledge:A typology of literature reviews[J].Inf Manage,2015,52:183-199.
[43]Cronin P,Ryan F,Coughlan M.Undertaking a literature review:a step-by-step approach[J].Br J Nurs,2008,17:38-43.
[44]国家市场监督管理总局,中国国家标准化管理委员会.术语工作 原则与方法:GB/T 10112-2019[S].北京:中国标准出版社,2019.
[45]Moher D,Liberati A,Tetzlaff J,et al.Preferred reporting items for systematic reviews and meta-analyses:the PRISMA statement[J]. PLoS Med,2009,6:e1000097.
[46]Welch V,Petticrew M,Tugwell P,et al.PRISMA-Equity 2012 Extension:Reporting Guidelines for Systematic Reviews with a Focus on Health Equity[J].PLoS Med,2012,9:e1001333.
[47]Beller EM,Glasziou PP,Altman DG,et al.PRISMA for Abstracts:Reporting Systematic Reviews in Journal and Conference Abstracts[J].PLoS Med,2013,10:e1001419.
[48]Hutton B,Salanti G,Caldwell DM,et al.The PRISMA Extension Statement for Reporting of Systematic Reviews Incorporating Network Meta-analyses of Health Care Interventions:Checklist and Explanations[J].Ann Intern Med,2015,162:777-784.
[49]Stewart LA,Clarke M,Rovers M,et al.Preferred Reporting Items for Systematic Review and Meta-Analyses of individual participant data:the PRISMA-IPD Statement[J].JAMA,2015,313:1657-1665.
[50]Moher D,Shamseer L,Clarke M,et al.Preferred Reporting Items for Systematic Review and Meta-Analysis Protocols(PRISMA-P)2015 statement[J].Syst Rev,2015,4:1.
[51]Zorzela L,Loke YK,Ioannidis JP,et al.PRISMA harms checklist:improving harms reporting in systematic reviews[J].BMJ,2016,352:i157.
[52]Guise JM,Butler ME,Chang C,et al.AHRQ series on complex intervention systematic reviews-paper 6:PRISMA-CI extension statement and checklist[J].J Clin Epidemiol,2017,90:43-50.
[53]Tricco AC,Lillie E,Zarin W,et al.PRISMA Extension for Scoping Reviews(PRISMA-ScR):Checklist and Explanation[J].Ann Intern Med,2018,169:467-473.
[54]McInnes MDF,Moher D,Thombs BD,et al.Preferred Reporting Items for a Systematic Review and Meta-analysis of Diagnostic Test Accuracy Studies:The PRISMA-DTA Statement[J].JAMA,2018,319:388-396.
[55]Wang X,Chen Y,Liu Y,et al.Reporting items for systematic reviews and meta-analyses of acupuncture:the PRISMA for acupuncture checklist[J].BMC Complement Altern Med,2019,19:208.
[56]Zhang X,Tan R,Lam WC,et al.PRISMA extension for moxibustion 2020:recommendations,explanation,and elaboration[J].Syst Rev,2020,9:247.
[57]Zhang X,Tan R,Lam WC,et al.PRISMA(Preferred Reporting Items for Systematic Reviews and Meta-Analyses)Extension for Chinese Herbal Medicines 2020(PRISMA-CHM 2020)[J].Am J Chin Med,2020,48:1279-1313.
[58]Page MJ,McKenzie JE,Bossuyt PM,et al.The PRISMA 2020 statement:an updated guideline for reporting systematic reviews[J].BMJ,2021,372:n71.
[59]Rethlefsen ML,Kirtley S,Waffenschmidt S,et al.PRISMA-S Group. PRISMA-S:an extension to the PRISMA Statement for Reporting Literature Searches in Systematic Reviews[J]. Syst Rev,2021,10:39.
[60]Cohen JF,Deeks JJ,Hooft L,et al.Preferred reporting items for journal and conference abstracts of systematic reviews and meta-analyses of diagnostic test accuracy studies(PRISMA-DTA for Abstracts):checklist,explanation,and elaboration[J].BMJ,2021,372:n265.
[61]O'Dea RE,Lagisz M,Jennions MD,et al.Preferred reporting items for systematic reviews and meta-analyses in ecology and evolutionary biology:a PRISMA extension[J].Biol Rev Camb Philos Soc,2021,96:1695-1722.
[62]Zhao B,Hu K,Zeng X,et al.Development of a reporting guideline for systematic reviews of animal experiments in the field of traditional Chinese medicine[J].J Evid Based Med,2022,15:152-167.
[63]Wong G,Greenhalgh T,Westhorp G,et al.RAMESES publication standards:meta-narrative reviews[J].BMC Med,2013,11:20.
[64]Wong G,Greenhalgh T,Westhorp G,et al.RAMESES publication standards:realist syntheses[J].BMC Med,2013,11:21.
[65]Tong A,Flemming K,McInnes E,et al.Enhancing transparency in reporting the synthesis of qualitative research:ENTREQ[J].BMC Med Res Methodol,2012,12:181.
[66]Bougioukas KI,Liakos A,Tsapas A,et al.Preferred reporting items for overviews of systematic reviews including harms checklist:a pilot tool to be used for balanced reporting of benefits and harms[J].J Clin Epidemiol,2018,93:9-24.
[67]France EF,Cunningham M,Ring N,et al.Improving reporting of Meta-Ethnography:The eMERGe Reporting Guidance[J].BMC Med Res Methodol,2019,19:25.
[68]Campbell M,McKenzie JE,Sowden A,et al.Synthesis without meta-analysis(SwiM) in systematic reviews:reporting guideline[J].BMJ,2020,368:l6890.
[69]Gates M,Gates A,Pieper D,et al.Reporting guideline for overviews of reviews of healthcare interventions:development of the PRIOR statement[J].BMJ,2022,378:e070849.
[70]Cook CN,Nichols SJ,Webb JA,et al. Simplifying the selection of evidence synthesis methods to inform environmental decisions:a guide for decision makers and scientists[J].Biol Conserv,2017,213:135-145.
[71]Pullin A,Frampton G,Jongman R,et al.Selecting appro-priate methods of knowledge synthesis to inform biodiversity policy[J].Biodivers Conserv,2016,25:1285-1300.
[72]Booth A,Noyes J,Flemming K,et al.Structured methodology review identified seven(RETREAT)criteria for selecting qualitative evidence synthesis approaches[J].J Clin Epidemiol,2018,99:41-52.