「メタ分析の4つのバイアス」まとめ

　メタ分析の論文をよむときに、確認しておきたいバイアスをまとめておきます。

　尚、くわしくはこちらの「ワークブック」をご参照ください。

ステップアップEBM実践ワークブック―10級から始めて師範代をめざす

　ここで取り扱うのは、「4段：メタ分析の4つのバイアス」の項です。

４つのバイアス

　出版されたメタ分析であれば質が保証されている、というわけではありません。ほかの論文同様、批判的吟味をすべきでしょう。

　系統的にバイアスを確認するには、4つのバイアスを確認するとよいとされています。

• 出版バイアス
• 評価者バイアス
• 元論文バイアス
• ごちゃまぜバイアス

　以前紹介した、口唇ヘルペスのメタ分析 *1 を使って、4つのバイアスを確認していきたいと思います。

メタ分析（Chi, 2015年） *2 

　コクランのメタ分析は分量が多いですが、比較的しっかりと基本を押さえていますし、無料公開されているものもありますので、入門編としては入りやすいと思います。

出版バイアス

　出版バイアスの確認は、以下の3点を確認します。

• 言語を限定しない検索
• 未出版データの検索
• Funnel plotによる検討

　さきほどの口唇ヘルペスのメタ分析を確認してみましょう。p.8にこのような記載があります。（傍線強調はぼく）

Search methods for identification of studies

We aimed to identify all relevant RCTs regardless of language or publication status (published, unpublished, in press, or in progress).

　ここに言語を限定しない（英語以外の文献も検索している）、未出版データの検索も行われていることが記載されています。

　Funnel plotによる検討については、p.10に記載があります。

Assessment of reporting biases We would have tested publication bias for primary outcomes by using a funnel plot when at least 10 trials on an intervention were available. However, the limited number of trials for each intervention meant it was impossible to do this test.

　10研究以上の場合には、funnel plotを使って出版バイアスを検討します。しかし、このメタ分析は研究数が少なく実施されませんでした。

　Funnel plotとは、「ワークブック」をご覧いただければと思いますが、簡単に説明してみます。

　縦軸が標準誤差の逆数（研究規模）。研究規模が大きければその結果の信頼区間は狭い、つまり標準誤差が小さいということになる。

　横軸は治療効果の大きさを対数変換したもの（治療効果）。相対危険で言えば、真ん中の0のところが1、そのマイナス方向が1以下、プラス方向が1以上に対応する。

　このグラフに個々の研究結果をプロットしてみると、縦軸が小さい小規模の研究で横軸の相対危険が1以上の効果がない研究の部分にプロットがない場合、出版バイアスの可能性が疑われます。

　こちらの図もご参考までに。

statistically-funny.blogspot.jp

評価者バイアス

　評価者バイアスはこの1点です。

• 二人以上のレビューアーによる独立した評価

　口唇ヘルペスメタ分析では、p.9にあります。

Data extraction and management

Two authors (CC and SW) independently extracted the data using a specialised data extraction form. We resolved discrepancies by discussion with a third author (FW).

　2人で独立して論文を選択し、不一致があれば3人目の著者と議論する、という手順が明確に決められています。この手順によって、意図的に都合のいい論文のみ選んでしまう、または不都合な論文を落としてしまうといったバイアスを防ぐことができるでしょう。

元論文バイアス

　選択された個々の論文の質について、以下の点について確認します。

• ランダム化の方法
• 隠蔽
• アウトカムのマスキング
• 追跡

　（以上4つの記載の評価による感度分析）

　メタ分析内で探すときには、"risk of bias" や "quality" がキーワードになります。口唇ヘルペスのメタ分析ではp.9に記載されています。

Assessment of risk of bias in included studies

We evaluated the following components since there is some evidence that these are associated with biased estimates of intervention effect (Higgins 2011):

1. random sequence generation - adequacy of the method of random sequence generation to produce comparable groups in every aspect except for the intervention;

2. allocation concealment - adequacy of the method used to conceal the allocation sequence to prevent anyone foreseeing the allocation sequence in advance of, or during, enrolment;

3. blinding of participants and personnel - adequacy of blinding study participants and researchers from knowledge of the allocated interventions;

4. blinding of outcome assessment - adequacy of blinding outcome assessors from knowledge of the allocated interventions;

5. incomplete outcome data - the completeness of outcome data for each main outcome, including attrition and exclusions from the analysis, whether attrition and exclusions were reported, the numbers in each intervention group (compared with total randomised participants), reasons for attrition/ exclusions where reported, and any re-inclusions in our analyses;

6. selective reporting - whether all prespecified outcomes were reported when the trial protocol was available; and

7. other sources of bias - any other important concerns about bias.

　メタ分析では個々の論文を7項目について検討されていましたが、基本4項目がチェックされていることがわかります。

　マスキング（blinding）については3. 4.に、追跡については5. 6.に、より詳しく検討されていることがわかります。

　そしてこの評価結果は、口唇ヘルペスのメタ分析ではp.14の figure 2、p.15の figure 3  （3色カラーの表です）に示されています。

　この表を見つけられれば、元論文バイアスの評価をしていることがわかります。

ごちゃ混ぜバイアス

　メタ分析とは、いろいろな背景や条件で行われた研究論文の結果を、ごちゃ混ぜにして一緒にするという性質のものです。

　集められた論文にはどの程度異質なものか、多様性があるのか、を確認する方法があります。

• 患者背景の多様性
• 結果の異質性検定
• サブグループ分析
• 追跡期間、コンプライアンスによる感度分析

　患者背景の多様性については、患者背景の表を確認します。口唇ヘルペスのメタ分析では、Description of studies の項、p.13に記載があります。

Included studies

This review included 32 trials, with a total of 2640 participants, covering 19 treatments. We describe the details of the included studies in the ’Characteristics of included studies’ tables.

Design

All of the 32 included studies were RCTs, with 5 being cross-over RCTs (Gibson 1986; Gilbert 2007; Rooney 1991; Rooney 1993; Thein 1984). Sample sizes The number of participants in the included studies ranged from 19 to 310. Seven of the included trials had a small sample size of less than 30 participants (Duteil 1998; Gibson 1986; Møller 1997; Pfitzer 2005; Rooney 1993; Thein 1984).

Setting

The setting wasmulticentre in 13 trials (Altmeyer 1991; Bernstein 1994; Bernstein 1997; Bolla 1985; Busch 2009; Gibson 1986; Mills 1987; Raborn 1997; Raborn 1998; Rooney 1991; Spruance 1988; Spruance 1991c; Spruance 1999) and single-centre in 19 trials (Baker 2003; de Carvalho 2010; Duteil 1998; Gilbert 2007; Ho 1984; Miller 2004; Møller 1997; Pazin 1979; Pedersen 2001; Pfitzer 2005; Redman 1986; Rooney 1993; Russell 1978; Schädelin 1988; Schindl 1999; Senti 2013; Spruance 1991a; Spruance 1991b; Thein 1984). All of the included trials were conducted either in Europe or North America.

Participants

All of the included trials included adults aged 18 years or older, with 2 trials extending to persons aged 16 years or older, Bolla 1985; Gibson 1986, and 1 trial extending to persons aged at least 12 years (Miller 2004). Two trials, Russell 1978; Thein 1984, did not state the age limit of inclusion criteria but included participants aged seven and eight years, respectively.

　個々の論文ごとの患者背景の詳細は、’Characteristics of included studies’ に詳しく書かれています。

　患者背景については、ほとんどの論文では18歳以上でしたが、一部の論文では16, 12歳以上のものが含まれていたり、7,8歳が含まれていたり、ということがあるようです。

　患者背景のちがいが結果に影響を与えるようなものであれば、サブグループ分析が必要となるかもしれません。

　異質性については、ブロボグラム（フォレストプロット）を確認します。

　まずは、各論文結果の点推定値が似通っているか、その信頼区間は重なっているか、主観的に判断することが重要です。

　さらに、統計学的な異質性（heterogeneity）について検定されているかを確認します。異質性の検定は、主にコクランQ検定とI²検定が用いられます。

　コクランQ検定では、異質性なしという帰無仮説についてχ2検定が行われ、p値で判断します。一般的には p=0.1 が基準値として用いられ、p<0.1 の場合には異質性ありの可能性と考えます。

　しかし、コクランQ検定では論文数が少ないと異質性が検出できず、論文数が多いと検出しすぎるという欠点があります。そのため、I²検定のほうが推奨されます。

　I²検定はばらつきの程度を%で評価し、以下のように判定します。

• 0% to 40%　異質性は重要な問題ではない
• 30% to 60%　中等度の異質性がある可能性
• 50% to 90%　潜在的な異質性
• 75% to 100%　重大な異質性 　

　口唇ヘルペスのメタ分析では、p.132のブロボグラム（Analysis 1.1の2. subtotalの下）にはこのように記載されています。

Heterogeneity: Tau2 = 0.0; Chi2 = 0.00, df = 1 (P = 0.95); I2 =0.0%

　あまり異質性はなさそうだ、という結果です。

　サブグループ分析は、異質なものがあった場合、ある程度同質なものだけを取り出して検討してみたものです。

　口唇ヘルペスのメタ分析では、このように記載されています。

Subgroup analysis and investigation of heterogeneity

We discussed similarities and differences of included RCTs in terms of the study design, interventions, participants, and outcome measures. We would have conducted subgroup analyses of the following if adequate data were available:

• participants with atopic dermatitis: we found no data relevant to atopic dermatitis and thus did not conduct a subgroup analysis; and

• participants with UVL-induced HSL: for sunscreen where relevant data were available, we conducted a subgroup analysis on HSL induced by natural and experimental UVL separately.

　データが得られなかったため、実施されなかったようです。

　感度分析とは、治療効果に影響すると仮定される因子を変化させてみた場合、治療効果がどのように変化するかを分析する方法です。

　口唇ヘルペスのメタ分析では、このように記載されています。 

Sensitivity analysis

We would have performed a sensitivity analysis to examine the intervention effects after excluding those studies with lowermethodological quality if appropriate. However, we did not do so because of a very limited number of trials for the same intervention.

　同じ介入の研究が少なかったため、実施されなかったようです。

　ということで、メタ分析の4つのバイアスを駆け足でみてきました。

• 出版バイアス
• 評価者バイアス
• 元論文バイアス
• ごちゃまぜバイアス

　これからは、バイアスを意識してメタ分析を読んでみようと思います。

*1:http://www.bycomet.tokyo/entry/hsv1

http://www.bycomet.tokyo/entry/hsv2

*2:Chi CC, Wang SH, Delamere FM, Wojnarowska F, Peters MC, Kanjirath PP. Interventions for prevention of herpes simplex labialis (cold sores on the lips). Cochrane Database Syst Rev. 2015 Aug 7;(8):CD010095. doi: 10.1002/14651858.CD010095.pub2. Review. PubMed PMID: 26252373.