卒業研究
Jadad変法の信頼性試験
～κ係数でなくKendall の一致係数Wを用いての試験～
Modified Jadad Reliability Testing ― Kendall’s W Coefficient of Concordance Testing without k Variable Data ―
東洋医療技術教員養成学科
山口修平
要約
現在、鍼灸の論文の質を検討する方法としてJadadスコアが使われているのがよく見受けられる。しかし、二重マスクが前提ではない他の分野でのJadadスコアの使用は適切ではない。そこで、鍼灸分野への適性を調べるため、日本のRCT 論文17部を7名の鍼灸師がJadad変法に基づき評価し、得られたデータからKendall 一致係数W を算出してそのJadad変法より出た点数の一致度、すなわち評価者間の一致度を試験したところ、良好な結果は得られず鍼灸分野でのJadad変法の無条件な使用には問題があることが示唆された。
目的
Jadadスコアはランダム化比較試験論文に対する質の評価法である。この評価方法は非常に簡便で時間もかからない。そのため、医学のみならず、社会科学などで多くのメタアナリシスやシステマティックレビューで使用されている。しかし、評価項目が少なく論文が良質、非良質に決められてしまうため近年ではJadadスコアの信頼性には疑問がある。にもかかわらず、鍼灸分野ではJadadスコアが使われ続けている。今回は、稲垣純也氏が書いた論文【Jadad法の信頼性試験】という先行研究で、Cohenのκ係数を用いたものをKendallの一致係数を使う方法で解析し再試験した。また補足として３人以上の評価者に適応されるFleissのκ係数でも追加計算した。
方法
7名の鍼灸師がJadad変法に基づき17 論文を順序尺度として評価した。フリー計算サイト(https://www.statstodo.com/KendallW_Pgm.php)、にてKendallの 一致係数W を算出し、評価者間の一致度、即ち検者間信頼性についての分析を行った。またFleissのκ係数も同じ計算サイト（https://www.statstodo.com/CohenKappa_Pgm.php）にて計算をして相互に比較検討をした。
結果
論文の質：Fleissのκ係数for 7 raters =0.46、 ランダム化：Kendallの W 係数= 0.61,p=<0.0001、 Fleissのκ係数for 7 raters = 0.42、マスク化：Kendallの W 係数= 0.30,p=0.0065、Fleissのκ係数 for 7 raters = 0.11、脱落Kendallの W係数 = 0.56,p=<0.0001、Fleissのκ係数 for 7 raters = 0.46、という結果になった。一致係数はLitwinによると、0.7以上でgood reliability、それ以下はpoor reliabilityであるため検者間における評価はすべてpoor reliabilityであった。κ係数とW係数は同傾向を、また先行研究との一致する傾向も確認された。以上のことからJadad変法を用いた鍼灸における論文の評価は評価者によって再現性がない。
考察
今回の研究でJadad変法の無条件の使用は問題があるが、論文の質評価における黄金基準がない以上どの評価方法を使っても問題が残る結果となる。このようなスコア法はスコアが高いから高品質、低いから低品質な論文とは一概に言えないことが分かっている。しかし、その中でも簡便で時間がかからないという理由のみでJadad変法を使うのは問題で、質評価法の限界を踏まえて、評価レビューをするべきである。また、論文の質評価法を作成し公表する時は信頼性試験を必ず行うことが必要である。
