統計研究ガイドライン
研究委員会 2023.04.28
研究で統計を用いるにあたってのガイドライン
研究で、アンケート調査に基づいて分析をしたり、量的関係や空間分布を見るために、グラフや統計地図など図的に処理することができれば何よりですが（Jacques Bertin著、森田喬訳の『視覚言語による情報の処理と伝達』を思い起こされる人もおられるかもしれませんが）、微妙な判断となると統計的手法を用いる必要が生じるかもしれません。最近は統計処理のパッケージがあるために容易に使えるのかもしれませんが、論文作成にあたっては、その基本的な事項を説明し、調査・分析が正当かつ正確になされたことを示す必要があります。解釈を含めそこから得られる知見は、その調査・分析の厳密さに反比例して不確かさを含むことになりますので、そのことを意識した表現をとる必要があります。以下、参考までに、論文等で統計的調査・分析を記す場合に説明すべき基本的な事項をまとめておきます。これらは、出現頻度が高く、査読者が繰り返し指摘している問題点です。
１．アンケート調査の対象と方法
- アンケート調査などに集められた被験者が、どのような方法で集められたのかを説明する必要があります。
- 研究がどのような母集団を対象に調査・分析をしようとしているのかを意識した被験者の集め方をする必要があります。十分に統制された集め方ができない場合は、結果を解釈する上で、一般化を留保する条件となります。
- アンケート調査は、いつ、どこで、どのような方法で、行われたものなのか、具体的に説明する必要があります。
- 有効回答数あるいは無回答や回答を拒否された数を記す必要もあります。
- 回答数が無制限なWebアンケートについては、その実施の仕方に加え、結果として集まった参加者の属性等を示しバイアスについて考える必要があります。
２．分析する項目について、アンケートの問い方
- 分析をする項目については、それがどのような問いに対する答えなのかわかるようにする必要があります。
３．得られたデータの概要
- 得られたデータがどのような構造を持っているのか、示す必要があります。例えば、サンプル数、変数の数、などです。
- 得られたデータに対し統計的手法を用いる前に、得られたデータの分布を示し確認する必要があります。
- 得られたデータの基礎統計量を示す場合、有効数字を意識する必要があります。
４．統計的分析方法・手段ならびにその手続きの説明
- 統計的分析方法を記す際、場合によっては、なぜその手法が適切と考えるのかを説明する必要があります。
- 統計的分析の手段は、パッケージ名など具体的に示す必要があります。
- 変数が沢山ある場合など、どのデータを対象に統計的分析手法を行ったのかわかるように記す必要があります。その際、データがどのような構造を持ったものなのか、データが、質的データ（名義尺度、順序尺度）なのか量的データ（間隔尺度、比例尺度）なのかわかるようにしておく必要があります。
- 検定を行う場合は、対立仮説ならびに帰無仮説が何なのかを意識しておく必要があります。
- 検定に関しては、検定統計量を示す必要があります。
- 検定統計量と自由度からｐ値（有意確率）を算出するか、あるいは自由度と特定の有意水準とに対する検定統計量の値と比較して、有意かどうかを判断してください。それらを示す必要があります。
５．根拠に基づく合理的な解釈
- 得られたグラフや検定結果などをもとにして統計データが意味するところを説明した上で、対象とした被験者（群）がもつ特質を解釈することができます。
- 解釈は読者に対し示された手続やデータから、読者からも納得されるものでなければなりません。
６．ネーミングによる過度の一般化の注意
- 因子や主成分、クラスターなどに対するネーミングが過度の一般化をもたらさないように注意が必要です。
７．母集団の持つ特性としての説明に伴う確からしさの意識
- 「まとめ」などで、分析から得られたデータの特性から、母集団の特性を推し量る場合、調査方法や得られたデータ数など留保する条件も、再度記さなければなりません。その上での知見であることを説明してください。
A Guideline for Using Statistics and Descriptions in Research Papers
Information obtained through research is quickly and easily understood by readers through graphs and statistical maps that analyze data taken from questionnaire surveys and so on. Some may also consider using statistical methods for clearer decisions on research procedures. Statistical tools have become relatively easy to use, but it is necessary to understand the basics in order to present statistics properly. In particular, when writing a paper, it is necessary to explain and outline the rationale for the statistical analysis process and show the reader that the research and statistical analysis have been properly and precisely conducted, and that the knowledge obtained can be described accompanied by the uncertainty in inverse proportion to the rigor of the investigation and analysis.
Following is a summary of the basic items that should be explained when presenting statistics and analysis in research papers. These are common issues that are repeatedly pointed out by reviewers.
1. Method of questionnaire survey
- It is necessary to explain how <subjects> were collected for questionnaire surveys.
- Researchers must first of all state what kind of <population> is targeted by the investigation. Then, on the basis of the target population, how subjects were gathered. If a sufficiently controlled method of collecting subjects is not possible, it is necessary to withhold from generalizations in interpreting results.
- It is necessary to explain in detail when, where, and how any survey was conducted. If there are collaborators, their contribution should be properly attributed, and you should clarify your right to use data sources.
- The number of valid responses and non-responses or refusals to respond should also be noted.
- In the case of a web questionnaire, it is necessary to check for biases in the attributes of the respondent population.
2. Type of questions used for questionnaires
・For the items to be analyzed, it is necessary to show the kind of questions answered.
3. An overview of the data to be analyzed
- It is necessary to show the structure of the data analyzed. For example, number of samples, number of variables, etc.
- Before applying statistical methods to data, it is necessary to show and confirm the <distribution> of the data.
- When presenting the <summary statistic> of the data, it is necessary to be aware of the <significant digits>.
4. Explanation of statistical analysis methods and procedures
- When describing a <statistical analysis method>, it may be necessary to explain why the method was considered appropriate.
- Statistical analysis tools must be specifically indicated, such as the package name.
- When there are many variables, it is necessary to indicate which statistical analysis method was applied to which data. At the same time, it is necessary to understand what kind of structure the data has and whether the data is qualitative data (nominal scale, ordinal scale), or quantitative data (interval scale, ratio scale).
- When conducting a test, it is necessary to be aware of the <null hypothesis> and <alternative hypothesis>.
- A <test statistic> should be shown for any test.
- To reject the null hypothesis and determine that there is a significant difference, either i) calculate a <p-value> (significance probability) from the <test statistic> and the <degrees of freedom>, or ii) compare the <test statistic> and the specific value which is shown according to the <degrees of freedom> and a specific <significance level>.
5. Reasonable interpretation
- After explaining the meaning of the obtained graphs and test results, it is possible to interpret the characteristics of the target subject group.
- Interpretation must be based on the data, figures, tables, and series of procedures, and then it must be convincing to the reader.
6. Beware of over-generalization in naming
- Be careful not to over-generalize the naming of factors, principal components, clusters, etc.
7. Consciousness of the degree of certainty associated with explaining the characteristics of the population
- When extrapolating the characteristics of a population from data analyzed, the conditions constraining certainty (such as method of collecting subjects and the amount of data obtained), must be described again in the Summary.
- In the Abstract, you can briefly describe the survey method, the number of samples, an overview of the data analyzed, the analysis method, and the conclusions or knowledge obtained after proceeding through the above series of steps.
