A comparative test of web accessibility evaluation methods
要約
- ウェブアクセシビリティ評価方法の比較テスト
- イタリアのウーディネ大学のGiorgio Brajnikによる研究
- 専門家レビュー、ユーザーテスト、主観的評価、バリアウォークスルーなどのウェブアクセシビリティ評価方法の比較実験
- 12人の初心者アクセシビリティ評価者による実験
- 結果は、正確性において有意な違いが見られ、信頼性も異なることが示された
- ウェブアクセシビリティ評価方法の概要
- 専門家によるレビューに基づく方法は最も広く使用されており、規格やガイドラインに基づく
- 他の方法には、スクリーニング技術、主観的評価、ユーザーテスト、バリアウォークスルーがある
- AEMsの利点と欠点
- 専門家によるレビューは多様な問題を特定できるが、優先順位付けが難しい
- 主観的評価の利点はコストが低いことだが、システマティックでない
- ユーザーテストは利用者の問題を正確に特定できるが、効率が低い
- バリアウォークスルー
- コンテキストを考慮したアクセシビリティ検査技術
- アクセシビリティの障壁を評価し、重症度を判定する方法
- ユーザーがリンクや選択ボックスとやり取りする際、関連するガイドラインや原則から派生した潜在的な障壁が考慮される。BW法の予備実験評価では、この方法が適合性レビューよりもより深刻な問題を見つけるのに効果的であることが示されたが、すべての可能なアクセシビリティの問題を見つけるのには効果が低いことも示された。
- AEMは、効果、効率、有用性などの基準に基づいて比較できる。具体的には、効果は正確さ、完全性などを含む基準によって評価され、効率はリソースの使用量によって評価される。
- 実験の目的は、BWとCRの効果と効率を比較し、特に[1]で得られた結果がより形式的な実験で確認されるかどうかを見ることである。実験では、16人の学生が2つの方法の評価を行い、それぞれの方法で2つのウェブサイトのページを評価した。
- 結果では、BW法とCR法の評価において異なる点が見られ、BW法がより多くのバリアを特定する傾向があることが示唆された。また、BW法では正確さ、感度、F-測度にわずかな改善が見られたが、CR法の方が評価時間が短い傾向がある。
- さらに、BW法はすべての指標において高いばらつきを示し、信頼性の向上と引き換えに多くの主観的な要素が存在することが示唆された。
- BWとCRの信頼性を比較した実験の結果、BWの信頼性は0.62で、CRの0.69よりも低かった。しかし、BWの信頼性の悪化は10%にとどまり、追加の解釈ステップによる影響が比較的小さいことが分かった。
- BWを使用すると、CRに比べて違反したチェックポイントや障壁をより多く正しく識別できることが示された。
- 完全性、感度、F値、および完了時間には一般化可能な効果がなかったが、BWの値はCRよりも一貫して高かった。
- BWを使用すると、正しく判断された障壁の数が45%から127%増加した。
- BWの使用により、正確さが最低で0.05、最大で0.31向上し、CRと比べて9%から60%増加する可能性がある。
- より経験豊富な評価者は、BWを使用すると信頼性、感度、正確さ、F値が向上する可能性が高い。
- 実験計画の改善により、より強力な結果が得られる可能性がある。
（要約終わり）
- HCI 2000年の特集号に掲載された研究論文の一部。35-36ページに掲載された。
評価
Giorgio Brajnikのウェブアクセシビリティ評価方法の研究は、専門家レビュー、ユーザーテスト、主観的評価、バリアウォークスルー等を比較するものであり、それぞれの方法の正確性と信頼性に有意な違いがあることを示した。専門家レビューは最も広く使用され、問題を特定するのに有効だが、優先順位付けが難しい。主観的評価はコストが低いが、システマティックではない。ユーザーテストは利用者の問題を正確に特定できるが、効率が低い。
バリアウォークスルーは、コンテキストを考慮したアクセシビリティ検査技術で、アクセシビリティの障壁を評価し、重症度を判定する。この方法は深刻な問題を見つけるのに効果的であることが示されたが、全ての可能な問題を見つけるのには効果が低い。
評価方法の効果と効率を比較する実験では、バリアウォークスルー法がより多くのバリアを特定する傾向があり、正確さ、感度、F-測度にわずかな改善が見られた。しかし、専門家レビュー法の方が評価時間が短い傾向がある。
この研究では、BWとCRという二つの手法の信頼性を比較しています。結果として、BWはCRよりも信頼性が低い一方で、その差は10%と比較的小さく、主観的な要素が多いという結果が示されました。しかし、BWを使用することで、違反したチェックポイントや障壁をより多く正しく識別できることが示されました。また、完全性、感度、F値、完了時間については、BWとCR間で一般化可能な効果は見られませんでしたが、BWの値は一貫してCRよりも高かったです。さらに、BWを使用すると、正しく判断された障壁の数が増加し、正確さも向上する可能性があることが明らかになりました。特に、経験豊富な評価者がBWを使用すると、信頼性、感度、正確さ、F値がさらに向上する可能性があるとされています。この研究結果は、実験計画の改善により、さらに強力な結果が得られる可能性を示唆しています。
和訳
![]()
1 / 1
100%
