上記の広告は1ヶ月以上更新のないブログに表示されています。
新しい記事を書く事で広告が消せます。
実はブログ初登場の編集28号です。以後よろしく。

本誌9月号特集2「超スパ・スパ対策術」のスパム編で、「詳しいデータはブログに掲載」と予告したとおり、ここにスパム受信テストの詳細データを公開します。
30日にわたるテストで、各フィルターが徐々に学習する様子が見られるかと期待したのですが、ほとんどの製品が最初から80~90%の判定率を叩き出したため、グラフにしても面白味がないと考えて本誌では最終結果のみを載せました。
しかし、細かくデータを見ていくとそれなりに面白い部分もあります。スパムキラーだけそれらしい学習曲線を描いていること、Nortonの判別率が時々がくっと落ちていること、Gmailもよく見るとムラがあることなどなど…
なお、メールの総数が製品によって数通異なるのは、受信したタイミングによって数の違いがあったためです。また、Gmailはスレッド単位ですので、他のものよりかなり少ない数となっています。
スパム受信テスト結果
Norton Internet Security 2006
  スパム判定 フォールスネガティブ 判定率
1日目 250 203 55.2%
3日目 52 7 88.1%
5日目 66 3 95.7%
7日目 57 2 96.6%
9日目 81 0 100.0%
11日目 72 0 100.0%
13日目 72 0 100.0%
15日目 51 1 98.1%
17日目 43 19 69.4%
19日目 65 6 91.5%
21日目 62 3 95.4%
23日目 59 2 96.7%
25日目 64 19 77.1%
27日目 56 7 88.9%
30日目 103 9 92.0%
1153 281 80.4%


ウイルスバスター2006 インターネット セキュリティ
  スパム判定 フォールスネガティブ 判定率
1日目 411 42 90.7%
3日目 50 8 86.2%
5日目 58 11 84.1%
7日目 51 8 86.4%
9日目 73 8 90.1%
11日目 64 8 88.9%
13日目 67 5 93.1%
15日目 46 6 88.5%
17日目 58 4 93.5%
19日目 67 4 94.4%
21日目 56 13 81.2%
23日目 53 8 86.9%
25日目 72 9 88.9%
27日目 49 14 77.8%
30日目 98 14 87.5%
1273 162 88.7%


マカフィー・スパムキラー
  スパム判定 フォールスネガティブ 判定率
1日目 291 162 64.2%
3日目 40 18 69.0%
5日目 57 12 82.6%
7日目 46 13 78.0%
9日目 72 9 88.9%
11日目 64 8 88.9%
13日目 62 10 86.1%
15日目 42 9 82.4%
17日目 63 0 100.0%
19日目 69 2 97.2%
21日目 67 1 98.5%
23日目 55 6 90.2%
25日目 80 1 98.8%
27日目 61 0 100.0%
30日目 111 1 99.1%
1180 252 82.4%


POPFile
  スパム判定 フォールスネガティブ 判定率
1日目 0 453 0.0%
3日目 58 0 100.0%
5日目 67 0 100.0%
7日目 59 0 100.0%
9日目 81 0 100.0%
11日目 73 0 100.0%
13日目 71 0 100.0%
15日目 52 0 100.0%
17日目 62 0 100.0%
19日目 71 0 100.0%
21日目 68 0 100.0%
23日目 59 2 96.7%
25日目 81 0 100.0%
27日目 61 2 96.8%
30日目 112 0 100.0%
975 457 68.1%
*初日を含まない場合 975 4 99.6%


BkASPil for Becky!2
  スパム判定 フォールスネガティブ 判定率
1日目 432 26 94.3%
3日目 55 1 98.2%
5日目 66 1 98.5%
7日目 59 0 100.0%
9日目 81 0 100.0%
11日目 72 0 100.0%
13日目 72 0 100.0%
15日目 52 0 100.0%
17日目 60 3 95.2%
19日目 67 3 95.7%
21日目 63 4 94.0%
23日目 59 1 98.3%
25日目 81 1 98.8%
27日目 61 2 96.8%
30日目 111 2 98.2%
1391 44 96.9%


Mozilla Thunderbird
  スパム判定 フォールスネガティブ 判定率
1日目 453 0 100.0%
3日目 0 56 0.0%
5日目 60 7 89.6%
7日目 53 6 89.8%
9日目 66 15 81.5%
11日目 69 5 93.2%
13日目 52 18 74.3%
15日目 41 11 78.8%
17日目 51 12 81.0%
19日目 60 10 85.7%
21日目 62 7 89.9%
23日目 53 8 86.9%
25日目 69 12 85.2%
27日目 56 8 87.5%
30日目 95 16 85.6%
1240 191 86.7%


Opera 9
  スパム判定 フォールスネガティブ 判定率
1日目 400 89 81.8%
3日目 20 5 80.0%
5日目 66 1 98.5%
7日目 56 3 94.9%
9日目 78 3 96.3%
11日目 74 0 100.0%
13日目 68 2 97.1%
15日目 52 0 100.0%
17日目 53 10 84.1%
19日目 62 8 88.6%
21日目 65 4 94.2%
23日目 58 3 95.1%
25日目 77 4 95.1%
27日目 61 3 95.3%
30日目 108 3 97.3%
1298 138 90.4%

Gmail

  スパム判定 フォールスネガティブ 判定率
1日目 456 3 99.3%
3日目 55 0 100.0%
5日目 67 0 100.0%
7日目 56 0 100.0%
9日目 74 0 100.0%
11日目 62 0 100.0%
13日目 61 0 100.0%
15日目 41 0 100.0%
17日目 51 1 98.1%
19日目 54 0 100.0%
21日目 50 5 90.9%
23日目 51 1 98.1%
25日目 67 0 100.0%
27日目 52 0 100.0%
30日目 89 0 100.0%
1286 10 99.2%


非スパム受信テスト結果
Norton Internet Security 2006
  非スパム判定 フォールスポジティブ 判定率
ニュースレターなど 5 0 100.0%
プロバイダーメール 8 4 66.7%
携帯 2 0 100.0%
フリーメール 3 2 60.0%
18 6 75.0%

ウイルスバスター2006 インターネット セキュリティ
  非スパム判定 フォールスポジティブ 判定率
ニュースレターなど 5 0 100.0%
プロバイダーメール 12 0 100.0%
携帯 2 0 100.0%
フリーメール 4 1 80.0%
23 1 95.8%

マカフィー・スパムキラー
  非スパム判定 フォールスポジティブ 判定率
ニュースレターなど 4 1 80.0%
プロバイダーメール 11 1 91.7%
携帯 2 0 100.0%
フリーメール 2 3 40.0%
19 5 79.2%

POPFile
  非スパム判定 フォールスポジティブ 判定率
ニュースレターなど 4 1 80.0%
プロバイダーメール 6 6 50.0%
携帯 2 0 100.0%
フリーメール 1 4 20.0%
13 11 54.2%

BkASPil for Becky!2
  非スパム判定 フォールスポジティブ 判定率
ニュースレターなど 3 2 60.0%
プロバイダーメール 8 4 66.7%
携帯 2 0 100.0%
フリーメール 3 2 60.0%
16 8 66.7%

Mozilla Thunderbird
  非スパム判定 フォールスポジティブ 判定率
ニュースレターなど 5 0 100.0%
プロバイダーメール 9 3 75.0%
携帯 2 0 100.0%
フリーメール 5 0 100.0%
21 3 87.5%

Opera 9
  非スパム判定 フォールスポジティブ 判定率
ニュースレターなど 4 1 80.0%
プロバイダーメール 7 5 58.3%
携帯 2 0 100.0%
フリーメール 2 3 40.0%
15 9 62.5%

Gmail

  非スパム判定 フォールスポジティブ 判定率
ニュースレターなど 4 1 80.0%
プロバイダーメール 12 0 100.0%
携帯 2 0 100.0%
フリーメール 5 0 100.0%
23 1 95.8%
コメント
この記事へのコメント
コメントを投稿する
URL:
Comment:
Pass:
秘密: 管理者にだけ表示を許可する
 
トラックバック
この記事のトラックバックURL
http://hackerjapan.blog55.fc2.com/tb.php/46-0aef8b43
この記事にトラックバックする(FC2ブログユーザー)
この記事へのトラックバック
上記広告は1ヶ月以上更新のないブログに表示されています。新しい記事を書くことで広告を消せます。