17.11.2015 в 13:11
Пишет каздалевский:Открыточка от старика Доктороу борцам с терроризмом, которые знают, что вся проблема лишь в ленивых полицейских, которые не хотят досматривать подозрительных арабов.
Если вы когда-нибудь задумаете сварганить автоматический детектор терроризма, то, пока с вами не случилось такой несуразности, вот вам небольшой урок математики. Его тема — «парадокс мнимого позитива». Не бойтесь, будет прикольно.
Предположим, возникла какая-то новая болезнь, скажем, суперСПИД. Пусть им заражен только один из каждого миллиона человек. На вашем вооружении имеется анализ на суперСПИДа, точность которого составляет 99 процентов. То есть в 99 случаях из каждых ста анализ дает правильный результат — положительный, если испытуемый заражен, и отрицательный, если оный здоров. Вы подвергаете анализу один миллион человек.
Реально суперСПИД имеет только один из миллиона. Результат одного анализа из каждых ста покажет «мнимый позитив», то есть наличие болезни, хотя на самом деле ее нет. Это и есть «99-процентная точность» — результаты одного процента анализов неверные.
Сколько будет один процент от миллиона?
1.000.000/100 = 10.000
Только один человек из миллиона имеет суперСПИД. Взяв анализ у миллиона наугад отобранных людей, вы, вероятно, обнаружите только один случай фактического заражения суперСПИДом. Однако ваш анализ даст больше, чем один положительный результат. Он даст десять тысяч положительных результатов.
Ваш анализ точностью в 99 процентов даст результаты с неточностью в 99,99 процента!
В этом и заключается парадокс мнимого позитива. Если вы хотите выявить то, что встречается очень редко, точность вашего анализа должна соответствовать низкой частотности этого явления. К примеру, вы хотите указать на элемент изображения на экране монитора. Для этого вам достаточно взять в руку остро заточенный карандаш; кончик грифеля намного меньше (точнее) элементов изображения, а потому послужит отличной указкой. Но карандашом никак не укажешь на один атом поверхности экрана. Чтоб обнаружить такую мелочь, нужна указка (анализ), у которой кончик (точность) размером с атом или меньше.
И вот как парадокс мнимого позитива применим к поиску террористов.
Террористы встречаются очень редко. В городе с населением в двадцать миллионов человек, как Нью-Йорк, могут обретаться от одного-двух до десяти террористов. То есть если взять по максимуму, 10/20.000.000x100 = 0,00005 процента, или одна двадцатитысячная процента.
Это действительно мало. А теперь представим, что у вас на вооружении есть компьютерная система, способная просеивать банковские счета, электронные отметки передвижений граждан личным и общественным транспортом, записи телефонных звонков по всему городу и в результате выявлять террористов в 99 случаях из ста.
В двадцатимиллионной толпе горожан анализ с 99-процентной точностью идентифицирует в качестве террористов двести тысяч человек. Однако только десять из них настоящие террористы. Чтобы арестовать этих десятерых преступников, необходимо, помимо них, провести расследование в отношении 199.990 невиновных.
Но, что самое интересное, точность системы поиска террористов далеко не 99 процентов. Она едва достигает 60, а то и 40 процентов!
URL записиЕсли вы когда-нибудь задумаете сварганить автоматический детектор терроризма, то, пока с вами не случилось такой несуразности, вот вам небольшой урок математики. Его тема — «парадокс мнимого позитива». Не бойтесь, будет прикольно.
Предположим, возникла какая-то новая болезнь, скажем, суперСПИД. Пусть им заражен только один из каждого миллиона человек. На вашем вооружении имеется анализ на суперСПИДа, точность которого составляет 99 процентов. То есть в 99 случаях из каждых ста анализ дает правильный результат — положительный, если испытуемый заражен, и отрицательный, если оный здоров. Вы подвергаете анализу один миллион человек.
Реально суперСПИД имеет только один из миллиона. Результат одного анализа из каждых ста покажет «мнимый позитив», то есть наличие болезни, хотя на самом деле ее нет. Это и есть «99-процентная точность» — результаты одного процента анализов неверные.
Сколько будет один процент от миллиона?
1.000.000/100 = 10.000
Только один человек из миллиона имеет суперСПИД. Взяв анализ у миллиона наугад отобранных людей, вы, вероятно, обнаружите только один случай фактического заражения суперСПИДом. Однако ваш анализ даст больше, чем один положительный результат. Он даст десять тысяч положительных результатов.
Ваш анализ точностью в 99 процентов даст результаты с неточностью в 99,99 процента!
В этом и заключается парадокс мнимого позитива. Если вы хотите выявить то, что встречается очень редко, точность вашего анализа должна соответствовать низкой частотности этого явления. К примеру, вы хотите указать на элемент изображения на экране монитора. Для этого вам достаточно взять в руку остро заточенный карандаш; кончик грифеля намного меньше (точнее) элементов изображения, а потому послужит отличной указкой. Но карандашом никак не укажешь на один атом поверхности экрана. Чтоб обнаружить такую мелочь, нужна указка (анализ), у которой кончик (точность) размером с атом или меньше.
И вот как парадокс мнимого позитива применим к поиску террористов.
Террористы встречаются очень редко. В городе с населением в двадцать миллионов человек, как Нью-Йорк, могут обретаться от одного-двух до десяти террористов. То есть если взять по максимуму, 10/20.000.000x100 = 0,00005 процента, или одна двадцатитысячная процента.
Это действительно мало. А теперь представим, что у вас на вооружении есть компьютерная система, способная просеивать банковские счета, электронные отметки передвижений граждан личным и общественным транспортом, записи телефонных звонков по всему городу и в результате выявлять террористов в 99 случаях из ста.
В двадцатимиллионной толпе горожан анализ с 99-процентной точностью идентифицирует в качестве террористов двести тысяч человек. Однако только десять из них настоящие террористы. Чтобы арестовать этих десятерых преступников, необходимо, помимо них, провести расследование в отношении 199.990 невиновных.
Но, что самое интересное, точность системы поиска террористов далеко не 99 процентов. Она едва достигает 60, а то и 40 процентов!
-
-
17.11.2015 в 14:41-
-
17.11.2015 в 14:52Только фича в том, что в развитых странах число жертв террактов сравнимо с числом жертв автокатастроф. Если не меньше.
-
-
17.11.2015 в 21:06