»ìÏý¾ØÕóÓë ROC ÇúÏߣººÎʱʹÓÃÄĸö¾ÙÐÐÄ£×ÓÆÀ¹À
±ØÐèÔÚ»úеѧϰºÍÊý¾Ý¿ÆѧÖÐÆÀ¹ÀÄ£×ÓÐÔÄÜ£¬²Å»ªÌá³ö¿É¿¿¡¢×¼È·ÇÒ¸ßЧµÄÄ£×ÓÀ´¾ÙÐÐÈκÎÀàÐ͵ÄÕ¹Íû¡£Ò»Ð©³£ÓõŤ¾ßÊÇ»ìÏý¾ØÕóºÍ roc ÇúÏß¡£Á½Õ߶¼Óвî±ðµÄÄ¿µÄ£¬×¼È·ÏàʶºÎʱʹÓÃËüÃǹØÓÚÎȽ¡Ä£×ÓÆÀ¹ÀÖÁ¹ØÖ÷Òª¡£ÔÚ±¾²©¿ÍÖУ¬ÎÒÃǽ«ÏêϸÏÈÈÝÕâÁ½ÖÖ¹¤¾ß£¬¾ÙÐнÏÁ¿£¬×îºóÌṩÓйغÎʱÔÚÄ£×ÓÆÀ¹ÀÖÐʹÓÃÕâÁ½ÖÖ¹¤¾ßµÄÖ¸ÄÏ¡£
±ØÐèÔÚ»úеѧϰºÍÊý¾Ý¿ÆѧÖÐÆÀ¹ÀÄ£×ÓÐÔÄÜ£¬²Å»ªÌá³ö¿É¿¿¡¢×¼È·ÇÒ¸ßЧµÄÄ£×ÓÀ´¾ÙÐÐÈκÎÀàÐ͵ÄÕ¹Íû¡£Ò»Ð©³£ÓõŤ¾ßÊÇ»ìÏý¾ØÕóºÍ ROC ÇúÏß¡£Á½Õ߶¼Óвî±ðµÄÄ¿µÄ£¬×¼È·ÏàʶºÎʱʹÓÃËüÃǹØÓÚÎȽ¡Ä£×ÓÆÀ¹ÀÖÁ¹ØÖ÷Òª¡£ÔÚ±¾²©¿ÍÖУ¬ÎÒÃǽ«ÏêϸÏÈÈÝÕâÁ½ÖÖ¹¤¾ß£¬¾ÙÐнÏÁ¿£¬×îºóÌṩÓйغÎʱÔÚÄ£×ÓÆÀ¹ÀÖÐʹÓÃÕâÁ½ÖÖ¹¤¾ßµÄÖ¸µ¼¡£
Ïàʶ»ìÏý¾ØÕó
»ìÏý¾ØÕóÊÇÒ»¸ö±í¸ñÓÃÓÚ¿ÉÊÓ»¯·ÖÀàÄ£×ÓµÄÖ´ÐÐÇéÐΡ£Ò»Ñùƽ³£À´Ëµ£¬Ëü½«Ä£×ÓµÄÕ¹Íû·ÖΪËÄÀࣺ
True Positives (TP)£ºÄ£×Ó׼ȷչÍûÕýÀà¡£
True Negatives (TN)£ºÄ£×Ó׼ȷչÍû¸ºÀà¡£
False Positives (FP)£ºÄ£×Ó¹ýʧչÍûÕýÀà¡£
False Negatives (FN)£ºÄ£×Ó¹ýʧµØÕ¹ÍûÁ˸ºÀࣻ II Àà¹ýʧ¡£
ÔÚ¶þÔª·ÖÀàµÄÇéÐÎÏ£¬¿ÉÒÔ½«ËüÃÇÉèÖÃÔÚ 2×2 ¾ØÕóÖУ»ÔÚ¶àÀà·ÖÀàµÄÇéÐÎÏ£¬ËüÃDZ»À©Õ¹µ½¸ü´óµÄ¾ØÕó¡£
´Ó»ìÏý¾ØÕóµÃ³öµÄÒªº¦Ö¸±ê
׼ȷ¶È£º(TP TN) / (TP TN FP FN)
¾«¶È£ºTP / (TP FP)
ÕÙ»ØÂÊ£¨Ñ¸Ëٶȣ©£ºTP / (TP FN)
F1 ·ÖÊý£º2£¨¾«¶È *Õٻأ©/£¨×¼È·Õٻأ©
ºÎʱʹÓûìÏý¾ØÕó
ÓÈÆäÊǵ±ÄúÏëÒªÏêϸÏàʶ·ÖÀàЧ¹ûʱ£¬ÇëʹÓûìÏý¾ØÕó¡£Ëü½«ÎªÄúÌṩ¶ÔÆäÔÚÀàÖÐÌåÏÖµÄϸÁ£¶ÈÆÊÎö£¬¸üÏêϸµØ˵£¬ÊÇÄ£×ÓµÄÈõµã£¬ÀýÈç¸ßÎ󱨡£
À಻ƽºâÊý¾Ý¼¯£º×¼È·ÂÊ¡¢ÕÙ»ØÂÊºÍ F1 ·ÖÊýÊÇ¿ÉÒÔ´Ó»ìÏý¾ØÕóµ¼³öµÄһЩָ±ê¡£µ±Äú´¦ÀíÖÖ±ð²»Æ½ºâµÄÇéÐÎʱ£¬ÕâЩָ±ê»áÅÉÉÏÓó¡¡£ËüÃÇÕæʵµØÅú×¢ÎúÄ£×ÓÐÔÄÜÓë׼ȷÐԵĽÏÁ¿¡£
¶þÔªºÍ¶àÀà·ÖÀàÎÊÌ⣺»ìÏý¾ØÕóÔÚ¶þÔª·ÖÀàÎÊÌâÖÐÒ»Ñùƽ³£Ê¹Óá£Ö»¹ÜÔÆÔÆ£¬ËüÈÔÈ»¿ÉÒÔºÜÈÝÒ×µØÍƹ㵽Ԥ¼ÆÔÚ¶à¸öÖÖ±ðÉÏѵÁ·µÄÄ£×Ó£¬³ÉΪһÖֶ๦Ч¹¤¾ß¡£
Ã÷È· ROC ÇúÏß
ÎüÊÕÆ÷²Ù×÷ÌØÕ÷ (ROC) ÇúÏßÊÇÒ»¸öͼ±í£¬ËµÃ÷¶þÔª·ÖÀàÆ÷ϵͳÔÚÇø·ÖãÐֵת±äʱµÄÌåÏÖÔõÑù¡£Ó¦Í¨¹ý»æÖƲî±ðãÐÖµÉèÖÃϵÄÕæÑôÐÔÂÊÓë¼ÙÑôÐÔÂÊÀ´½¨Éè ROC ÇúÏß¡£
ÕæÑôÐÔÂÊ£¬ÕÙ»ØÂÊ£ºTP / (TP FN)
Îó±¨ÂÊ (FPR)£ºFP / (FP TN)
ROC ÇúÏßÏÂÃæ»ý (AUC-ROC) ͨ³£ÓÃ×÷»ã×Ü»³±§È¨ºâÄ£×ÓÇø·ÖÕýÀàºÍ¸ºÀàµÄÄÜÁ¦¡£ AUC Ϊ 1 ¶ÔÓ¦ÓÚÍêÉÆÄ£×Ó£» AUC Ϊ 0.5 ¶ÔÓ¦ÓÚûÓÐÅбðÁ¦µÄÄ£×Ó¡£
ºÎʱʹÓà ROC ÇúÏß
ROC ÇúÏßÔÚÒÔϳ¡¾°ÖÐÌØÊâÓÐÓãº
¶þÔª·ÖÀàÆ÷ÆÀ¹À ROC ÇúÏßÌض¨ÓÚ¶þÔª·ÖÀàʹÃü£¬Òò´Ë²»¿ÉÖ±½ÓÊÊÓÃÓÚ¶àÀàÎÊÌâ¡£
½ÏÁ¿¶à¸öÄ£×Ó AUC-ROC ÔÊÐí½ÏÁ¿²î±ðµÄÄ£×Óͨ¹ýµ¥¸ö±êÁ¿Öµ¾ÙÐÐÄ£×Ó£¬Óë¾öÒéãÐÖµµÄÑ¡ÔñÎ޹ء£
²î±ðµÄ¾öÒéãÐÖµ
µ±ÄúÏëÏàʶѸËÙ¶Èʱ£¬ROC ÇúÏß»áÓÐËù×ÊÖú-²î±ðãÐֵϵÄÌØÒìÐÔȨºâ¡£
»ìÏý¾ØÕóÓë ROC ÇúÏߣºÖ÷Òª²î±ð
1.Á£¶ÈÓë¸ÅÊö
»ìÏý¾ØÕó£ºËüÌṩÁËÄ£×ÓÐÔÄܵÄÖðÀàϸ·Ö£¬Õâ¹ØÓÚÕï¶ÏÌض¨ÀàµÄÄ£×ÓÎÊÌâºÜÊÇÓÐ×ÊÖú¡£
ROC ÇúÏߣºËü¸ø³öÁËÄ£×ÓÔÚËùÓпÉÄÜãÐÖµÉϵÄÅбðÄÜÁ¦µÄÕûÌåÇéÐΣ¬ÓÉ AUC ×ܽᡣ
2.²»Æ½ºâÊý¾Ý¼¯
»ìÏý¾ØÕó£ºÔÚÖÖ±ð²»Æ½ºâµÄÅä¾°Ï£¬»ìÏý¾ØÕóÖеľ«¶ÈºÍÕÙ»ØÂʵÈÖ¸±ê¸üÄÜ˵Ã÷ÎÊÌâ¡£
ROC ÇúÏߣºÔÚÊý¾Ý¼¯¸ß¶È²»Æ½ºâµÄÇéÐÎÏ£¬ROC ÇúÏßµÄÐÅÏ¢Á¿¿ÉÄܽÏÉÙ£¬ÓÉÓÚËüûÓÐÖ±½Ó˼Á¿ÖÖ±ðÂþÑÜ¡£
3.ÊÊÓÃÐÔ
»ìÏý¾ØÕ󣺲»µ«¿ÉÒÔ¾ÙÐжþÔª·ÖÀ࣬»¹¿ÉÒÔ¾ÙÐжàÀà·ÖÀà¡£
ROC ÇúÏߣºÖ÷ÒªÓÃÓÚ¶þÔª·ÖÀֻ࣬¹Ü¿ÉÒÔÀ©Õ¹µ½¶àÀà·ÖÀàÀàÎÊÌâ¿ÉÓÃ
4¡£ãÐÖµÒÀÀµÐÔ
»ìÏý¾ØÕó£ºÔÚÀο¿ãÐÖµÅÌËãÖ¸±ê¡£
ROC ÇúÏߣºËùÓпÉÄÜãÐÖµµÄÐÔÄÜ¿ÉÊÓ»¯¡£
ºÎʱʹÓÃÄĸö
ÊÇ·ñÐèҪʹÓûìÏý¾ØÕó»ò ROC ÇúÏßÈ¡¾öÓÚÏêϸÇéÐκÍÏêϸÐèÇó¡£
»ìÏý¾ØÕóºÍ ROC ÇúÏßÖ®¼äµÄÑ¡ÔñÈ¡¾öÓÚÄúµÄÏêϸÐèÇóºÍÎÊÌâµÄÅä¾°¡£
ÔÚÒÔÏÂÇéÐÎÏÂʹÓûìÏý¾ØÕó£º
ÄúÏëÏêϸÏàʶģ×ÓÔÚÿ¸öÀà±ðµÄÐÔÄÜ¡£
ÄúÕýÔÚ´¦ÀíÖÖ±ð²»Æ½ºâµÄÊý¾Ý£¬ÐèÒªµÄ²»µ«½öÊÇ׼ȷÐÔÖ¸±ê¡£
ÄúÕýÔÚÑо¿¶àÀà·ÖÀàµÄÄ£×ÓÆÀ¹À¡£
ÔÚÒÔÏÂÇéÐÎÏÂʹÓà ROC ÇúÏߣº
ÄúÏëÒª½ÏÁ¿²î±ðãÐֵϲî±ð¶þÔª·ÖÀàÆ÷µÄÐÔÄÜ¡£
Äú¶ÔÄ£×ÓÇø·ÖÀà±ðµÄÒ»Ñùƽ³£ÄÜÁ¦¸ÐÐËȤ¡£
ÄúÖ»ÐèÒªÒ»¸ö»ã×ÜÖ¸±ê – AUC – À´½ÏÁ¿Ä£×Ó.
½áÂÛ
»ìÏý¾ØÕóºÍ ROC ÇúÏß¹ØÓÚÈκÎÊý¾Ý¿Æѧ¼ÒµÄ¼¼ÇÉÀ´Ëµ¶¼ÊǺÜÊÇÓÐÓõÄÔö²¹¡£ÕâÁ½ÖÖ¹¤¾ßÌṩÁ˶ÔÄ£×ÓÐÔÄܵIJî±ð¿´·¨¡£ÀýÈ磬»ìÏý¾ØÕóÉÆÓÚÌṩÌض¨ÓÚÀàµÄÏêϸָ±ê£¬ÕâЩָ±ê¹ØÓÚ׼ȷÃ÷È·Ä£×ÓµÄÐÐΪÖÁ¹ØÖ÷Òª£¬ÓÈÆäÊǹØÓÚ²»Æ½ºâµÄÊý¾Ý¼¯¡£Ïà±È֮ϣ¬ROC ÇúÏßÔÚ²¶»ñËùÓÐãÐÖµÉϵĶþÔª·ÖÀàÆ÷µÄÕûÌåÇø·ÖÁ¦·½Ãæ×öµÃÏ൱ºÃ¡£ÕÆÎÕÿÖÖÊÖÒÕµÄÏêϸÓŵãºÍÈõµã£¬Äú½«Äܹ»Æ¾Ö¤ÄúÄ¿½ñµÄÌض¨Ä£×ÓÆÀ¹ÀÐèÇóÓ¦ÓÃ׼ȷµÄ¹¤¾ß£¬¹¹½¨¸ü׼ȷ¡¢¸ü¿É¿¿¡¢¸üÓÐÓõĻúеѧϰģ×Ó¡£
ÒÔÉϾÍÊÇ»ìÏý¾ØÕóÓë ROC ÇúÏߣººÎʱʹÓÃÄĸö¾ÙÐÐÄ£×ÓÆÀ¹ÀµÄÏêϸÄÚÈÝ£¬¸ü¶àÇë¹Ø×¢±¾ÍøÄÚÆäËüÏà¹ØÎÄÕ£¡