IV:
<0.03:无预测能力
0.03-0.09:弱
0.1-0.29:中等
0.3-0.49:高

0.5:极高
但是IV不是越高越好的,当IV>1.2时候,可能分箱不好或者存在因果倒置关系

from numpy import log
from pandas import DataFrame as df
import pandas as pd
 
def createDateset():
  dataSet=[
      [0, 1, 0],
      [0, 0, 0],
      [0, 1, 0],
      [1, 0, 1],
      [1, 0, 0],
      [1, 1, 1],
      [0, 1, 1],
      [1, 1, 1],
      [1, 0, 1],
      [1, 0, 1]]
  return dataSet
 
def calcWOE(dataset,col,targe):
  subdata=df(dataset.groupby(col)[col].count())
  suby=df(dataset.groupby(col)[targe].sum())
  data=df(pd.merge(subdata,suby,how="left",left_index=True,right_index=True))
  b_total=data[targe].sum()
  total=data[col].sum()
  g_total=total-b_total
  data["bad"]=data.apply(lambda x:round(x[targe]/b_total,3),axis=1)
  data["good"]=data.apply(lambda x:round((x[col]-x[targe])/g_total,3),axis=1)
  data["WOE"]=data.apply(lambda x:log(x.bad/x.good),axis=1)
  return data.loc[:,["bad","good","WOE"]]
 
 
def calcIV(dataset):
  dataset["IV"]=dataset.apply(lambda x:(x.bad-x.good)*x.WOE,axis=1)
  IV=sum(dataset["IV"])
  return IV
 
 
if __name__ == '__main__':
  data=createDateset()
  print(data)
  data=df(data,columns=["x1","x2","y"])
  print(data)
  data_WOE=calcWOE(data,"x2","y")
  print(data_WOE)
  data_IV=calcIV(data_WOE)
  print(data_IV)

IV的极端情况以及处理方式

IV依赖WOE,并且IV是一个很好的衡量自变量对目标变量影响程度的指标。但是,使用过程中应该注意一个问题:变量的任何分组中,不应该出现响应数=0或非响应数=0的情况。

原因很简单,当变量一个分组中,响应数=0时,

此时对应的IVi为+∞。

而当变量一个分组中,没有响应的数量=0时,

此时的IVi为+∞。

IVi无论等于负无穷还是正无穷,都是没有意义的。

由上述问题我们可以看到,使用IV其实有一个缺点,就是不能自动处理变量的分组中出现响应比例为0或100%的情况。那么,遇到响应比例为0或者100%的情况,我们应该怎么做呢?建议如下:

(1)如果可能,直接把这个分组做成一个规则,作为模型的前置条件或补充条件;

(2)重新对变量进行离散化或分组,使每个分组的响应比例都不为0且不为100%,尤其是当一个分组个体数很小时(比如小于100个),强烈建议这样做,因为本身把一个分组个体数弄得很小就不是太合理。

(3)如果上面两种方法都无法使用,建议人工把该分组的响应数和非响应的数量进行一定的调整。如果响应数原本为0,可以人工调整响应数为1,如果非响应数原本为0,可以人工调整非响应数为1.

“IV基础概念是什么”的内容就介绍到这里了,感谢大家的阅读。如果想了解更多行业相关的知识可以关注本站网站,小编将为大家输出更多高质量的实用文章!