scikit-learn 中的 class_weight 参数是如何工作的？

首先，仅凭回忆可能不好。您可以通过将所有内容归类为正类来简单地实现 100% 的召回率。我通常建议使用 AUC 来选择参数，然后找到您感兴趣的操作点的阈值（比如给定的精度水平）。

关于 class_weight 的工作原理：它用 class_weight[i] 而不是 1 来惩罚 class[i] 样本中的错误。因此，较高的类权重意味着您希望更加强调一个类。从您所说的看来，0 类的频率似乎是 1 类的 19 倍。因此，您应该相对于 0 类增加 1 类的 class_weight，例如 {0:.1, 1:.9}。如果 class_weight 不和为 1，它基本上会改变正则化参数。

关于 class_weight="auto" 的工作原理，您可以查看 this discussion。在开发版本中，您可以使用 class_weight="balanced"，这更容易理解：它基本上意味着复制较小的类，直到您拥有与较大类中的样本一样多的样本，但是以隐含的方式。

---

第一个答案有助于理解它是如何工作的。但我想了解我应该如何在实践中使用它。

使用不平衡学习

对于不平衡的数据，imbalanced-learn 中的方法比使用类权重参数产生更好的结果，尤其是在样本外。

概括

对于没有噪声的中度不平衡数据，应用类权重没有太大区别

对于有噪声和严重不平衡的中度不平衡数据，最好应用类权重

param class_weight="balanced" 在您不想手动优化的情况下工作得很好

使用 class_weight="balanced" 您可以捕获更多真实事件（更高的 TRUE 召回率），但您也更有可能收到错误警报（较低的 TRUE 精度），因此，由于所有误报，总 TRUE 百分比可能高于实际值如果误报是一个问题，AUC 可能会在此处误导您

因此，由于所有误报，总 % TRUE 可能高于实际值

如果误报是一个问题，AUC 可能会在此处误导您

无需将决策阈值更改为不平衡百分比，即使对于严重的不平衡，也可以保持 0.5（或取决于您的需要）

注意

使用 RF 或 GBM 时，结果可能会有所不同。 sklearn does not have class_weight="balanced" 用于 GBM，但 lightgbm 有 LGBMClassifier(is_unbalance=False)

代码

# scikit-learn==0.21.3
from sklearn import datasets
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import roc_auc_score, classification_report
import numpy as np
import pandas as pd

# case: moderate imbalance
X, y = datasets.make_classification(n_samples=50*15, n_features=5, n_informative=2, n_redundant=0, random_state=1, weights=[0.8]) #,flip_y=0.1,class_sep=0.5)
np.mean(y) # 0.2

LogisticRegression(C=1e9).fit(X,y).predict(X).mean() # 0.184
(LogisticRegression(C=1e9).fit(X,y).predict_proba(X)[:,1]>0.5).mean() # 0.184 => same as first
LogisticRegression(C=1e9,class_weight={0:0.5,1:0.5}).fit(X,y).predict(X).mean() # 0.184 => same as first
LogisticRegression(C=1e9,class_weight={0:2,1:8}).fit(X,y).predict(X).mean() # 0.296 => seems to make things worse?
LogisticRegression(C=1e9,class_weight="balanced").fit(X,y).predict(X).mean() # 0.292 => seems to make things worse?

roc_auc_score(y,LogisticRegression(C=1e9).fit(X,y).predict(X)) # 0.83
roc_auc_score(y,LogisticRegression(C=1e9,class_weight={0:2,1:8}).fit(X,y).predict(X)) # 0.86 => about the same
roc_auc_score(y,LogisticRegression(C=1e9,class_weight="balanced").fit(X,y).predict(X)) # 0.86 => about the same

# case: strong imbalance
X, y = datasets.make_classification(n_samples=50*15, n_features=5, n_informative=2, n_redundant=0, random_state=1, weights=[0.95])
np.mean(y) # 0.06

LogisticRegression(C=1e9).fit(X,y).predict(X).mean() # 0.02
(LogisticRegression(C=1e9).fit(X,y).predict_proba(X)[:,1]>0.5).mean() # 0.02 => same as first
LogisticRegression(C=1e9,class_weight={0:0.5,1:0.5}).fit(X,y).predict(X).mean() # 0.02 => same as first
LogisticRegression(C=1e9,class_weight={0:1,1:20}).fit(X,y).predict(X).mean() # 0.25 => huh??
LogisticRegression(C=1e9,class_weight="balanced").fit(X,y).predict(X).mean() # 0.22 => huh??
(LogisticRegression(C=1e9,class_weight="balanced").fit(X,y).predict_proba(X)[:,1]>0.5).mean() # same as last

roc_auc_score(y,LogisticRegression(C=1e9).fit(X,y).predict(X)) # 0.64
roc_auc_score(y,LogisticRegression(C=1e9,class_weight={0:1,1:20}).fit(X,y).predict(X)) # 0.84 => much better
roc_auc_score(y,LogisticRegression(C=1e9,class_weight="balanced").fit(X,y).predict(X)) # 0.85 => similar to manual
roc_auc_score(y,(LogisticRegression(C=1e9,class_weight="balanced").fit(X,y).predict_proba(X)[:,1]>0.5).astype(int)) # same as last

print(classification_report(y,LogisticRegression(C=1e9).fit(X,y).predict(X)))
pd.crosstab(y,LogisticRegression(C=1e9).fit(X,y).predict(X),margins=True)
pd.crosstab(y,LogisticRegression(C=1e9).fit(X,y).predict(X),margins=True,normalize='index') # few prediced TRUE with only 28% TRUE recall and 86% TRUE precision so 6%*28%~=2%

print(classification_report(y,LogisticRegression(C=1e9,class_weight="balanced").fit(X,y).predict(X)))
pd.crosstab(y,LogisticRegression(C=1e9,class_weight="balanced").fit(X,y).predict(X),margins=True)
pd.crosstab(y,LogisticRegression(C=1e9,class_weight="balanced").fit(X,y).predict(X),margins=True,normalize='index') # 88% TRUE recall but also lot of false positives with only 23% TRUE precision, making total predicted % TRUE > actual % TRUE

---