手动计算支持向量机的决策函数
问题内容:
我正在尝试使用python库SKLearn手动(与使用内置方法相对)计算SVC分类器的Decision_function。
我尝试了几种方法,但是,只有在 不 缩放数据时,我才能获得与之匹配的手动计算。
z
是一个测试数据(已缩放),我认为其他变量可以说明一切(此外,如果从代码中看不出来,我正在使用rbf内核)。
这是我尝试过的方法:
1循环方式:
dec_func = 0
for j in range(np.shape(sup_vecs)[0]):
norm2 = np.linalg.norm(sup_vecs[j, :] - z)**2
dec_func = dec_func + dual_coefs[0, j] * np.exp(-gamma*norm2)
dec_func += intercept
2向量化方法
diff = sup_vecs - z
norm2 = np.sum(np.sqrt(diff*diff), 1)**2
dec_func = dual_coefs.dot(np.exp(-gamma_params*norm2)) + intercept
但是,这些值均未返回与相同的值decision_function
。我认为这可能与重新调整我的价值观有关,或者更有可能是我一直在寻找的愚蠢事物!
任何帮助,将不胜感激。
问题答案:
因此,在进行更多挖掘和抓挠之后,我已经弄清楚了。
正如我上面提到的,z
是经过缩放的测试基准。为了缩放它,我必须从preprocessing.StandardScaler()对象中提取.mean_
和.std_
属性(当然是在对我的训练数据调用.fit()之后)。
然后,我将此缩放比例z
用作我的手动计算和内置函数的输入。但是,内置函数是管道的一部分,该管道已经将StandardScaler作为其在管道中的第一个“管道”,结果z
被扩展了两倍!因此,当我从管道中删除缩放比例时,手册答案将“匹配”内置函数的答案。
顺便说一句,我说引号是“ matched”,因为我总是不得不翻转手动计算的符号以匹配内置版本。目前我不知道为什么会这样。
最后,我误解了管道的工作方式。
对于那些感兴趣的人,这是我的手动方法的最终版本:
diff = sup_vecs - z_scaled
# Looping Method
dec_func_loop = 0
for j in range(np.shape(sup_vecs)[0]):
norm2 = np.linalg.norm(diff[j,:])
dec_func_loop = dec_func_loop + dual_coefs[j] * np.exp(-gamma*(norm2**2))
dec_func_loop = -1 * (dec_func_loop - intercept)
# Vectorized method
norm2 = np.array([np.linalg.norm(diff[n, :]) for n in range(np.shape(sup_vecs)[0])])
dec_func_vec = -1 * (dual_coefs.dot(np.exp(-gamma*(norm2**2))) - intercept)
附录
对于那些对多类SVC实施手动方法感兴趣的人,以下链接会有所帮助:https
:
//stackoverflow.com/a/27752709/1182556