基于训练好的特征的无监督学习【人工智能吧】

ieBugH
9S
12

1.取一个训练好的神经网络，如AlexNet、VGGNet，其具有一定的旋转、平移、色彩等不变性，即已具备一定抽象和泛化能力
2.使用其某一层的特征激活量对所有未标签的数据进行聚类：在预训练好的某层之上接层级稀疏自编码器。最后一层仍接分类器。
3.在未来，若一个数据标注好了，则使用其对2得到的网络进行有监督微调一次；若未标注好，则仍按稀疏自编码器对网络进行微调一次。由于该数据按真实世界分布采集，这样相当于做batch为1的随机梯度下降，或者将得到的数据进行囤积，得到一个batch后再无监督/有监督微调。
这样做是为了综合利用大量不带标签的数据分布信息(流形结构)和少量带标签的样本学到的恒常性。
利用了大量无标签数据在抽象特征空间中的分布去预测未知样本的标签，使得one-shot learning成为可能。同时使得有监督训练使用的特征更接近于真实的统计特征而不仅仅是带标签样本的分类特征，使得其更接近生成模型而不是判别模型，避免过度泛化。

基于物体恒常性线索对物体的不同侧面所观测到的2d影像做metric learning
基于monoslam或visual odormitry或sfm
或双目kinect fusion 得到物体表面深度
所有N个2d投影在任意CNN 最末FC层的表征空间上产生N个点，其余弦中心为Nc。通过梯度下降使所有N个点趋近于Nc
这就是哺乳动物理解世界的方式

第二条里面，为什么接稀疏自编码器就可以聚类？是不是如果ANN里某一层足够稀疏，而且层次足够高，那它学到的表征就代表了某个类。
好像从人类视觉的角度讲，比较低的层级是分布式表征，IT之类的高层是稀疏表征

要想达到 one-shot learning 目的的话，一个关键是一楼的第三步必须做 generative modeling(GM), 不能是 discriminative modeling (DM)。这是因为 DM 目的是要找出标签在特征空间里的边界，所以几乎是一定会过度泛化，而且每当加入一个新标签时就必须全部重新调整过。例如如果你以 DM 训练一个系统辨识苹果和香蕉的话，它或许就会把一台红跑车毫无疑义的辨识为苹果。要做新标签的 one-shot learning 是不太可能。
GM 则能够找到特征集和标签之间的 joint probability，所以如上例你给一台红跑车时他会能够告诉你它不像苹果也不像香蕉，因此要做 one-shot learning 就可行多了。

虽然都是网络，但是深度学习代表了与人脑不同的计算道路，它们能做到的人做不到，如果他们都像人一样做到了，估计他们自己能做到的也做不到了。

基本一个预训练CNN，嫁接一层稀疏表示（用encoder），具体问题具体调整encoder，因为CNN大量训练已经能提出一般特征了。迁移学习+Encoder思路，应该是这个意思。

楼主的思路很好，等有时间了我去实验一下，看看效果怎样。我觉得把训练好的cnn前面几层拿来是有道理的，就是已经获得了特征，不用重新训练。然后后面用稀疏自编码对一批无标签物体进一步提取特征，分类，微调。这一步必须实验验证，感觉可行，但效果难说。过阶段我去实验一下。

ieBugH
9S
12

fine tune能纠正autoencoder错分的类吗？
autoencoder/聚类容易错分的类分为两种情况：
1.两个不同的物体但它们非常相似，被autoencoder/聚类分成了一类
如在没有教师信号前，大多数人会把葡萄与提子混淆
2.同一物体在不同视角、光照、姿态下显得大为不同，被错分成多类
我认为情况2可以被基于BP的fine tune纠正，而情况1则不能被基于BP的fine tune有效地纠正
我们可以通过提高记忆精度（警戒度、autoencoder平均还原误差的权重）使得大多数时候模型处于情况2而不是情况1，但这并不能从根本上解决情况1这一问题。

ieBugH
9S
12

另一种利用discriminative model的泛化能力来提升generative model的方法是GAN，DM尽量逼近已观测到的数据分布，若DM使用了卷积+池化+深度，则DM将会具备足够好的泛化能力，使用它来训练GM则会比使用已观测到的数据更好，而GM同时帮助DM提高警戒度，避免过度泛化。但是当GM足够好时，DM就容易出现草木皆兵、过于谨慎以致识别能力下降的不足，进而又会降低GM的能力。

我对imagenet模型（最典型的八层的那个）进行了比较，发现conv5层最适合楼主的聚类。
我选了几幅图像：

然后分析每一层的输出，发现前面几层太复杂，特征没有汇聚，无法作为聚类，直到conv4层特征比较集中了，也就是说无关特征减少，重点特征突出起来。conv5层更加突出，如下：
直立彩色猫的conv5输出（左）和黑白猫（右）的比较：

两者特征非常相似。
在看第三幅的半躺猫，背景完全不同，看它的conv5：

相似度也很高。并且最后预测结果，两个彩色猫的预测分类是同一类，高度吻合，说明conv5中的特征体现的是猫头部细节的特征，以及猫色特征，与背景、身体姿态、位置无关。
再看狗的conv5：

亮点所在map位置与猫相差很大。虽然耳朵、毛色、背景与第一个猫类似，但从conv5特征上看很大不同。
另外从第6层全连接开始以及无法分辨特征了。最后的预测分类彩色猫和黑白猫被判断为两个不同的物种（黑白猫判断为小仓鼠），说明它的全连接有很大缺陷。

这里有篇 one-shot learninging 的论文值得参考。
Matching Networks for One Shot Learning
https://arxiv.org/abs/1606.04080
Matching Nets (MN), a neural network which uses recent advances in attention and memory thatenable rapid learning...
Crucially, our model does not need any fine tuning on the classes it hasnever seen due to its non-parametric nature.

第二步里面稀疏这一条是必须的吗？

能否请较一个问题，我在做二分类的卷积神经网络。但是现在alexnet的仿真准确度比vgg的还要高一点。不是网络改进分类效果越好吗？我做的这个反而vgg比alexnet低。求教

日	一	二	三	四	五	六

基于训练好的特征的无监督学习

扫二维码下载贴吧客户端