余弦loss求相似度

既然我是用c++,用caffe,那这两个我要重点复习复习

 

 

 

深度学习方向:

    1.各个优化器的比较区别?(http://freeshare.free4inno.com/resource?id=16925&home=timerank)(多次出现)

    2.如何避免过拟合,l1l2正则哪个可以解决过拟合问题?你怎么理解的?(http://freeshare.free4inno.com/resource?id=16925&home=timerank)(多次出现)

    3.你知道哪些CNN的模型?从VGG到AlexNet GoogleNet 到高速公路网络 ResNet 以及Res的变形(DenseNet等)(http://freeshare.free4inno.com/resource?id=16862&home=timerank)

    4.讲讲ResNet吧?反向传播的过程是怎么传播的?(http://freeshare.free4inno.com/resource?id=16862&home=timerank)

    5.用过什么损失函数?(http://freeshare.free4inno.com/resource?id=16862&home=timerank)

    6.初始学习率怎么设?(http://freeshare.free4inno.com/resource?id=16893)

    7.凸优化了解吗? 牛顿法、SGD、最小二乘法,各自的优势。(http://freeshare.free4inno.com/resource?id=16893)

    8.kl散度和交叉熵的关系(http://freeshare.free4inno.com/resource?id=16078&home=timerank)

    9.batch-normalization技术与dropout的区别和联系(http://freeshare.free4inno.com/resource?id=16078&home=timerank)

    10.sigmoid、tanh、relu,relu 的改进、maxout

    11.梯度消失、爆炸的原因,梯度消失如何解决,梯度爆炸如何解决?

    12.反卷积、group convolution、dilated convolution?

    13.为什么梯度反方向是函数值下降最快的方向?   https://www.zhihu.com/question/59683332

    14.fc全连接层、卷积、pooling、激活函数的作用是什么?

    15.https://www.zhihu.com/question/41233373这个也好好看看

    16.https://zhuanlan.zhihu.com/p/33020995 重点关注

    17.卷积反向传播

    18.深度学习为什么在图像领域效果这么好

    19.我用了focal loss就要去看retinanet

    20.卷积的时间复杂度

    21.dropout的原理,为什么能解决过拟合(这个在几个知乎的连接里面还有提到,去看看,就比如雄风的答案和那个回答王乃岩的)

    22.欠拟合怎么解决

    23.https://zhuanlan.zhihu.com/p/29965072

    24.列举常见的一些范数及其应用场景,如L0,L1,L2,L∞,Frobenius范数

    25.KL散度在信息论中度量的是那个直观量

    26.Jacobian,Hessian矩阵及其在深度学习中的重要性

    27.https://zhuanlan.zhihu.com/p/29936999

    28.https://zhuanlan.zhihu.com/p/25005808

    29.https://zhuanlan.zhihu.com/p/28871960

    30.https://www.zhihu.com/question/54308150    mileistone    整个都可以看

    31.dropout的原理,batch normalization的原理,maxout激活函数的原理  https://zhuanlan.zhihu.com/p/35542792把这个链接好好看看再总结

    32.用代码写出Logistic regression的损失函数,并提问了这个损失函数如何推导出的。

    33.也算是算法题:编写函数计算softmax中的cross entropy loss

    34.https://zhuanlan.zhihu.com/p/30675529

    35.为什么 adagrad 适合处理稀疏梯度?

    36.DNN 的初始化方法有哪些? 为什么要做初始化? kaiming 初始化方法的过程是怎样的?

    37.sigmoid 函数的应用有哪些,为什么?

    38.有关稀疏的东西可以准备一下,为什么稀疏的就好

    39.为什么loss负样本多会主导loss的计算,并且为什么那样效果差?(非常重要)

              40.https://www.zhihu.com/question/59683332 雄风的回答好好去看看

     41.一些调参的技巧可以在花书上找到

    42.花书上有卷积的动机,可以看看

    43.Random Forest, GBDT, Xgboost,为什么xgb比gbdt快

    44.SVM和LR的区别,SVM和LR哪个对噪声更加敏感

    45.CNN每个卷积核的梯度怎么反向传播

    46.sigmoid函数的倒数范围 ------ 0到1/4

算法题:  

    1.topk

    2.LeetCode295

    3.两个string表示的数乘法

    4.给你坐标上的很多点,如何计算任意两点的最大斜率?

    5.快排

    6.c++写vector删除所有元素

    7.手写nms和iou

    8.找中位数

    9.有很多重复数字的二分查找

开放题:

    1.每天都有10w个2分钟左右的小视频,设计一个算法来检测今天的小视频是不是和之前存在的小视频相似

智力题:

    1.一个任意三角形切割几刀,用切割之后的碎片拼成一个矩形,为了完成这个目的要切几刀?

 

综合性:1.矩阵求导