前言
12月23日，微信朋友圈评论可以发表情包的消息，让沉寂已久的朋友圈硝烟四起！只要你的微信ios端更新至7.0.9版本！就可一键开启快乐斗图模式。然而不少安卓用户还无法使用这个功能，只有安卓最新版（7.0.10测试版）才支持该功能。安卓用户纷纷表示“用户退出群聊”
12月25日上午，网友们陆续发现表情包评论功能已被微信暂停，只剩下默认的表情可以使用
微信官方对此回应表示：此前，我们对朋友圈评论发送表情包功能进行灰度测试，部分用户更新7.0.9版本后可使用。目前，该功能已暂停！
手慢一步的吃瓜群众表示：我还没开始，你就结束了？
针对此次事件，小会君决定蹭下热度！对，你没听错，只是为了蹭热度！给大家安利两篇利用深度学习制作表情包的论文！妥妥地AI科技造福人类啊！
1. 国外的笑点你能get吗？
代码地址：https://github.com/alpv95/MemeProject论文地址：https://arxiv.org/pdf/1806.04510v1.pdf
斯坦福大学的两个学生Abel L. Peirson V和E. Meltem Tolunayl早在2018年6月份就按捺不住寂寞，利用深度神经网络制作了表情包生成器，并发表了预印版文章。该研究的主要工作是根据图片内容生成有关联的说明。
首先，让我们来看看这项研究有什么意义？？？
两位作者表示虽然目前表情包只是利用文化（尤其是亚文化）主题来散播幽默的媒介，但是，表情包同样可以被用来宣传政治理想, 传播共鸣，为少数派发声。表情包是这一代人自己的交流方式，也真实的塑造了这一代人。AI 如今发展迅猛，急需新的挑战。表情包的高度相关性还需要强理解能力，故他们选择该项目（一本正经）。
除了给张图片就可以自动给图片配相应的文字之外，这个系统还可以被应用于自定义标签，让表情包的整理更加方便。研究人员先使用预训练 的Inception-v3 网络生成一个图片嵌入，然后将它传递到基于 attention 的深层 LSTM 模型中来生成最终注释，该做法灵感来自于大名鼎鼎的 SHow&Tell 模型，他们还稍微修改了一下集束搜索算法来保证配字的多样性。
而最后的定量评估是由人类测试员完成。人类测试员需要去辨别表情包是不是生成的，或者评估一下表情包的欢乐程度，毕竟表情包的灵魂就是有趣。
这个表情包生成器的基本的框架是一个编码器-解码器图说生成系统，先进行CNN图像嵌入，然后用一个LSTM RNN进行文字生成。
其中，编码器的目标是要给出一个有意义的状态，让解码器开始进行文字生成。他们使用在ImageNet上预训练的Inception-v3做为编码器模型，并将最后一层隐藏CNN作为编码器的输出。当表情包模板进入Inception模型后，输出是一组长度固定的向量，也即图像嵌入，能够反映图像的内容。这个图像嵌入之后会被投射到词嵌入空间里，方便后续文字生成。
他们一共尝试了3种不同的编码器模型，最简单的一种只输入图像；另一种输入图像和标签；最后一种的输入也是图像和标签，但使用了注意力机制。至于解码器，都是一个单向LSTM。这样搭配组合成了3种编码器-解码器方案。下图展示了第二种方案的模型。
数据集是这个表情包生成器的精髓。他们的数据集由大约40万张带标签和图说的图片组成。其中有2600个独特的图像-标签对，是他们写Python脚本从Memegenerator.net中获取的。一张图片对应一个标签，标签是对这幅图的简单描述，而每张图都与很多不同的图说（大约160个）相关联。在正式训练前，作者还对数据进行了预处理，注释中的每个字都被缩小以匹配 GloVe 格式，标点符号也被处理了一通。
从语法、搞笑程度和可区分性（分辨是人制作的还是深度学习生成的）几个维度判断，深度学习表情包生成器取得了不错的效果。尤其是搞笑程度，因为这一点是制作表情包的初衷，普通表情包的搞笑程度7分（满分10分），深度学习生成的表情包最高达到了6.8。
两位作者指出，幽默是很难评判的事情，本身就是一个很深的研究领域。他们的这项工作十分基础，接下来如果能构建出能够自动断句的表情包生成器（就是自动判断图片上方和下方两行文字从哪里断开），将会是一个很大的进步。（因为使用的都是网络热图，因此数据含有性别歧视和不文明的成分。）此外，探索视觉注意力机制在表情包生成中的作用，也是一个不错的研究方向。
最后，让我们来欣赏一下生成的表情吧：
2. 熊猫头才是王道！
论文地址：https://arxiv.org/pdf/1908.05138.pdfdemo地址：https://drive.google.com/file/d/1ewCLGds681LNtRDdwxPkfApWaAmjF03x/view
我大天朝在斗图这个领域，怎么能认输？今年8月，来自中国科学院大学、腾讯实验室、和北大的陈逸夫、王宗胜、吴博文等同学，也不负众望的作出了一个表情包生成器模型：输入文字，就能生成对应的表情包。目前只有文章的预印版本和作为web端的demo，源代码还没有放出来。
作者基于当前文本到图像的模型研究，提出了一个带有注意力机模型的GAN架构，从给定文本语义的模式中生成一个表情包的熊猫脸
。
数据集则同样是从网上收集的，共有56710种不同类型的表情包，它们通过OCR将文字标题自动提取出来。之后，对这些文字和人脸表情包进行了分类。
最终的生成器以网页的形式进行展示：
从作者生成的图片看来，效果是相当的不错！熊猫头应用的出神入化。
结语
专注表情包生成的论文还是比较稀有的。
