目录

Recap

循环神经网络层 人工智能 第1张

SRE实战 互联网时代守护先锋,助力企业售后服务体系运筹帷幄!一键直达领取阿里云限量特价优惠。

Sentiment Analysis

循环神经网络层 人工智能 第2张

Proposal

循环神经网络层 人工智能 第3张

  • Long sentence
    • 100 + words
    • too much parameters[\(w_N,b_N\)]
  • No context information
    • consistent tensor

S1.Weight sharing

  • 类似于卷积的卷积核,卷积视野,权重分享

循环神经网络层 人工智能 第4张

Naive version

循环神经网络层 人工智能 第5张

Weight share

  • 权重分享

循环神经网络层 人工智能 第6张

S2.Consistent memory

  • 需要一个东西存储语境,也就是每个单词的语境信息

循环神经网络层 人工智能 第7张

  • 不断地对语境信息进行堆叠得到h5,直接使用h5作为判断标准

循环神经网络层 人工智能 第8张

Unfolded model

循环神经网络层 人工智能 第9张

  • 在时间轴上折叠,不断地更新h

循环神经网络层 人工智能 第10张

Formulation

  • 通过激活函数tanh不断地叠加上个时间戳的信息

循环神经网络层 人工智能 第11张

Overall Diagram

  • 全览分解图

循环神经网络层 人工智能 第12张

One more thing

循环神经网络层 人工智能 第13张

How to Train?

循环神经网络层 人工智能 第14张

扫码关注我们
微信号:SRE实战
拒绝背锅 运筹帷幄