LSTM (Long short-term memory) は、長期記憶を可能にした再帰型ニューラルネットワークの一つである。通常の RNN は勾配を逆伝播することによって学習を行うが、状態 t が長くなると、その勾配が消失したりあるいは発散したりすることが指摘された。そのため、通常の RNN は、長期記憶に依存する系列データの学習が正しく行われないことがわかってきた。この問題を解決するためのアルゴリズムの一つとして、LSTM が提唱された。LSTM は、セルの内部（LSTM ブロック）において、情報を長期的に保存するための変数が設けられている。そして、この変数に対して、古くなった情報を削除したり、新しい情報を足したりして、適当な長期記憶を可能にしている。LSTM は、現在、翻訳、音声認識、キャプション生成などに応用されている。

LSTM ブロックの構造

通常の RNN では、データは入力層、中間層、出力層の順で伝播され、結果が出力される。LSTM もこれと同じ仕組みで、データは入力層、中間層、出力層の順で伝播される。しかし、RNN の中間層はニューラルネットワークと同様に活性化関数が 1 つだけであるのに対して、LSTM の中間層には複数の活性化関数が用意され、複雑な演算が行われている。LSTM の中間層における演算部分をセルと呼んだり、LSTM ブロックと呼んだりする。

長期記憶

LSTM ではセルの長期記憶を保つための変数 C_t が用意されている。長期記憶 C_t に対して、古くなった記憶を削除したり、新しい情報を新規追加したりすることで、適当な長期記憶を可能にしている。具体的には、数のように、一つの前の状態から伝達された長期記憶 C_t-1 に対して、0 から 1 での割合をかけて、古い記憶を何割か忘れさせる。次に、入力および現在の状態から得られた新しい情報を長期記憶に追加する。次に、この状態で得られた長期記憶を次の状態に伝達する。

忘却ゲート

LSTM の忘却ゲートでは、長期記憶から情報を忘却するための制御を行っている。入力 x_t と一つ前のセルの出力値 h_t-1 を受け取り、記憶率 f_t を計算する。f_t の各要素はシグモイド関数によって計算されるため、0 以上かつ 1 以下の値をとる。

f_t は、一つ前のセルの長期記憶 C_t にかかるため、C_t をどのぐらい記憶しつづけるのかを制御する係数とみなすことができる。 C_t のある要素 C_j にかかる f_j が 1.0 ならば、その要素の記憶を保ったままで処理を続けるが、f_j = 0.2 ならば、その要素の情報を 80% 忘れてから処理を続けることになる。

入力ゲート

次に、通常の RNN と同様に、入力 x_t と一つ前のセルの出力値 h_t-1 を受け取り、現在のセルの状態 \( \tilde{\mathbf{C}}_{t} \) を計算する。この値が、長期記憶に保存する候補となる。

\( \tilde{\mathbf{C}}_{t} \) の情報すべてを長期記憶に留める必要はなく、必要な情報だけを長期記憶に留めるた方が効率よい。そこで、\( \tilde{\mathbf{C}}_{t} \) の情報に記憶率 i_t をかける計算を行えば良い。その記憶率 i_t は、入力 x_t と一つ前のセルの出力値 h_t-1 から計算する。i_t はシグモイド関数によって計算されるため、その各要素は 0 以上かつ 1 以下の値をとる。

長期記憶の更新

一つ前のセルの長期記憶 C_t-1 に対して、適宜に記憶を忘却してから、そこに、新しい入力に基づいて計算される情報を足して、最新の長期記憶 C_t とする。なお、丸中点 ⊙ は、同じサイズの行列の成分同士の積（アダマール積）を表す。

出力ゲート

状態 t のセルにおける出力値は、入力情報 x_t と h_t-1 を基にして、現在の長期記憶に保存されている情報を加えて、値を出力する。