LSTM では、ある状態の中間層の出力値を次の状態に順伝播するネットワークである。これに対して、Bidirectional LSTM は、中間層の出力を、未来への順伝播と過去への逆伝播の両方向で伝播するネットワークである。BLSTM は、BRNN に比べ、長期記憶を得意としている。ただし、応用面では、BRNN と同様に、予測のために、過去と未来の両方の情報を入力する必要があるため、その応用が限定される。

BLSTM のアーキテクチャの基本構造は BRNN と同じである。異なる部分として、BLSTM の中間層にあたる部分は LSTM のセルで構成されている。