時間差分学習

機械学習および データマイニング
問題 分類 クラスタリング 回帰 異常検知 相関ルール（英語版） 強化学習 構造化予測（英語版） 特徴量設計（英語版） 表現学習（英語版） オンライン学習（英語版） 半教師あり学習（英語版） 教師なし学習 ランキング学習（英語版） 文法獲得（英語版）
教師あり学習（分類 • 回帰） 決定木（英語版） アンサンブル （バギング、ブースティング、 ランダムフォレスト） k-NN 線形回帰 単純ベイズ ニューラルネットワーク ロジスティック回帰 パーセプトロン 関連ベクトルマシン (RVM)（英語版） サポートベクトルマシン (SVM)
クラスタリング BIRCH（英語版） 階層的（英語版） k平均法 期待値最大化法 (EM) DBSCAN OPTICS（英語版） 平均値シフト（英語版）
次元削減 因子分析 CCA ICA LDA（英語版） NMF（英語版） PCA t-SNE
構造化予測（英語版） グラフィカルモデル ベイジアンネットワーク CRF HMM
異常検知 k-NN 局所外れ値因子法
ニューラルネットワーク オートエンコーダ ディープラーニング DeepDream 多層パーセプトロン RNN LSTM GRU 制約ボルツマンマシン（英語版） SOM CNN U-Net
強化学習 TD学習 Q学習 SARSA
理論 偏りと分散のトレードオフ 計算論的学習理論（英語版） 経験損失最小化（英語版） オッカム学習（英語版） PAC学習 統計的学習（英語版） VC理論（英語版）
学会・論文誌等 NIPS（英語版） ICML（英語版） ML（英語版） JMLR（英語版） ArXiv:cs.LG
全般 統計学および機械学習の評価指標
Category:機械学習 Category:データマイニング
表 話 編 歴

時間差分学習（じかんさぶんがくしゅう、英: temporal difference learning）やTD学習とは、現在の状態価値関数の推定からブートストラップで学習するモデルフリーの強化学習の手法。モンテカルロ法のように環境からサンプルを取り、動的計画法のように現在の推定に基づいて状態価値関数を更新する。^[1]

状態価値関数 ${\displaystyle V(s)}$ は、現在および将来に得られる報酬（reward）になるように学習させる。ただし、将来分の報酬は、経済学でも使われる割引率（discount rate）をかけた物を使用する。これを割引収益（discounted return）と呼ぶ。

考え方自体は少なくとも1959年の時点でArthur Samuelがチェッカーをプレーする人工知能のプログラムで使用しているが、temporal difference learningという呼び方は1988年にリチャード・サットンが命名している。^[2]

アルゴリズム

状態 ${\displaystyle S_{t}}$ のエージェントが行動 ${\displaystyle A_{t}}$ を選び、報酬 ${\displaystyle R_{t+1}}$ を得て、状態が ${\displaystyle S_{t+1}}$ に遷移したとする。このとき状態価値関数 ${\displaystyle V(S_{t})}$ を次の式で更新する。

${\displaystyle V(S_{t})\leftarrow (1-\alpha )V(S_{t})+\alpha \left[R_{t+1}+\gamma V(S_{t+1})\right]}$

ここで ${\displaystyle \alpha }$ は学習率といい、${\displaystyle 0<\alpha <1}$ とする。${\displaystyle \gamma }$ は割引率といい、${\displaystyle 0<\gamma <1}$ な定数である。

行動 ${\displaystyle A_{t}}$ は、状態価値関数を使用して選択する。

更新式は

${\displaystyle V(S_{t})\leftarrow V(S_{t})+\alpha \left[R_{t+1}+\gamma V(S_{t+1})-V(S_{t})\right]}$

とも書けるが、${\displaystyle R_{t+1}+\gamma V(S_{t+1})-V(S_{t})}$ をTD誤差（TD error）と呼ぶ。^[3]

参照

関連項目

• 強化学習
• Q学習
• SARSA法