Updates dl/layers/core.md

shunliz · shunliz · commit e18ce2719cfa · 2017-12-17T10:06:55.000+08:00
Auto commit by GitBook Editor
diff --git a/dl/layers/core.md b/dl/layers/core.md
@@ -48,5 +48,7 @@ Lambda
 
 ---
 
+softmax&#23618;
 
+---
 
diff --git a/dl/reinforcement/policy-gridient.md b/dl/reinforcement/policy-gridient.md
@@ -6,11 +6,11 @@
 
 Policy gradient &#26159; RL &#20013;&#21478;&#22806;&#19968;&#20010;&#22823;&#23478;&#26063;, &#20182;&#19981;&#20687; Value-based &#26041;&#27861; \(Q learning, Sarsa\), &#20294;&#20182;&#20063;&#35201;&#25509;&#21463;&#29615;&#22659;&#20449;&#24687; \(observation\), &#19981;&#21516;&#30340;&#26159;&#20182;&#35201;&#36755;&#20986;&#19981;&#26159; action &#30340; value, &#32780;&#26159;&#20855;&#20307;&#30340;&#37027;&#19968;&#20010; action, &#36825;&#26679; policy gradient &#23601;&#36339;&#36807;&#20102; value &#36825;&#20010;&#38454;&#27573;. &#32780;&#19988;&#20010;&#20154;&#35748;&#20026; Policy gradient &#26368;&#22823;&#30340;&#19968;&#20010;&#20248;&#21183;&#26159;: &#36755;&#20986;&#30340;&#36825;&#20010; action &#21487;&#20197;&#26159;&#19968;&#20010;&#36830;&#32493;&#30340;&#20540;, &#20043;&#21069;&#25105;&#20204;&#35828;&#21040;&#30340; value-based &#26041;&#27861;&#36755;&#20986;&#30340;&#37117;&#26159;&#19981;&#36830;&#32493;&#30340;&#20540;, &#28982;&#21518;&#20877;&#36873;&#25321;&#20540;&#26368;&#22823;&#30340; action. &#32780; policy gradient &#21487;&#20197;&#22312;&#19968;&#20010;&#36830;&#32493;&#20998;&#24067;&#19978;&#36873;&#21462; action.
 
-
-
 ## &#31639;&#27861; {#&#31639;&#27861;}
 
 &#25105;&#20204;&#20171;&#32461;&#30340; policy gradient &#30340;&#31532;&#19968;&#20010;&#31639;&#27861;&#26159;&#19968;&#31181;&#22522;&#20110;**&#25972;&#26465;&#22238;&#21512;&#25968;&#25454;**&#30340;&#26356;&#26032;, &#20063;&#21483;**REINFORCE**&#26041;&#27861;. &#36825;&#31181;&#26041;&#27861;&#26159; policy gradient &#30340;&#26368;&#22522;&#26412;&#26041;&#27861;, &#26377;&#20102;&#36825;&#20010;&#30340;&#22522;&#30784;, &#25105;&#20204;&#20877;&#26469;&#20570;&#26356;&#39640;&#32423;&#30340;.
 
 ![](/assets/reinforcement-pg1.png)
 
+
+

Original file line number	Diff line number	Diff line change
`@@ -48,5 +48,7 @@ Lambda`
`48`	`48`
`49`	`49`	`---`
`50`	`50`
	`51`	`+softmax层`
`51`	`52`
	`53`	`+---`
`52`	`54`
-Original file line number
+Diff line change
 Policy gradient 是 RL 中另外一个大家族, 他不像 Value-based 方法 \(Q learning, Sarsa\), 但他也要接受环境信息 \(observation\), 不同的是他要输出不是 action 的 value, 而是具体的那一个 action, 这样 policy gradient 就跳过了 value 这个阶段. 而且个人认为 Policy gradient 最大的一个优势是: 输出的这个 action 可以是一个连续的值, 之前我们说到的 value-based 方法输出的都是不连续的值, 然后再选择值最大的 action. 而 policy gradient 可以在一个连续分布上选取 action.
+-
+-
 ## 算法 {#算法}
 我们介绍的 policy gradient 的第一个算法是一种基于**整条回合数据**的更新, 也叫**REINFORCE**方法. 这种方法是 policy gradient 的最基本方法, 有了这个的基础, 我们再来做更高级的.
 ![](/assets/reinforcement-pg1.png)
++
++