Preface 这是一篇令人感到肝疼的文章，在ddl边缘疯狂徘徊的我通宵了两天肝出来的final project. 原paper是英文写的，简单翻译一下放到blog上，姑且算是最优控制论和HJB方程的入门. 感谢石老师提供的这个topic, 不然我当时就肝不完final project了. 然而我还是没学明白PDE，一学期下来就会个数值解hhh （丢人 Abstract 最优控制问题通常可以和非线性PDE——Hamilton-Jacobi-Bellman equations——联系起来. 在这种情况下我们可以关注HJB方程的解，这通常拥有很好的性质，而不是原来的问题. 在这片论文中，我们介绍了基本的最优控制论以及HJB方程的推导. 我们也证明了HJB方程的一些基本的性质. 一个高效的用于求解HJB方程的数值方法也在论文中被介绍. 最后，我们用HJB方程和其数值解解决了一个简单的现实中的最优控制问题. Introduction of optimal control 最优控制论是微分方程的一个延申. 它主要讨论解决动力系统的方法，通常具有如下形式： $$