考虑系统  ,其中  ,  满足这里  是一族满足 Lipschitz 性质的向量场,  是控制函数 (  是一度量空间的紧子集).注意到指标  是在切换的,切换的规律由给定的转移矩阵给出.
给定控制函数和转移矩阵  满足存在解  ,其中  分段  ,  是连续时间的 Markov 链,转移规律为实际上上面概率是某个矩阵的 e 指数的展开.具体而言,考虑矩阵  满足注意到  是概率矩阵,即每行和为 1,那么乘积  也是概率矩阵.由于概率矩阵集合是紧的,  也是概率矩阵.反之,概率矩阵的生成元一定要满足上面条件.
现在我们来看控制问题的值函数.记以事件  为条件对应的概率为  ,期望为 . 这里概率的严格理解如下.考虑右端连续,有左端极限的轨道 ,这样的轨道被称为 cadlag paths (法语 Continu à droite limite à gauche 的缩写).这类轨道全体  在 Skorohod 度量下形成 Polish 空间,其诱导的 Borel  代数  与  张成的一致.一个自然的域流  就是定义将时间限制在  以内.在  上定义概率测度  使得赋值映射  是由给定转移矩阵生成的 Markov 过程.定义值函数可以证明下面动态规划原理 (DPP)
接下来导出相应的 H-J 方程.首先取最优的控制函数  ,再令  (注意到这里的轨道依赖于  ), ,与经典的最优控制问题相区别的是这里多出标红的两项.这两项的处理需要如下结果:
对于  可测的函数  ,有对  求导即得那么标红的两项除以  再令  趋于 0,取期望,就等于 
最终在  处值函数满足令  ,得到值函数满足的 H-J 方程组以及初值