一些基础内容
这一节要讲的主要是向量值函数求导的记号与性质。由于篇幅不长，就当为未来的杂项预留了。
向量值函数求导
我们要介绍这一套记号，主要是因为在最优化问题中我们要操作的目标函数可能包含向量值函数。具体的，目标函数往往是多元的，对其求高阶导会遇到维度爆炸的问题，因此我们往往会使用一阶的方法，例如 KKT conditions 。而因为我们只考虑一阶导数，所以要求导的函数一般最高仅包含矩阵值的因子。在实际的操作中，又往往只需处理向量值因子的情况，所以此处我们要着重介绍后者。
具体的，求导这一操作显然是具备线性性的，所以我们主要考察莱布尼兹律（即积的导数）和链式法则在向量函数中的表达。对于
，考察 1 ，显然： 注意此处标量值函数的一阶导数（即梯度）总是行向量。从而我们验证了向量值函数服从莱布尼兹律。而对于向量值函数的复合，对于 ，考察 。此处无意提供非常严格的证明，但大致的意思是，我们要求 是可微的，那么便可以做局部的线性化，这样： 这说明做过局部线性化以后，抛开不重要的高阶项，由于线性函数的复合等价于积，所以复合的微分也就是微分的积了。这边证明了向量值函数的链式法则：
此处使用微分代表导数，因为比较好看。↩︎
- 标题: 一些基础内容
- 作者: RPChe_
- 创建于 : 2025-09-15 00:00:00
- 更新于 : 2025-09-30 13:09:25
- 链接: https://rpche-6626.github.io/2025/09/15/OPT/basic/
- 版权声明: 本文章采用 CC BY-NC-SA 4.0 进行许可。
评论