目标函数是深度学习的心脏，它是模型训练的引擎。它用于计算预测结果与真实标记之间的误差，并通过误差反向传播算法来指导模型参数的更新。目标函数主要分为分类任务目标函数和回归任务目标函数，有时还会加入附加任务目标函数以防止过拟合或求得稀疏解。
换句话说目标函数（objective function）是机器学习中要优化的函数，通常是一个可以衡量模型对数据的拟合效果的函数。在训练过程中，优化器会尝试最小化目标函数值，从而得到更好的模型。
优化器在深度学习反向传播过程中起着关键作用，它指导目标函数（损失函数）的各个参数往正确的方向更新，使目标函数值不断逼近全局最小值。优化问题可以看作是从山上的某个位置（当前的参数信息）出发，寻找最佳路线下山（达到最优点）。朴素的梯度下降是其中的一种方法，它基于函数梯度的反方向是函数下降最快的方向这一原理。
换句话说优化器（optimizer）是一种用于优化目标函数的算法。常见的优化器包括梯度下降法和 Adam 算法等，它们会根据目标函数的梯度信息不断更新模型的参数，从而降低目标函数的值并提高模型的预测性能。
损失函数（或代价函数）是用于评估模型预测结果与真实结果之间的差距的函数。在深度学习中，损失函数通常作为学习准则与优化问题相联系，即通过最小化损失函数来求解和评估模型。例如，在统计学和机器学习中，损失函数用于模型的参数估计；在宏观经济学中，它被用于风险管理和决策；在控制理论中，它被应用于最优控制理论。
换句话说损失函数（loss function）是用来描述模型预测值与真实值之间差距的函数。在模型训练的过程中，优化器会通过最小化损失函数来使模型尽可能地拟合训练数据。常见的损失函数包括均方差损失函数和交叉熵损失函数等。
其实大多数情况下，目标函数=损失函数，损失函数和目标函数在一些情况下可以指同一个函数，比如在线性回归中，均方差损失函数就是线性回归的目标函数。（主要围绕正则化，我目前的理解是损失函数+正则化=优化函数，后续我会专门整理一下）
在机器学习中，模型的目标是通过训练数据对一个函数进行优化，使其能够尽可能好地对未知数据进行预测。为了实现这个目标，通常需要定义目标函数、优化器和损失函数。