匈牙利算法（Hungarian Algorithm）是解决二分图最小权匹配问题（也称分配问题，Assignment Problem）的经典组合优化算法。它由 Harold Kuhn 于 1955 年提出，其思想源于两位匈牙利数学家 Dénes Kőnig 和 Jenő Egerváry 的早期工作，因此得名。 下面我将从问题背景、核心思想、算法步骤、数学原理和一个完整示例五个方面，系统地为你讲解匈牙利算法的工作原理。 一、问题背景：什么是分配问题？ 设有 ( n ) 个工人和 ( n ) 项任务，每个工人完成每项任…

非常好的问题！马氏距离（Mahalanobis distance）是统计学和机器学习中一种考虑变量相关性和尺度差异的广义距离度量。它由印度统计学家 P. C. Mahalanobis 于1936年提出，用于衡量一个点与一个分布之间的“统计距离”。 下面我将从直观理解、数学定义、性质和具体示例四个方面为你详细解释。 一、直观理解 想象你在判断一个人是否“异常”： 如果只看身高：190 cm 可能很高； 如果只看体重：90 kg 可能偏重； 但如果知道身高和体重正相关（高的人通常重），那么一个身高190 cm、体重90…

在神经网络训练中，虽然模拟退火算法（Simulated Annealing, SA）理论上可以用于优化权重参数，但它并未成为主流方法。这主要是由于其在实际应用中存在多个关键局限性，与现代深度学习的需求不匹配。 一、模拟退火算法在神经网络训练中的主要局限 1. 计算效率极低（时间成本过高） 📌 举例：训练一个简单的全连接网络（10万参数），梯度下降可能在几分钟内完成；而模拟退火可能需要几天甚至几周。 2. 高维空间中的“探索”效率低下 3. 缺乏梯度信息的利用 4. 参数调优复杂且敏感 5. 并行化困难 6. 内存与…

模拟退火算法示例：最小化二元函数 本示例使用模拟退火算法寻找二元函数的全局最小值。我们选择一个经典的测试函数——Rosenbrock 函数，也被称为“香蕉函数”，其数学表达式为： $$ f(x, y) = (a - x)^2 + b(y - x^2)^2 $$ 其中 $ a = 1 $, $ b = 100 $。该函数在点 $ (1, 1) $ 处取得全局最小值 $ f(1,1) = 0 $。 这个函数具有以下特点： Python 实现代码 代码详细注释说明 1. 参数配置 2. 目标函数设计 3. 解的生成与更新…