argmax:从未来推理现在
整个机器学习(最优化),背后的根本数学原理是下面这个公式:
arg_max_{x∈X} F(x)
它的含义是:在所有可能的输入 x ∈ X 中,找出让目标函数 F(x) 最大的那个 x。这个公式返回的是最优解 x,而不是最大值本身。
这个公式代表【从未来推理出现在的最佳选择】,因为所有的x有哪些,实际上是没办法穷尽的,以及F有哪些,是未来才知道的。代表一种完全信息视角。
这个和“传统”的数学递推公式是反过来的,传统的递推公式是,利用过去的推理未来的,例如斐波那契额数列
,假设的是F(n-1)和F(n-2)我们已经知道,我们就可以推理F(n)(这也是动态规划算法的核心)。这个是【利用过去的信息推理未来的】。
因此,机器学习/最优化,本质是预测未来。实际上,arg_max 公式,如果用编程语言来表达,非常好理解:
这个思维方式代表的是“从未来反推现在”:F(x) 是未来某种评估函数,我们假设它存在,并试图找到现在该做什么(x)才能让它最大。
def arg_max(X, F):
best_x = None
best_score = float('-inf')
for x in X:
score = F(x)
if score > best_score:
best_score = score
best_x = x
return best_x
但现实中无法直接这么做,是因为:
- X 是一个不可穷尽的集合(比如所有图像、所有句子、所有行为策略)。
- F(x) 是主观建模得来的,往往需要学习或假设。
我们或许可以并行提高搜索效率,比如可以通过多线程同时搜索最优best_x。
参考:来自微博。
机器学习 Machine Learning
数学
- 数学之美: Sigma 函数的推导公式与 Python 实现
- 教孩子编程: 证明根号2是个无理数的两种方法(反正法/几何无限下降法)
- 机器学习(最优化)根本数学公式: arg_max_{x∈X} F(x)
- ChatGPT (3.5和4) 解2023年高考数学题
- [答案] 数学 × 程式编写比赛 (第八回) - 4位数的电子显示器
- 数学证明 0.9 ... 无限循环等于1
上一篇: 英国电信公司Three重大事故: 从资本家嘴中薅了15英镑的羊毛
下一篇: 活到老, 学到老, 每天进步一点点: 油管视频学习
扫描二维码,分享本文到微信朋友圈
