Question

我使用 scipy.optimize.fmin_bfgs(f, init_theta, fprime) 来尽量减少有梯度 f 的 f 。我在一个函数中计算 f 和 fprime ,因为大多数计算都相同,所以不需要两次。

是否有方法可以调用 fmin_bfgs () 来指定一个返回 f 和 fprime 的单函数?

Answer 1

如果您试图节省计算时间,而不是仅仅将 f 和 f 的计算结合起来,以方便代码使用,那么似乎您需要在函数周围加一个折叠,以缓存值,因为 fmin_bfgs 似乎不允许您通过这样的函数(不同于其他优化功能)。

在此, 一种方法可以做到这一点, 将最近被评估的 10 个点保留在一个小缓存中。 (我不知道此函数的调用是否需要使用线索安全 : 可能不是, 但如果是的话, 我猜你可能需要在这里添加一些锁。 )

def func_wrapper(f, cache_size=10):
    evals = {}
    last_points = collections.deque()

    def get(pt, which):
        s = pt.tostring() # get binary string of numpy array, to make it hashable
        if s not in evals:
            evals[s] = f(pt)
            last_points.append(s)
            if len(last_points) >= cache_size:
                del evals[last_points.popleft()]
        return evals[s][which]

    return functools.partial(get, which=0), functools.partial(get, which=1)

如果当时我们这样做

>>> def f(x):
...    print "evaluating", x
...    return (x-3)**2, 2*(x-3)

>>> f_, fprime = func_wrapper(f)

>>> optimize.fmin_bfgs(f_, 1000, fprime)
evaluating [ 994.93480441]
evaluating [ 974.67402207]
evaluating [ 893.63089268]
evaluating [ 665.93446894]
evaluating [ 126.99931561]
evaluating [ 3.]
Optimization terminated successfully.
         Current function value: 0.000000
         Iterations: 4
         Function evaluations: 7
         Gradient evaluations: 7
array([ 3.])

我们可以看到,我们不重复任何评价。

Answer 2

假设您有一个 python 函数 f(x) 返回函数值和梯度:

In [20]: def f(x):
   ....:     return (x-3)**2, 2*(x-3)

然后分别通过产出,就像这样:

In [21]: optimize.fmin_bfgs(lambda x: f(x)[0], 1000, lambda x: f(x)[1])
Optimization terminated successfully.
         Current function value: 0.000000
         Iterations: 4
         Function evaluations: 7
         Gradient evaluations: 7
Out[21]: array([ 3.])

Answer 3

似乎没有直接做到这一点的方法。但是 scipy. optimize. 最小化 确实允许您这样做。您可以通过 frime 的 True 值, 而不是函数。这表示 f 返回函数值和梯度的图例。您可以用方法 = BFGS 来引用 < code> 最小化来获取您想要的效果。

它引人启迪地看到minimize 的源代码。它和 fmin_bfgs最终调用_minimimize_bfgs,它将frime和fprime作为独立的函数参数。当 fprimme 是一个布林, minimize 巧妙地构造frime 时, 是一个可以记住 f 返回的最后值的对象, 并隐藏梯度信息。

友情链接