大數據文摘作品
編譯：Zoe Zuo、丁慧、Aileen
本文來自OpenAI博客，介紹一種新的元學習算法Retile。
在OpenAI, 我們開發了一種簡易的元學習算法，稱為Reptile。它通過對任務進行重複採樣，利用隨機梯度下降法，並將初始參數更新為在該任務上學習的最終參數。
其性能可以和MAML（model-agnostic meta-learning，由伯克利AI研究所研發的一種應用廣泛的元學習算法）相媲美，操作簡便且計算效率更高。
MAML元學習算法：
http://bair.berkeley.edu/blog/2017/07/18/learning-to-learn/
元學習是學習如何學習的過程。此算法接受大量各種的任務進行訓練，每項任務都是一個學習問題，然後產生一個快速的學習器，並且能夠通過少量的樣本進行泛化。
一個深入研究的元學習問題是小樣本分類（few-shot classification），其中每項任務都是一個分類問題，學習器在每個類別下只能看到1到5個輸入-輸出樣本（input-output examples），然後就要給新輸入的樣本進行分類。
下面是應用了Reptile算法的單樣本分類（1-shot classification）的互動演示，大家可以嘗試一下。
嘗試單擊「Edit All」按鈕，繪製三個不同的形狀或符號，然後在右側的輸入區中繪製其中一個，並查看Reptile如何對它進行分類。前三張圖是標記樣本，每圖定義一個類別。最後一張圖代表未知樣本，Reptile要輸出此圖屬於每個類別的概率。
Reptile的工作原理
像MAML一樣，Reptile試圖初始化神經網絡的參數，以便通過新任務產生的少量數據來對網絡進行微調。
但是，當MAML藉助梯度下降算法的計算圖來展開和區分時，Reptile只是以標準方法在每個任務中執行隨機梯度下降（stochastic gradient descent, SGD）算法，並不展開計算圖或者計算二階導數。這使得Reptile比MAML需要更少的計算和內存。示例代碼如下：
初始化Φ，初始參數向量對於迭代1,2,3……執行隨機抽樣任務T 在任務T上執行k>1步的SGD,輸入參數Φ,輸出參數w 更新：Φ←Φ+(wΦ)結束返回Φ
最後一步中,我們可以將ΦW作為梯度，並將其插入像這篇論文裡（https://arxiv.org/abs/1412.6980）Adam這樣更為先進的優化器中作為替代方案。
首先令人驚訝的是，這種方法完全有效。如果k=1，這個算法就相當於 「聯合訓練」（joint training）——對多項任務的混合體執行SGD。雖然在某些情況下，聯合訓練可以學習到有用的初始化，但當零樣本學習（zero-shot learning）不可能實現時（比如，當輸出標籤是隨機排列時），聯合訓練就幾乎無法學習得到結果。
Reptile要求k>1，也就是說，參數更新要依賴於損失函數的高階導數實現，此時算法的表現和k=1（聯合訓練）時是完全不同的。
為了分析Reptile的工作原理，我們使用泰勒級數（Taylor series）來逼近參數更新。Reptile的更新將同一任務中不同小批量的梯度內積（inner product）最大化，從而提高了的泛化能力。
這一發現可能超出了元學習領域的指導意義，比如可以用來解釋SGD的泛化性質。進一步分析表明，Reptile和MAML的更新過程很相近，都包括兩個不同權重的項。
泰勒級數：
https://en.wikipedia.org/wiki/Taylor_series
在我們的實驗中，展示了Reptile和MAML在Omniglot和Mini-ImageNet基準測試中對少量樣本分類時產生相似的性能，由於更新具有較小的方差，因此Reptile也可以更快的收斂到解決方案。
Omniglot：
https://github.com/brendenlake/omniglot
Mini-ImageNet：
https://arxiv.org/abs/1606.04080
我們對Reptile的分析表明，通過不同的SGD梯度組合，可以獲得大量不同的算法。在下圖中，假設針對每一任務中不同小批量執行k步SGD，得出的梯度分別為g1,g2,…,gk。
下圖顯示了在 Omniglot 上由梯度之和作為元梯度而繪製出的學習曲線。g2對應一階MAML，也就是原先MAML論文中提出的算法。由於方差縮減，納入更多梯度明顯會加速學習過程。需要注意的是，僅僅使用g1（對應k=1）並不會給這個任務帶來改進，因為零樣本學習的性能無法得到改善。
X坐標：外循環迭代次數
Y坐標:Omniglot對比5種方式的
5次分類的準確度
算法實現
我們在GitHub上提供了Reptile的算法實現，它使用TensorFlow來完成相關計算，並包含用於在Omniglot和Mini-ImageNet上小樣本分類實驗的代碼。我們還發布了一個較小的JavaScript實現，對TensorFlow預先訓練好的模型進行了微調。文章開頭的互動演示也是藉助JavaScript完成的。
GitHub：
https://github.com/openai/supervised-reptile
較小的JavaScript實現：
https://github.com/openai/supervised-reptile/tree/master/web
最後，展示一個小樣本回歸（few-shot regression）的簡單示例，用以預測10(x,y)對的隨機正弦波。該示例基於PyTorch實現，代碼如下：
import numpy as npimport torchfrom torch import nn, autograd as agimport matplotlib.pyplot as pltfrom copy import deepcopyseed = 0plot = Trueinnerstepsize = 0.02 # stepsize in inner SGDinnerepochs = 1 # number of epochs of each inner SGDouterstepsize0 = 0.1 # stepsize of outer optimization, i.e., meta-optimizationniterations = 30000 # number of outer updates; each iteration we sample one task and update on itrng = np.random.RandomState(seed)torch.manual_seed(seed)# Define task distributionx_all = np.linspace(-5, 5, 50)[:,None] # All of the x pointsntrain = 10 # Size of training minibatchesdef gen_task():"Generate classification problem" phase = rng.uniform(low=0, high=2*np.pi) ampl = rng.uniform(0.1, 5) f_randomsine = lambda x : np.sin(x + phase) * ampl return f_randomsine# Define model. Reptile paper uses ReLU, but Tanh gives slightly better resultsmodel = nn.Sequential( nn.Linear(1, 64), nn.Tanh(), nn.Linear(64, 64), nn.Tanh(), nn.Linear(64, 1),)def totorch(x): return ag.Variable(torch.Tensor(x))def train_on_batch(x, y): x = totorch(x) y = totorch(y) model.zero_grad() ypred = model(x) loss = (ypred - y).pow(2).mean() loss.backward() for param in model.parameters(): param.data -= innerstepsize * param.grad.datadef predict(x): x = totorch(x) return model(x).data.numpy()# Choose a fixed task and minibatch for visualizationf_plot = gen_task()xtrain_plot = x_all[rng.choice(len(x_all), size=ntrain)]# Reptile training loopfor iteration in range(niterations): weights_before = deepcopy(model.state_dict()) # Generate task f = gen_task() y_all = f(x_all) # Do SGD on this task inds = rng.permutation(len(x_all)) for _ in range(innerepochs): for start in range(0, len(x_all), ntrain): mbinds = inds[start:start+ntrain] train_on_batch(x_all[mbinds], y_all[mbinds]) # Interpolate between current weights and trained weights from this task # I.e. (weights_before - weights_after) is the meta-gradient weights_after = model.state_dict() outerstepsize = outerstepsize0 * (1 - iteration / niterations) # linear schedule model.load_state_dict({name : weights_before[name] + (weights_after[name] - weights_before[name]) * outerstepsize for name in weights_before}) # Periodically plot the results on a particular task and minibatch if plot and iteration==0 or (iteration+1) % 1000 == 0: plt.cla() f = f_plot weights_before = deepcopy(model.state_dict()) # save snapshot before evaluation plt.plot(x_all, predict(x_all), label="pred after 0", color=(0,0,1)) for inneriter in range(32): train_on_batch(xtrain_plot, f(xtrain_plot)) if (inneriter+1) % 8 == 0: frac = (inneriter+1) / 32 plt.plot(x_all, predict(x_all), label="pred after %i"%(inneriter+1), color=(frac, 0, 1-frac)) plt.plot(x_all, f(x_all), label="true", color=(0,1,0)) lossval = np.square(predict(x_all) - f(x_all)).mean() plt.plot(xtrain_plot, f(xtrain_plot), "x", label="train", color="k") plt.ylim(-4,4) plt.legend(loc="lower right") plt.pause(0.01) model.load_state_dict(weights_before) # restore from snapshot print(f"----") print(f"iteration {iteration+1}") print(f"loss on plotted curve {lossval:.3f}") # would be better to average loss over a set of examples, but this is optimized for brevity
論文連結：
https://arxiv.org/abs/1803.02999
代碼連結：
https://github.com/openai/supervised-reptile
原文連結：
https://blog.openai.com/reptile/