用金庸、古龍群俠名稱訓練LSTM,會生成多麼奇葩的名字?

雷鋒網按：本文轉載自Magicly博客，獲作者授權。閱讀原文請見：。http://magicly.me/2017/04/07/rnn-lstm-generate-name/?utm_source=tuicool&utm_medium=referral

Magicly：之前翻譯了一篇介紹RNN的文章，一直沒看到作者寫新的介紹LSTM的blog，於是我又找了其他資料學習。本文先介紹一下LSTM，然後用LSTM在金庸、古龍的人名上做了訓練，可以生成新的武俠名字，如果有興趣的，還可以多搜集點人名，用於給小孩兒取名呢，哈哈，justforfun，大家玩得開心…

RNN回顧

RNN的出現是為了解決狀態記憶的問題，解決方法很簡單，每一個時間點t的隱藏狀態h(t)不再簡單地依賴於數據，還依賴於前一個時間節點t-1的隱藏狀態h(t-1)。可以看出這是一種遞歸定義（所以循環神經網絡又叫遞歸神經網絡RecursiveNeuralNetwork），h(t-1)又依賴於h(t-2)，h(t-2)依賴於h(t-3)…所以h(t)依賴於之前每一個時間點的輸入，也就是說h(t)記住了之前所有的輸入。

上圖如果按時間展開，就可以看出RNN其實也就是普通神經網絡在時間上的堆疊。

RNN問題：Long-TermDependencies

一切似乎很完美，但是如果h(t)依賴於h(t-1000)，依賴路徑特別長，會導致計算梯度的時候出現梯度消失的問題，訓練時間很長根本沒法實際使用。下面是一個依賴路徑很長的例子：

1我老家【成都】的。。。【此處省去500字】。。。我們那裡經常吃【火鍋】。。。

LSTM

LongShortTermMemory神經網絡，也就是LSTM，由Hochreiter&Schmidhuber於1997年發表。它的出現就是為了解決Long-TermDependencies的問題，很來出現了很多改進版本，目前應用在相當多的領域（包括機器翻譯、對話機器人、語音識別、ImageCaption等）。

標準的RNN裡，重複的模塊裡只是一個很簡單的結構，如下圖：

LSTM也是類似的鍊表結構，不過它的內部構造要複雜得多：

上圖中的圖標含義如下：

LSTM的核心思想是cellstate（類似於hiddenstate，有LSTM變種把cellstate和hiddenstate合併了，比如GRU）和三種門：輸入門、忘記門、輸出門。

cellstate每次作為輸入傳遞到下一個時間點，經過一些線性變化後繼續傳往再下一個時間點（我還沒看過原始論文，不知道為啥有了hiddenstate後還要cellstate，好在確實有改良版將兩者合併了，所以暫時不去深究了）。

門的概念來自於電路設計（我沒學過，就不敢賣弄了）。LSTM裡，門控制通過門之後信息能留下多少。如下圖，sigmoid層輸出[0,1]的值，決定多少數據可以穿過門，0表示誰都過不了，1表示全部通過。

下面我們來看看每個「門」到底在幹什麼。

首先我們要決定之前的cellstate需要保留多少。它根據h(t-1)和x(t)計算出一個[0,1]的數，決定cellstate保留多少，0表示全部丟棄，1表示全部保留。為什麼要丟棄呢，不是保留得越多越好麼？假設LSTM在生成文章，裡面有小明和小紅，小明在看電視，小紅在廚房做飯。如果當前的主語是小明，ok，那LSTM應該輸出看電視相關的，比如找遙控器啊，換臺啊，如果主語已經切換到小紅了，那麼接下來最好暫時把電視機忘掉，而輸出洗菜、醬油、電飯煲等。

第二步就是決定輸入多大程度上影響cellstate。這個地方由兩部分構成，一個用sigmoid函數計算出有多少數據留下，一個用tanh函數計算出一個候選C(t)。這個地方就好比是主語從小明切換到小紅了，電視機就應該切換到廚房。

然後我們把留下來的（t-1時刻的）cellstate和新增加的合併起來，就得到了t時刻的cellstate。

最後我們把cellstate經過tanh壓縮到[-1,1]，然後輸送給輸出門（[0,1]決定輸出多少東西）。

現在也出了很多LSTM的變種，有興趣的可以看這裡。另外，LSTM只是為了解決RNN的long-termdependencies，也有人從另外的角度來解決的，比如ClockworkRNNsbyKoutnik,etal.(2014).

showmethecode!

我用的AndrejKarpathy大神的代碼，做了些小改動。這個代碼的好處是不依賴於任何深度學習框架，只需要有numpy就可以馬上run起來！

"""

Minimalcharacter-levelVanillaRNNmodel.WrittenbyAndrejKarpathy(@karpathy)

BSDLicense

importnumpyasnp

#dataI/O

data=open('input.txt','r').read()#shouldbesimpleplaintextfile

all_names=set(data.split("\n"))

chars=list(set(data))

data_size,vocab_size=len(data),len(chars)

print('datahas%dcharacters,%dunique.'%(data_size,vocab_size))

char_to_ix={ch:ifori,chinenumerate(chars)}

ix_to_char={i:chfori,chinenumerate(chars)}

#print(char_to_ix,ix_to_char)

#hyperparameters

hidden_size=100#sizeofhiddenlayerofneurons

seq_length=25#numberofstepstounrolltheRNNfor

learning_rate=1e-1

#modelparameters

Wxh=np.random.randn(hidden_size,vocab_size)*0.01#inputtohidden

Whh=np.random.randn(hidden_size,hidden_size)*0.01#hiddentohidden

Why=np.random.randn(vocab_size,hidden_size)*0.01#hiddentooutput

bh=np.zeros((hidden_size,1))#hiddenbias

by=np.zeros((vocab_size,1))#outputbias

deflossFun(inputs,targets,hprev):

inputs,targetsarebothlistofintegers.

hprevisHx1arrayofinitialhiddenstate

returnstheloss,gradientsonmodelparameters,andlasthiddenstate

xs,hs,ys,ps={},{},{},{}

hs[-1]=np.copy(hprev)

loss=0

#forwardpass

fortinrange(len(inputs)):

xs[t]=np.zeros((vocab_size,1))#encodein1-of-krepresentation

xs[t][inputs[t]]=1

hs[t]=np.tanh(np.dot(Wxh,xs[t])+np.dot(Whh,

hs[t-1])+bh)#hiddenstate

#unnormalizedlogprobabilitiesfornextchars

ys[t]=np.dot(Why,hs[t])+by

#probabilitiesfornextchars

ps[t]=np.exp(ys[t])/np.sum(np.exp(ys[t]))

loss+=-np.log(ps[t][targets[t],0])#softmax(cross-entropyloss)

#backwardpass:computegradientsgoingbackwards

dWxh,dWhh,dWhy=np.zeros_like(

Wxh),np.zeros_like(Whh),np.zeros_like(Why)

dbh,dby=np.zeros_like(bh),np.zeros_like(by)

dhnext=np.zeros_like(hs[0])

fortinreversed(range(len(inputs))):

dy=np.copy(ps[t])

#backpropintoy.see

#http://cs231n.github.io/neural-networks-case-study/#gradifconfused

#here

dy[targets[t]]-=1

dWhy+=np.dot(dy,hs[t].T)

dby+=dy

dh=np.dot(Why.T,dy)+dhnext#backpropintoh

dhraw=(1-hs[t]*hs[t])*dh#backpropthroughtanhnonlinearity

dbh+=dhraw

dWxh+=np.dot(dhraw,xs[t].T)

dWhh+=np.dot(dhraw,hs[t-1].T)

dhnext=np.dot(Whh.T,dhraw)

fordparamin[dWxh,dWhh,dWhy,dbh,dby]:

#cliptomitigateexplodinggradients

np.clip(dparam,-5,5,out=dparam)

returnloss,dWxh,dWhh,dWhy,dbh,dby,hs[len(inputs)-1]

defsample(h,seed_ix,n):

sampleasequenceofintegersfromthemodel

hismemorystate,seed_ixisseedletterforfirsttimestep

x=np.zeros((vocab_size,1))

x[seed_ix]=1

ixes=[]

fortinrange(n):

h=np.tanh(np.dot(Wxh,x)+np.dot(Whh,h)+bh)

y=np.dot(Why,h)+by

p=np.exp(y)/np.sum(np.exp(y))

ix=np.random.choice(range(vocab_size),p=p.ravel())

x[ix]=1

ixes.append(ix)

returnixes

n,p=0,0

mWxh,mWhh,mWhy=np.zeros_like(Wxh),np.zeros_like(Whh),np.zeros_like(Why)

mbh,mby=np.zeros_like(bh),np.zeros_like(by)#memoryvariablesforAdagrad

smooth_loss=-np.log(1.0/vocab_size)*seq_length#lossatiteration0

whileTrue:

#prepareinputs(we'resweepingfromlefttorightinstepsseq_length

#long)

ifp+seq_length+1>=len(data)orn==0:

hprev=np.zeros((hidden_size,1))#resetRNNmemory

p=0#gofromstartofdata

inputs=[char_to_ix[ch]forchindata[p:p+seq_length]]

targets=[char_to_ix[ch]forchindata[p+1:p+seq_length+1]]

#samplefromthemodelnowandthen

ifn%100==0:

sample_ix=sample(hprev,inputs[0],200)

txt=''.join(ix_to_char[ix]forixinsample_ix)

print('----\n%s\n----'%(txt,))

#forwardseq_lengthcharactersthroughthenetandfetchgradient

loss,dWxh,dWhh,dWhy,dbh,dby,hprev=lossFun(inputs,targets,hprev)

smooth_loss=smooth_loss*0.999+loss*0.001

print('iter%d,loss:%f'%(n,smooth_loss))#printprogress

#performparameterupdatewithAdagrad

forparam,dparam,meminzip([Wxh,Whh,Why,bh,by],

[dWxh,dWhh,dWhy,dbh,dby],

[mWxh,mWhh,mWhy,mbh,mby]):

mem+=dparam*dparam

param+=-learning_rate*dparam/\

np.sqrt(mem+1e-8)#adagradupdate

p+=seq_length#movedatapointer

n+=1#iterationcounter

if((smooth_loss<10)or(n>=20000)):

sample_ix=sample(hprev,inputs[0],2000)

predicted_names=set(txt.split("\n"))

new_names=predicted_names-all_names

print(new_names)

print('predictednameslen:%d,new_nameslen:%d.\n'%(len(predicted_names),len(new_names)))

break

viewhostedwithbyrawmin-char-rnn.pyGitHub

然後從網上找了金庸小說的人名，做了些預處理，每行一個名字，保存到input.txt裡，運行代碼就可以了。古龍的沒有找到比較全的名字，只有這份武功排行榜，只有100多人。

下面是根據兩份名單訓練的結果，已經將完全一致的名字（比如段譽）去除了，所以下面的都是LSTM「新創作發明」的名字哈。來，大家猜猜哪一個結果是金庸的，哪一個是古龍的呢？

{'姜曾鐵','袁南蘭','石萬奉','郭萬嗔','蔡家','程伯芷','汪鐵志','陳衣','薛鐵','哈赤蔡師','殷飛虹','鍾小硯','鳳一刀','寶蘭','齊飛虹','無若之','王老英','鍾','鍾百勝','師','李沅震','曹蘭','趙一刀','鍾靈四','宗家妹','崔樹勝','桑飛西','上官公希轟','劉之餘人童懷道','周雲鶴','天','鳳','西靈素','大智虎師','阮徒忠','王兆能','袁錚衣商寶鶴','常伯鳳','苗人大','倪不鳳','蔡鐵','無伯志','鳳一弼','曹鵲','黃賓','曾鐵文','姬胡峰','李何豹','上官鐵','童靈同','古若之','慕官景嶽','崔百真','陳官','陳鍾','倪調峰','妹沅刀','徐雙英','任通督','上官鐵褚容','大劍太','胡陽','生','南仁鄭','南調','石雙震','海鐵山','殷鶴真','司魚督','德小','若四','武通濤','田青農','常塵英','常不志','倪不濤','歐陽','大提督','胡玉堂','陳寶鶴','南仁通四蔣赫侯'}

{'邀三','熊貓開','鷹星','陸開','花','薛玉羅平','南宮主','南宮九','孫夫人','荊董滅','鐵不愁','裴獨','瑋劍','人','陸小龍王紫無牙','連千裡','仲先生','俞白','方大','葉雷一魂','獨孤上紅','葉憐花','雷大歸','恕飛','白雙發','邀一郎','東樓','鐵中十一點紅','鳳星真','無魏柳老鳳三','蕭貓兒','東郭先鳳','日孫','地先生','孟摘星','江小小鳳','花雙樓','李佩','仇珏','白壞剎','燕悲情','姬悲雁','東郭大','謝曉陸鳳','碧玉伯','司實三','陸浪','趙布雁','荊孤藍','憐燕南天','蕭憐靜','龍布雁','東郭魚','司東郭金天','薛嘯天','熊寶玉','無莫靜','柳羅李','東官小魚','漸飛','陸地魚','阿吹王','高傲','蕭十三','龍童','玉羅趙','謝郎唐傲','鐵夜帝','江小鳳','孫玉玉夜','仇仲忍','蕭地孫','鐵莫棠','柴星夫','展夫人','碧玉','老無魚','鐵鐵花','獨','薛月宮九','老郭和尚','東郭大路陸上龍關飛','司藏','李千','孫白人','南雙平','王瑋','姬原情','東郭大路孫玉','白玉羅生','高兒','東珏天','蕭王尚','九','鳳三靜','和空摘星','關吹雪','上官官小鳳','仇上官金飛','陸上龍嘯天','司空星魂','邀衣人','主','李尋歡天','東情','玉夫隨','趙小鳳','東郭滅','邀祟厚','司空星'}

感興趣的還可以用古代詩人、詞人等的名字來做訓練，大家機器好或者有時間的可以多訓練下，訓練得越多越準確。

總結

RNN由於具有記憶功能，在NLP、Speech、ComputerVision等諸多領域都展示了強大的力量。實際上，RNN是圖靈等價的。

1Iftrainingvanillaneuralnetsisoptimizationoverfunctions,trainingrecurrentnetsisoptimizationoverprograms.

LSTM是一種目前相當常用和實用的RNN算法，主要解決了RNN的long-termdependencies問題。另外RNN也一直在產生新的研究，比如Attention機制。有空再介紹咯。。。

Refers

http://colah.github.io/posts/2015-08-Understanding-LSTMs/

http://karpathy.github.io/2015/05/21/rnn-effectiveness/

https://www.zhihu.com/question/29411132

https://gist.github.com/karpathy/d4dee566867f8291f086

雷鋒網雷鋒網https://deeplearning4j.org/lstm.html