寒冬來臨
01 票代野蠻生長的年代
改革開放之初，坐飛機對於普通老百姓還是個稀罕事，乘坐飛機出行的人實在太少，提高航班的乘坐人數是當時航空公司的主要目標。除了優惠活動外，還出臺了各種代理鼓勵機制。比如 2002 年左右機票代理商享受「3+X」%的票代利潤模式。據業內人士回憶，那時各大航空公司為爭奪旅客，競相給予代理企業遠超出官方規定的手續費，「X」的部分最高可達到 17% 以上。除此以外，航空公司還動輒發放動態獎勵、年終大獎等來激勵票代 。
02 是什麼導致了3-2-1-0%
趨之若鶩必將帶來泰極生否。網上票代的興起，在為用戶出行提供出行便利的同時，也催生了灰產、黑產的泛濫。無資質票代藉機渾水摸魚牟取非法利潤，有資質票代不惜鋌而走險觸動「紅線」，視消費者的利益為魚肉。
各航司非常敏銳的洞察到了票代中的違規現象，馬克思說過，「人們的奮鬥所爭取的一切，都同他們的利益有關。」解鈴還須繫鈴人。於是，在 2014 年的各航司紛紛做同一件事情：降傭、禁廢。
國航自 2015 年 3 月 1 日(銷售日期)起，境內代理人銷售的 BSP / B2B 國際、國內客票不允許作廢，客票的改期、升艙、退票按照客票使用條件辦理，這將大大增加機票代理商的退票成本。
03 明日黃花
如今的航司其實早已把「提直降代」列入了重中之重，在這樣的一種訴求下，2016 年 2 月 4 日，國資委「將直銷比例提高至 50% 」、 「代理費要在 2014 年的基礎上下降 50% 」等通知對於航司就如同甘露一般。
其實，對機票行業裡面灰產黑產現象，OTA 也深惡痛絕。例如 2016 年「九航企封殺去哪兒」、「李淼投訴假機票」兩個事件，違規操作對企業形象造成了巨大的負面影響。
因此，攜程在 2016 年發布了一份《關於航班銷售重要通知》，宣布暫停供應商(即機票代理商)銷售 2016 年 9 月 1 日之後的指定航空公司的國內客票，這些航空公司包括了中國四大航。隨後，大量代理人已經開始退出機票銷售市場。
04 前返→暗扣→佣金→後返→……
至此，航空公司重新控制銷售渠道，機票代理已走向沒落。
從 2002 年開始票代的黃金時期漸漸成為過去。之前拿著「暗扣」就很滋潤的票代們，被航司嚴格管控，如今只能靠越來越少的佣金維持。今年，本來以為「後返」也是一個出路的票代們，又遭受重創，不得不主動探索新的出路了。
為何航司網站爬蟲逐年呈現上升趨勢
遭遇了幾次的重創，傳統票代行業必將逐漸冷卻。但是對於曾經和機票打交道的人們，長期打造的戰場就放棄的如此甘心情願嗎?
繼續深挖佣金的方式獲取利益已然行不通了，那麼還有哪些環節是有機可乘的呢?
01 劇增的棄程現象
某報在採訪國航客運營銷部發現了如下現象：
國航座控中心的工作人員指著電腦屏幕，一張由北京飛往哈爾濱的某航班機票，上面旅客姓名、機票號、聯繫電話等均填寫得清楚明白，但機票號前三位不是國航的代碼，也不是國內任何一家航空公司的。顯然這個「乘客」根本不存在，內容都是瞎編的。
四川航空公司成都售票處主任說：虛佔座位，越是旺季，越是緊俏的航班，被虛佔的座位相對就多，如果被虛佔的座位最後沒賣掉，航空公司也沒發現，那麼這個座位肯定就是浪費了。
02 結合技術手段的虛佔
世間沒有無緣無故的愛與恨。
沒有了佣金，代理人或者機票從業者天天琢磨著新的可持續發展的利益獲取渠道。終於，新點子有了：虛佔座位。
他們大量搶佔：①長期熱門線路的各艙位;②座位數很少的艙位;③特價艙位;④黃金時期(如黃金周)的各艙位。
目的：利用因時間推移造成的艙位價格變化獲利、或通過自己的平臺自主加價轉售。
虛佔座位從機票代理這個詞出現就有了，因為早期是為了確保一些團隊的機票冗餘，當時現象也並不是很多;但現如今主要目標是為了囤積後伺機出售實現利益最大化——現象相同，但是體量和目的卻完全不同。
這些大量的操作靠人工已經無法滿足需求了，因為一種網絡爬蟲技術對於虛佔座位的人群們來說如獲至寶，因為爬蟲可替代 95% 的人工操作。
03 倍受青睞的爬蟲
要通過虛佔來取得利益，至少要知道這些目標機票在哪?何時出現?最晚支付時間是?壓位後的機票確保不會被收回?處理這些問題，大致需要如下流程：
1)充分的利用各種爬蟲工具
參考閱讀：惡意爬蟲這樣窺探、爬取、威脅你的網站
2)大量下訂單，規定時間內(各航線不同)不支付，並把搶佔的艙位放到 OTA 、機票 B2B 上出售;
3)規定時間內賣不出去，在被取消訂單前，訂單失效前馬上再去追一個訂單，繼續把位置佔住;
4)如果出售成功，就可以把原來佔位的機票取消掉，再用客戶的身份信息訂票並出票。
雖然從虛佔到變現過程不複雜，但是要形成暴利，就需要來回如上過程無數次。這種批量操作需要大量的交互窗口和大量追位工具操作，人力物力隨之上去了，最後搞不好賠本賺吆喝。
怎麼辦?好在，人人都是「產品」經理。他們有高級自動化的工具，專門針對壓位、追位。
這是我們在網上發現的針對某家航空公司的自動爬蟲工具， 它實現了：
多個線程自動登錄
實時獲取特價機票信息
匹配後自動下單
熱門、特價機票跟蹤
其實，航司風控技術部門的很快就會捕捉到使用工具的人們，他們的特徵是： IP 來源單一，頻次過高，爬蟲即可被識破並且被禁止掉。
所謂道高一尺魔高一丈，只要有一絲絲希望，「產品」經理就不會放棄：他們充分的利用各種資源，比如利用購買或者租用的雲機房、IDC 中的 IP 資源，甚至會改造了路由器，待買家購置家中後，便直接轉化成了為他們服務的爬蟲種子。
其目的：將單一 IP 的訪問動作稀釋到成千上萬的 IP 中去。
豈安科技風險情報專家笑天分析了 2016 年某三個月的爬蟲來源分布圖，也證明這一點，他們分布的十分廣泛，調用順序也毫無規律可循。
綜上所述，對於一個完整的風控體系而言，僅通過訪問頻率、Useragent 觀測角度肯定不是最全面的的風控維度。
抽絲剝繭看爬蟲
爬蟲繞開技術層出不窮，防爬蟲的技術也日新月異，風險黑名單可能是大多風控部門採用的方式，這種存在一定局限性，從行為軌跡和用戶畫像角度出發一定是風控的大趨勢。
針對航司的爬蟲，需求表明目前最迫切的是防止黑代理將IP分散到世界各地繞開訪問頻率的監控，我們必須增加更多途徑實時訪問流量中獲得更多有價值信息。(前提：一定不允許在 APP 、Web 中增加代碼，大型企業對這些非常看重)。
01 訪問元素豐富度
普通用戶在打開網頁時會有比較豐富的地址訪問，而自動爬蟲通常只有少數固定的頁面訪問，比如航司活動專版、艙位價格頁面、航線動態等。
圖為豈安科技風控產品監控界面
02 訪問軌跡連貫性
用戶在進行頁面訪問時，通常是有一個合理的訪問軌跡，如從首頁跳轉到機票搜索，但爬蟲在自動獲取數據時，往往是對頁面地址進行逐個訪問，沒有連貫的軌跡。比如首次訪問就是登錄頁面，正常應該從搜索或者廣告頁跳轉而來。
03 訪問靜態資源比例
爬蟲獲取數據時往往只關心具體的文字內容和數據，但不會查看圖片以及加載頁面上的 CSS 或者 JS 信息，這就為風控平臺提供了一個較為顯著的判斷因素，這一點不用多加解釋。
04Click 間隔時間
爬蟲在獲取頁面信息時，會出現連續兩個 Click 間隔時間過短，不匹配合理的人肉點擊間隔時間，這就是典型的區別人機判斷機制。
篇幅有限，僅僅列出以上這些在航司常出現的風險特徵。
小結
一入票代深似海，從此節操是路人。
對於各航空公司，爬蟲僅僅是一個風險的開始。豈安科技的安全專家 James 和 Bogomil 通過調研，得出在航司還存在著信息洩露、簡訊轟炸、虛假註冊、羊毛黨、掃號撞庫、密碼找回等諸多風險問題。
針對航司的行業特點，豈安科技開發了 Warden(看門者)產品，通過大數據分析、風控專家梳理，研製開發了航旅版業務風險決策系統，已陸續在各大航司、OTA 中交付使用，並得到了非常好的反饋。
作者簡介
豈安情報產品經理浩源，10 年以上的人機識別、風險情報分析、黑產調研相關的工作經驗，在風險管理方面主張創新，專注於網際網路金融、支付、航空、電商的反欺詐產品的調研和開發。