科技大廠做的A/B測試和你做的有什麼區別?

2021-02-15 MarTechCareer

一定想問,A/B測試不就是個實驗法嗎?那科技大廠的A/B測試到底厲害在哪裡?

1. 企業中得以大規模執行A/B測試的系統和流程

2. 那些基礎的、你可以在第三方軟體中、靠簡單的幾下點擊就能執行的A/B測試程序(比如Optimizely、VWO、Google Experiments、Adobe Target、Qubit等等)

大多數聲稱自己會A/B測試、或者聲稱A/B測試很簡單的人,基本只做過2,並且不知道1的存在。

基礎的A/B測試主要是聚焦於一些用戶體驗的改善,我們稱為UX(user experience)。你可能是改動了網站或應用上的某個元素,測試這種改變是否更好地促使你的用戶達成你想看到的商業目的。就算是這種基礎的A/B測試,也並不是所有從業人員都做得很好的。它需要你有紮實的統計基礎。否則,你也只是有過A/B測試的「執行經驗」(更殘酷的說法是:簡單的點擊軟體按鈕的經驗),而並非真的會A/B測試。

「亞馬遜每年都要做超過1 萬個A/B 測試;谷歌則有10 萬個之多;當你訪問Facebook的頁面時,你已經同時身處10 個A/B 測試之中了」

所以,同時可以向大規模的用戶做大量的A/B測試、公司裡盛行統治地位的測試文化的公司,都是需要搭建大規模的A/B測試內部平臺的。而幾乎所有你嚮往的網際網路科技公司,都屬於這個範疇——它們都需要高度客制化的技術支持(因為每個公司的需求不同)。

首先,你需要建造一個平臺整合到開發中,這個平臺必須能讓測試變得簡單,讓那些負責設計實驗和跑測試的人能夠輕鬆使用。絕大多數的第三方商業A/B測試軟體,都是沒辦法完全符合這些大公司的需求的。

其次,搭建A/B測試平臺還意味著你要深刻地了解商業需求和用戶體驗的核心。

比如,Intuit建造了一個實驗平臺,然後要把它整合到它整個生態產品中,從小企業到個人理財,每個產品都要適應。並同時要把敏感的用戶數據存在公司內部(而不是存在外面的平臺)。這是一個相當複雜的過程。現在Intuit的A/B測試平臺已經擴展到能夠服務120個app,能夠處理十億(billion)級別的API呼叫。而且他們也已經把這整個項目的框架開源到了網上供其他公司參考。

在評價一個分析師專業程度時,現在有了一個時髦的詞彙叫做:統計成熟度。當然如果你不是個統計實力派也不用因此沮喪,因為即使是專家也有頭疼的時候。最受歡迎的A/B測試平臺Optimizely也曾經在2015年的時候宣布它要改寫系統裡的統計方法來避免平臺犯某類常見的統計錯誤。當你在一個大型的複雜的網站上測試數十個A/B測試時,測試和測試之間是非常有可能互相干擾的。所以企業內大規模的A/B測試平臺還需要足夠聰明地識別測試之間有什麼互相影響。

3. 大規模的A/B測試需要從業者深度了解用戶細分A/B測試通常聚焦於具體的用戶細分。首先,就單單在同意核心細分人群的定義上就可能引發一場公司內的大爭論。營銷、產品、客服都對哪個細分更核心、如何定義這個細分有著根深蒂固的見解。其次,A/B測試平臺應該要允許用戶來根據線上線下行為數據來開發他們自己的細分。平臺需要能夠意識到這些不同的細分並且讓操作者很容易地選擇不同的細分組合來執行實驗。4. 大規模的A/B測試意味著要在全公司內展開培訓當企業裡不只是數據部門的人能做A/B測試,而是剩餘的其他人也能做A/B測試時,這才最大的勝利。但是,由於A/B測試必須正確地做才會有效,所以大規模的A/B測試平臺必須能夠指導大家如何規範操作,而那些使用平臺的人也必須被培訓才能得到有效的結果。
首先公司需要買帳A/B測試的價值,然後實驗操作與流程需要產品化,最後一大堆員工需要指導如何正確使用這個產品。引進A/B測試的概念可能會打破現有的權力結構,可能會受到那些不太對數據感冒的管理層的排斥。一位谷歌的朋友告訴我,「谷歌沒有龐大的中層管理層,因為公司有足夠的數據來進行決策取代了中層管理的作用。」很少有公司能夠在引進數據驅動決策的方案時不受到阻礙的。以上4點原因解釋了為什麼A/B測試雖然「簡單」,但在各大科技公司的找人門檻上卻異常突出A/B測試的權重,以至於Facebook的面試裡A/B測試題的通過率只有3%
如果你想獲得專業的A/B測試培訓,使用百萬量級的原始數據,進行企業級A/B測試項目的實操的話,千萬不要錯過MarTechApe的《A/B測試企業級實戰訓練營》第三期!《A/B測試企業級實戰訓練營》以真實商業場景中的複雜A/B測試問題為項目背景,讓學員在兩個月的時間裡搭建完整的A/B測試流程。在過去開辦的兩期《訓練營》中,我們為頂尖科技公司輸送數據能力強、實驗經驗豐富、統計基礎紮實的數據人才。不論你本來是什麼背景,都能通過這門課程,打開盛行「測試文化」的網際網路高科技公司的大門!
《A/B Testing Bootcamp》往期學員拿到的面試機會以及全職工作OFFER包括Facebook、Amazon、TikTok、Viagogo、GSK、Walmart、Pinterest、Chegg、Wish、Twitch、Plymouth Rock、Nintendo等網際網路科技公司。現在,MarTechApe《A/B測試企業級實戰訓練營》正在進行第3期報名!
每一期訓練營,我們只招收20名學生。先到先得,遵循階梯價位,優惠逐額遞減,越早報名越優惠!

真槍實彈的A/B測試項目實操,百萬量級真實數據+五大應用案例,從零學會A/B測試的裡裡外外!

為你建立一個完整的、專業的、深度還原大公司的的A/B測試項目,讓你在面試時可以自信展示自己親自做的案例,成功拿下offer!

從0到100真實操作A/B測試項目的全套流程:數據清洗、數據自動化處理、實驗設計、實驗執行、結果分析、報告展示

經歷真實工作場景中的、各大網際網路科技公司裡使用的A/B測試流程,以及適應不同商業場景的各類實驗/準實驗方法。學會工作中最重要的分析方法!

深度學習A/B測試實戰中常見的測試陷阱及避免方法。

牢固掌握公司裡A/B測試項目中的實際SQL與Python應用,為A/B測試搭建資料庫、清理數據、創建數據集。

學會用Python自動化實現A/B測試,為你的老闆提高100%的工作效率!

接受系統的統計訓練,打下堅實牢固的統計基礎,徹底明白A/B測試的統計原理、分析方法、實驗設計方法、抽樣準則。

各大網際網路、科技公司A/B testing面試題解題步驟示範與詳細解析。對網際網路科技公司的深度剖析和指標介紹,讓你自如面對各類面試考驗!

專業的Bootcamp經歷簡歷模版認證證書,可以曬到LinkedIn等求職網站,大大提高面試邀請率!

福利升級:訓練營以往只內推成功從訓練營中畢業的學生。但在疫情期間,所有A/B測試實戰訓練營學員,均可獲得全職或實習崗位的內推機會!

Emma老師對學員知無不言,有問必答!無論是面試中遇到的問題,還是工作中遇到的困惑。

整個Bootcamp歷時8周,每周3小時課程,共計24小時課時。

周末線上實時授課,課後完成老師布置的作業,助教團隊在班級群內隨時答疑,直播錄像永久回放。

五大課程模塊:

課程內容涵蓋了A/B測試在各大網際網路科技公司中的完整工作流程:

每位學員將有一套親自做的A/B測試成果作品

每位學員獲得A/B測試面試真題解題輔導

結課後,每位學員獲得提升簡歷的Industry Project Experience完美描述,所有學員獲得內推機會!

了解A/B測試在頂流科技公司中的各類應用場景

了解A/B測試適用的商業問題與它的局限

了解科技公司產品團隊如何使用A/B測試

面對商業問題,如何設計有效的假設?

如何制定A/B測試的實驗計劃與執行框架?

學員在項目中重點使用SQL與Python,全方位了解A/B測試中涉及的資料庫搭建、樣本選取、實驗組與測試組分配、變量選取等數據分析步驟。並且充分掌握用Python搭建A/B測試結果分析流程,實現A/B測試自動化,對真實工作中的A/B測試分析了如指掌。簡而言之,項目後,你不僅將牢固掌握SQL與Python等最熱門的數據分析軟體,還將成為真正的A/B測試技術流,完全掌握A/B測試這項數據分析工作中最重要的技能。

充分了解A/B測試的實驗步驟

設立零假設與被擇假設

確認實驗指標,設計實驗變量

根據指標類型確認統計檢驗方法

估算樣本量,確定實驗周期

置信區間與統計功效

A/B測試中的各類偏差

樣本量不夠或其他實驗條件不滿足時的實驗設計

了解準實驗與A/B測試的應用區別

為項目案例設計A/B測試實驗

學員在項目中將透徹學習實驗方法與實驗設計。在這個環節中,將研究如何制定實驗方案,以提高實驗效率,縮小隨機誤差的影響,並使實驗結果能有效地進行統計分析。學習在工作場景中如何用A/B測試等實驗來提高用戶激活/活躍/留存等關鍵的產品指標,提升產品功能表現,真正理解A/B測試的商業價值與業務地位。學員在項目中將系統學習數理統計方法,為各類工作實戰中的實驗方法打下牢固的理論基礎。學員所學習到的統計並不只適用於A/B測試,其實是所有數據分析方法的從基礎到高階的統計方法。只有為自己增添堅實的統計背景才能在各類分析方法中遊刃有餘。
在每周的課程後,所有學員將獲得A/B測試面試訓練。老師將對各大網際網路、科技公司A/B測試面試題給出解題步驟示範與詳細解析。確保課堂所學知識可以靈活應用到各類面試場景,助你自信面對A/B測試的所有面試考驗!從資料庫搭建、樣本選取、實驗組與測試組分配、變量選取、實驗設計,到實驗結果深度分析與PPT展示,學員的精緻項目報告就是他們最好的訓練營成果,這一份拿的出手的高品質項目,無論是LinkedIn還是面試展示,都會是脫穎而出的最佳幫手!長按二維碼,添加小助手為好友,回復「AB」,即可報名《A/B測試實戰訓練營》:
熟悉我們的老用戶,應該知道我們一直都是實行階梯價格、優惠遞減的,這次也不例外:先到先得、越早報名越優惠(原價$1999美元)。以下價格單位為美元:

第1名~第2名:999美元(優惠$1000)

第3名~第6名:1099美元(優惠$900)

第7名~第10名:1299美元(優惠$700)

第11名~第14名:1399美元(優惠$600)

第15名~第16名:1499美元(優惠$500)

第17名~第18名:1699美元(優惠$300)

第19名:1899美元(優惠$100)

第20名:1999美元(原價)

你是否能在更好的公司做更優秀的自己?投資自己,全方位提升能力,為自己增添被驗證有效的寶藏項目經歷!趕快報名吧!

相關焦點

  • web前端開發,在大廠和小廠工作有區別嗎?
    經常收到朋友們的問題,在網際網路大廠和小廠工作,到底有什麼不一樣的呢? 其實我個人覺得,不管從開發流程、代碼要求還是工具應用上,都是有比較明顯的區別的。
  • 我在大廠做外包,等一個轉正名額
    外包員工,和你籤約合同的是外包公司,但工作場地卻在大廠,所以感覺自己既屬於兩方,但又不屬於他們其中的任何一方。雖然表面看起來和大家是一模一樣,沒有區別。但其實細看下來,和正式員工還是有很大區別的,從工卡袋、工卡到打卡方式……每一個細節都在提醒你:你是個外包。
  • [短文速讀] a=a+b和a+=b的區別
    小A:a=a+b和a+=b。這兩者有什麼區別呀?沒看出來有什麼區別啊!MDove:你所說的沒區別,是這樣吧?MDove:那你有沒有換過別的寫法呢?會發現a = a + b是沒辦法編譯通過的,需要強制類型轉換才可以。但是我們的a + = b卻可以,這是為什麼呢?其實很簡單。讓我們反編譯一下這個class文件,就可以很清晰的給出答案:MDove:所以它們二者的區別就很清楚了吧?在這種a比b類型範圍要小的情況下。
  • b樹和b+樹有什麼不同 b樹和b+樹特點區別匯總
    首頁 > 問答 > 關鍵詞 > b樹最新資訊 > 正文 b樹和b+樹有什麼不同 b樹和b+樹特點區別匯總
  • b48b20c和b48b20d有什麼區別
    【太平洋汽車網】b48b20c和b48b20d有什麼區別?寶馬發動機b20c是低功率版,b20d是高功率版,曲軸和活塞不一樣,其他基本上都是一樣的。有人把引擎稱為發動機,其實,發動機是一整套動力輸出設備,包括變速齒輪、引擎和傳動軸等等,可見引擎只是整個發動機的一個部分,但卻是整個發動機的核心部分。人們不斷地研製出各種不同類型的發動機,主要可分為:內燃機、外燃機、電動機三類。(圖/文/攝:太平洋汽車網 李苑麗)
  • 接口測試實戰| GET/POST 請求區別詳解
    在日常的工作當中,HTTP 請求中使用最多的就是 GET 和 POST 這兩種請求方式。
  • 「紅花椒」和「青花椒」有什麼區別?不懂你的菜白做了
    那麼說到花椒,不知大家是否知道花椒也是分為了紅花椒和青花椒的,通過名字想必大家都知道,這兩種花椒在顏色上就有很大的區別,除了這一點之外,這兩種花椒還有什麼區別呢!並且嫂子還說,就算是花椒也不能隨便放,不然你的菜就白做了。下面咱們就來看看紅花椒和青花椒的區別吧!【紅花椒和青花椒的區別】1、顏色上的區別這個區別只要是看見後都能發現,是一種很直觀的區別,紅花椒表面是呈現一種深紅色,而青花椒表面則是青綠色的,就好像是未成熟那樣。
  • Web測試和APP測試有什麼區別?
    testkuaibao | 自學軟體測試公眾號    不管是傳統行業的web測試,還是app測試,都離不開測試的基礎知識,
  • 心理測試:這對情侶在做什麼,測試你的內心和外表有多不同?
    為了生活,很多人的內心和外表已經有了很大的偏差,想做的不敢去做,想說的不敢去說,只能強顏歡笑地做出這個世界喜歡的樣子。長此以往,內心會日益遭受扭曲和分裂的痛苦,還不如早點做決斷。那麼,你的內心世界和外表一樣嗎?來測一下吧。
  • 必須知道的App測試和Web測試的區別
    隨著移動網際網路的極速發展,移動應用更是呈指數增長,在app測試方面更是需求大漲,已經完全超過以往web測試,今天就簡單說說兩者的區別,希望對測試攻城獅們有幫助。從功能測試方面的來看,在流程和功能測試上是沒有區別的。系統測試和一些細節可能會不一樣。
  • 本科畢業斬獲字節offer的我做了什麼準備?大廠面試經驗試題分享
    前言字節面試整體流程大致分為筆試,性格測試,面試,綜合面試,回學校等結果。筆試來說,字節的難度較中等,選擇題難度和網易騰訊差不多。最後的代碼題,相比下來就簡單很多,一共3道題目,前2題很容易就AC,題目已經記不太清楚,不過難度確實不大。最後一題最後提交的代碼過了75%的樣例,一直沒有發現剩下的25%可能存在什麼坑。
  • 開發商做的地暖和自己做的地暖有什麼區別?
    開發商做的地暖和自己做的地暖有什麼區別? 昨天和一位業主溝通房子裝修的問題,業主問,現在房子裡邊開發商給做的地暖需不需要全部扒出來以後重新做。 這個問題其實挺難回答的,如果說必須扒掉重新鋪,讓業主感覺故意掙他錢似的。
  • 看這裡,Sales 和 Marketing 到底有什麼區別?
    Sales 和 Marketing 到底有什麼區別?,有些東西可能不會看地很深入,所以有差錯的地方盡情諒解。銷售和市場究竟選哪個?我適不適合做銷售?其實在摸索的過程中發現曾經給自己下的結論很幼稚,因為不同行業的銷售很不一樣,所需要的品質也很不一樣。
  • 當一個測試工程師準備找工作,需要準備什麼?
    安卓系統四層架構安卓四大組件什麼是安卓activity,activity的生命周期首頁跳轉某頁面後返回到首頁,activity經歷了怎樣的過程APP發生crash測試需要怎麼處理(區分IOS/Android)你常見的發生crash的日誌是什麼什麼是安卓ANR,如何避免安卓crash和ANR
  • 在醫院做的心理測試有什麼用?
    (原標題:在醫院做的心理測試有什麼用?)不過,有不少因如失眠、頭痛甚至心臟病等求醫而轉診到心理科的患者,醫生同樣會安排他們做心理測試。「醫生,這些問題能看出心理問題?」「醫生,網上不是有很多測試嗎,我幹嘛花錢做這個?」這些疑問,你是否也有過?
  • 「澱粉」和「生粉」有什麼區別?不懂你的菜白做了
    不過很多人在使用這兩種粉狀的時候,根本就沒辦法區分澱粉和生粉,也不知道它們之間到底有什麼作用,所以在做菜的時候,不少人因為放錯了這兩種粉狀
  • Try to do和Try doing到底有什麼區別?
    試著通過結合單詞前後的句子,來猜測單詞大意Try:嘗試嘗試做某事,到底用try to do…還是try doing…?這個問題一定困擾你很久很好記憶!,試試看(含有一種測試是否可行有效的意味)強調邊做邊看做法是否可行You should try to eat more fruit.
  • HR:我為什麼說你進大廠水平不夠?
    所以應屆生究竟要達到什麼水平才能進大廠呢?現在很多企業都有自己的網申系統,而大廠名企的網申數量也大都能達到20000以上,可最後能通過網申的往往只有10分之1,由此可見網申的殘酷性。難度係數:★★★☆☆一、內容。
  • b樹和b+樹的區別是什麼?b+樹數據結構詳細介紹
    B樹即二叉搜索樹,所有非葉子結點至多擁有兩個兒子(Left和Right,所有結點存儲一個關鍵字,非葉子結點的左指針指向小於其關鍵字的子樹,右指針指向大於其關鍵字的子樹。那麼b+樹和b+樹的區別是什麼?以下是b+樹數據結構詳細介紹。
  • 一篇文章教會你如何做【可用性測試】
    測試可以驗證一些設計中的疑惑,或者找出現有的界面、流程設計上的問題,具體問題要具體分析。·什麼時候在哪裡做測試(when?where?)?時間一般是需要和測試者協調的;地點一般選擇在安靜的會議室即可,如果公司有專門的實驗室那就最好不過了。·誰要作為測試者(who)?