[北京]百觀 Lab - Python 數據爬蟲工程師[17-26K]

2021-01-08 Future數碼人

Hey 各位新年好，

BigOne Lab 在擴充爬蟲工程師團隊。有興趣了解一下話，請聯繫我，mailto:ted@bigonelab.com，必復。Thanks for reading!

Cheers,

Ted

BigOne Lab is Hiring / 加入我們

百觀 Lab是一個年輕開放，矽谷風格的金融數據技術公司，致力於給全球投資機構抓取、分析、可視化非常規數據的產品。我們的客戶是位於北京，紐約，和新加坡的數家國際一流投資機構，涉及的投資決策上千萬美金。百觀 Lab 於 2016 年獲得了真格基金百萬美元天使輪融資，2017 年獲得了千萬級 PreA 輪融資。

我們位於北京，是一個快速成長的國際化創業團隊，成員來自 Baidu, Bloomberg, Xiaomi, Sohu, Ping++, Goldman Sachs, Credit Suisse, Yipit Data, iResearch 等國際一流技術、數據、與金融公司，團隊一半成員擁有海外學習與工作經歷。為了做出最棒的產品，我們需要同樣充滿好奇心，技藝高超的小夥伴。我們提供：

有競爭力的待遇 + 期權激勵

有趣的同事

超棒的辦公環境，緊鄰雍和宮五道營 #我們也不喜歡西二旗

彈性工作制 #我們也不相信 996

Herman Miller 座椅

和百觀技術顧問團交流學習的機會 (百度機器學習 T9，前豌豆莢資深架構師，斯坦福 AI 博士等)

MacBook Pro，零食飲料，免費午餐，免費口罩...

Openings / 開放職位

高級 /Lead Python 爬蟲與數據工程師 / 22-38k

職位描述：

Python 數據與爬蟲工程師將是團隊核心成員。我們會一起挑戰有趣的技術難題，在自由開放的氛圍下，帶領數據工程師團隊，將前沿的數據抓取與存儲技術轉化成業界獨一無二，極具價值的產品。

職責：

帶領工程師團隊探索並實踐前沿爬蟲技術與存儲技術

帶領工程師團隊完成分布式爬蟲架構的開發，維護，與優化

編寫數據分析腳本

要求：

3 年以上經驗

熱愛技術，對解決具有挑戰性問題富有激情，學習能力和求知慾強

具備強悍的編碼能力，內功紮實

熟悉 linux 開發環境，熟悉 python，畢竟 life is short

有過分布式爬蟲開發、架構、優化經驗

熟悉 scrapy/celery/redis/mongodb/mysql 者優先

一線大學計算機或相關專業

加分：

有帶領小團隊經驗

有過逆向工程、反編譯、破解 app 經驗

有個人博客、參與開源項目、可提供 Github/StackOverflow/知乎等 id

Python 爬蟲與數據工程師 / 17-26k

職位描述：

數據工程師將是團隊核心成員。我們會一起挑戰有趣的技術難題，在自由開放的氛圍下，將前沿的數據抓取與存儲技術轉化成業界獨一無二，極具價值的產品。

職責：

探索並實踐前沿爬蟲技術與存儲技術

分布式爬蟲系統的開發，維護，與優化

對接第三方數據源，清洗入庫

編寫數據分析腳本

要求：

熱愛技術，對解決具有挑戰性問題富有激情，學習能力和求知慾強

具備強悍的編碼能力，內功紮實

熟悉 linux 開發環境，熟悉 python，畢竟 life is short

有過分布式爬蟲開發經驗者優先

熟悉 scrapy/redis/mongodb/mysql 者優先

一線大學計算機或相關專業

加分：

有過逆向工程、反編譯、破解 app 經驗

有個人博客、參與開源項目、可提供 Github/StackOverflow/知乎等 id

相關焦點

  • 開課吧Python:Python爬蟲是什麼?爬蟲工程師薪資怎麼樣?
    其實一般是通過程序在網頁上獲取你想要的數據，也就是自動抓取數據。為什麼需要用爬蟲？你可以想像一個場景:你在微博上崇拜一個名人，被他的微博迷住了。你要把他這十年微博裡的每一句話都摘抄下來。這個時候你會怎麼做？手動上Ctrl+C和Ctrl+V？
  • Python視頻教程網課編程零基礎入門數據分析網絡爬蟲全套Python...
    愛家租房項目 18通用爬蟲模塊使用 19Mongodb資料庫 20爬蟲scrapy框架及案例 21數據分析 22機器學習 23深度學習 24數據結構和算法 25python網絡爬蟲 26機器學習入門篇 27機器學習入門篇2 28機器學習提升篇
  • 起薪2萬的爬蟲工程師,Python需要學到什麼程度才可以就業?
    起薪2萬的爬蟲工程師，Python需要學到什麼程度才可以就業？ 爬蟲工程師的的薪資為20K起，當然，因為大數據，薪資也將一路上揚。那麼，Python需要學到什麼程度呢?今天我們來看看3位前輩的回答。
  • python之kmeans數據聚類算法
    一 Kmeans原理kmeans是屬於無監督學習的數據聚類算法，根據點與點之間的距離推測每個點屬於哪個中心，常用計算距離的方式有：餘弦距離、歐式距離、曼哈頓距離等，本文以歐式距離為例。圖1假設每個點的維度是n，即每個點有n個特徵維度，計算這些點數據到數據中心A、B、C的距離，從而將每個數據歸類到A或B或C。
  • 「蟲災」波及百融雲創?網上招聘爬蟲工程師,卻稱沒有相關業務
    隨著多家大數據公司或被查、或暫停部分業務，一時間行業風聲鶴唳。先有魔蠍科技、新顏科技接連被查，緊接其後公信寶也被貼上封條，聚信立被爆停止對外提供用戶授權的運營商爬蟲服務。在這場不斷擴大的旋渦中，百融雲創或也陷入其中。有報導稱，或受此次風波影響，百融雲創對C端用戶的個人徵信數據無法使用，更有百融深圳分公司員工被帶走的傳聞。
  • 大數據人才缺口這麼大,現在轉行大數據容易嗎?
    隨著國家信息的高速發展和人工智慧的興起，從2016年開始全國各大高校陸續開設了大數據專業，但主要還是985/211院校居多，這意味著大數據專業設立時間短而且不是所有的學校都有，直接結果就是畢業生數量不能滿足市場需求。另外大數據覆蓋範圍很廣泛，比如電商，金融，醫療，交通，農業等各行各業都有應用，所以市場缺口大，崗位需求多。
  • Python爬蟲學到什麼程度就可以去找工作了?
    有朋友在群裡和大家討論，問的最多的問題就是，python 爬蟲學到什麼程度可以去找工作了，關於這點，和大家分享下我的理解。確立目標、了解需求首先我們要先定位自己的目標，當然我們先以爬蟲工程師來做個說明。
  • 數據科學的Python軟體包
    巨大的社區支持Python具有廣泛的社區支持之一，在dev op社區上存在各種活躍的論壇，python開發人員在該論壇上發布他們的錯誤，而社區則試圖幫助他們。各種用於數據科學的Python庫到目前為止，我們已經介紹了什麼是數據科學以及為什麼要使用Python，現在讓我們討論可用於數據科學的各種python庫。1.
  • 超硬核的 Python 數據可視化教程!
    matplotlibpython中最基本的作圖庫就是matplotlib，是一個最基礎的Python可視化庫，一般都是從matplotlib上手Python數據可視化，然後開始做縱向與橫向拓展。在python中，我們可以總結為以下四種基本視覺元素來展現圖形：點：scatter plot 二維數據，適用於簡單二維關係; 線：line plot 二維數據
  • python時間序列平穩性檢驗專題及常見問題 - CSDN
    而寬平穩的定義為，如果{Xt}滿足以下三個條件：(1)任取t∈T，有E(Xt·Xt)(2)任取t∈T，有E Xt =μ，μ為常數；(3)任取t，s，k∈T，且k+s-t∈T，有γ(t, s)=γ(k, k+s-t)則稱{Xt}為寬平穩時間序列。
  • 不吹不黑,Jupyter Lab 3.0客觀使用體驗
    2 jupyter lab 3.0使用體驗為了不幹擾現有的環境，我們通過以下代碼創建新的環境，並安裝最新穩定版本的jupyter lab：conda create -n temp python=3.7 -yconda activate temppip install jupyterlab -U 這樣我們的
  • 用Python實現簡易超市售貨系統
    今天來實現一個簡單的超市售貨系統數據存儲形式為json的數據首先是讀取數據，這裡用到的Python的json庫，用於處理json類型的數據```pythondef load(): # 數據讀取j = open('goods.txt', 'r', encoding='utf-8')# 逐行讀取文件中的數據
  • Python學習第89課-數據可視化之直方圖繪製
    【每天幾分鐘，從零入門python編程的世界！】假設你想投資某一個城市的房地產，你肯定需要對這個城市的人口分布、增長潛力做一個調查，這時我們就需要做一個直方圖（histogram plot）。實例：假設我們有一份C城市的人口年齡的數據，我們為方便起見，在這裡只列出很少的一部分數據，用一個列表City_C_Age表示這個城市的人口年齡數據：City_C_Age=[2,3,1,7,4,5,3,1,7,6,9,8,13,16,12,17,15,14,18,,20,23,28,25,23,27,25,29,26,24,25,30,34,37,36,38,32,35,37,36,41,42,47,47,48,43,46,44,53,54,58,52,51,55,56,69,60,63,67,64,72,74,78,75,89,85,83,90,93
  • Python數據類型串講(中)
    2、列表在對序列有了大體的認識後，現在開始介紹序列中最具代表性的數據類型——列表。python中列表以中括號'[ ]'為標識，將一個或多個元素（以逗號分隔）括起來為一個列表，其元素可以為python中任意一種數據類型包括列表本身，且各元素不需要具備相同的數據類型。
  • Python數據分析:pandas讀取和寫入數據
    我的公眾號是關於自己在數據分析/挖掘學習過程中的一些技術和總結分享，文章會持續更新......繼續深入學習pandas相關操作，數據讀取寫入、分組、合併，轉換等等。前面一篇文章裡已經寫了關於描述性統計以及常用的基本操作。接下來的一段時間裡，我將陸續地去掌握並輸出。這篇文章是關於數據讀取與寫入的知識點。
  • python數據類型總結——列表
    python用列表或元組來幫助我們。python列表一系列元素組成一個集合，可能通過索引，對每個元素進行訪問。這種數據類型統稱為序列。在python中，字符串就是一種序列。列表遍歷這種遍歷也可以用於字符串，如下：字符串遍歷python
  • 數據分析從業者必看,10 個加速 python 數據分析的簡單的小技巧
    ，在數據科學領域同樣如此。其中，有些可能是相當有名的，有些可能是新的，但我相信下次您從事數據分析項目時，它們會非常有用。1.Profiling the pandas dataframeProfiling 是一個幫助我們理解數據的程序，而 Pandas Profiling 正是實現這一點的一個 python 包。
  • python隨機模塊22個函數詳解(上)
    作者：小伍哥來源： AI入門學習今天給大家介紹下python中的隨機模塊，隨機數可以用於數學，遊戲，安全等領域中，還經常被嵌入到算法中，用以提高算法效率，並提高程序的安全性。平時數據分析各種分布的數據構造也會用到。
  • Python,爬蟲開發的不二選擇
    如果我們把網際網路比作一張大的蜘蛛網，數據便是存放於蜘蛛網的各個節點，而爬蟲就是一隻小蜘蛛，沿著網絡抓取自己的獵物（數據）。爬蟲指的是：向網站發起請求，獲取資源後分析並提取有用數據的程序。如今，人類社會已經進入了大數據時代，如何高效的獲取數據，已經成了各個網際網路公司的技術研發重點，掌握爬蟲技術已經成為了大數據公司技術人員不可或缺的一項技能。
  • 「python學習手冊-筆記」003.數值類型
    In [25]: 10//4,10//-4Out[25]: (2, -3)In [26]: 10//9,10//-9Out[26]: (1, -2)通過這兩個例子就可以很好的看出來了.In [33]: 5//-2Out[33]: -3In [34]: math.trunc(5/-2)Out[34]: -2按位操作按位操作在處理網絡數據包,串行程序等二進位數據的時候十分方便,所以python中如C語言一樣