首先，在當前的大數據應用環境下，如果單純做Python爬蟲開發，那麼在崗位競爭力上還是有所欠缺的。要想找到一個比較滿意的工作崗位，還需要進一步完善自身的知識結構。
Python語言目前在整個IT行業有廣泛的應用，包括Web開發（傳統解決方案之一）、大數據開發、人工智慧開發（機器學習等）、嵌入式開發和各種後端服務開發，但是得益於大數據和人工智慧的發展，近幾年來Python語言有了明顯的上升趨勢，未來的發展空間還是非常值得期待的。
隨著Python語言的發展，目前不少程式設計師開始轉向Python開發，在學習Python開發的過程中，一個比較常見的案例就是採用Python開發爬蟲。用Python開發爬蟲是比較方便的，尤其在當前的大數據時代，通過爬蟲來獲取Web數據是一個比較常見的數據採集方式，所以在大數據應用的早期，通過Python開發爬蟲是不少Python程式設計師的重要工作內容之一。
但是隨著大數據採集技術的逐漸成熟，一些爬蟲類工具也越發完善，通過Python開發爬蟲的需求也有了一定程度的下滑，這在一定程度上降低了Python爬蟲開發的崗位需求量。早期從事Python爬蟲的工作崗位多集中在網際網路公司和行業資訊公司，隨著相關崗位的人員配備逐漸齊全，這部分崗位的招聘需求量必然會下降。
隨著物聯網的發展，目前對於大數據的採集工作會向物聯網和行業領域轉移，這也是產業網際網路發展階段的一個重要特點，所以單純從事Python爬蟲開發在未來的就業形勢並不明朗，建議進一步掌握通過Python進行數據分析等技能。
我從事網際網路行業多年，目前也在帶計算機專業的研究生，主要的研究方向集中在大數據和人工智慧領域，我會陸續寫一些關於網際網路技術方面的文章，感興趣的朋友可以關注我，相信一定會有所收穫。
如果有網際網路方面的問題，也可以諮詢我，謝謝！