Python:《Python應用實例欣賞》第7課數據處理與爬取

昨天是選修課最後一節正課，為了給學生一些考前提示，提前10分鐘開始回顧了一下前六節的主要內容，不知道他們是否能否懂我。今天高二復學後的驗收考試，估計高二的學生很可能沒心思聽課了，不過通過課堂上兩次互動來看，在線人數還可以的。回顧比預計的多用了5分鐘，於是將本來準備賞析的三個實例縮減為最主要的兩個「學籍數據合併」和「黑龍江疫情數據爬取」，「最強大腦遊戲」留給學生自行賞析了。

這個例子源自老婆大人的一個真實的工作需求，當時我用電子表格的函數+批處理提取文件名的方法解決了，但是每次需要打開全部的電子表格文件，相對麻煩一些，好處是電子表格她熟悉，能夠隨時根據需要調整數據。當時也想用Python來解決，但我不會。後來結識了「巧樂希」公眾號的「公主」小溪流，把需求提給了她，沒想到她居然專門寫了一篇文章針對性將Excel中的數據匯總-Python來助力，方法還是非常的簡單的。
昨日備課將例子修改為學生相對熟悉的內容，這也是我前段時間在幫助孩子班級整理疫情數據時遇到的真實需求。我的技術不止用來服務老婆孩子，下一篇寫一寫服務於學校的內容。在教學時強調編程解決問題的出發點：處理的數據量大 or 重複利用，這兩個條件具備一個就可以。強調對於非計算機相關專業人員，能達到可以看懂這個程序並根據自己的需求修改，以解決自己的問題即可。我目前就是這個水平。為了演示效果我造了6個學生數據，如果有數量更多的數據效果會更好，但因為涉及隱私我沒有拿孩子班級的數據，涉及的數據都是虛構的。

演示結束之後，給學生解釋代碼。注意代碼中標註了引用，演示文稿中也聲明了引用。這裡一方面對作者感謝，另一方面也培養學生尊重知識分享者的意識，同時也以身作則的引導學生利用網絡資源進行數位化學習。在上課中我甚至強調我是邊學習便教學，把我學習的過程都告訴學生，希望他們了解數位化學習的方法，這也是一種數位化學習與創新素養的培養方法。

#改編自微信公眾號巧樂希中《針對性將Excel中的數據匯總-Python來助力》一文from openpyxl import load_workbookfrom openpyxl import Workbookimport os
#指定需要合併Excel所在的文件夾路徑#***引號中的內容是我修改的地方path = "學籍信息"
#獲取所有子文件名file_list = list(os.walk(path))[0][2]
#創建一個新的表格wb_new = Workbook()ws_new = wb_new.active#添加表格的第一行表頭，想要什麼表頭就自己編寫#***括號內的文字是我修改的地方ws_new.append(["學籍號","姓名","身份證號","父親姓名","身份證號","電話","工作單位職務","母親姓名","身份證號","電話","工作單位職務"])
#從文件夾中取出所有文件，遍歷for file in file_list:    #打開對應的文件    wb = load_workbook(path+"\\"+file)    ws = wb.active    #這裡去尋找對應單元格的行號和列數，如果有合併的單元格，列數已合併後的第一列數為標準    #***下面這些行是我修改的地方    s_id = ws.cell(row = 3, column = 2).value    s_name = ws.cell(row = 2, column = 2).value    s_pid = ws.cell(row = 4, column = 2).value    f_name = ws.cell(row = 8, column = 1).value    f_id = ws.cell(row = 8, column = 5).value    f_ph = ws.cell(row = 8, column = 6).value    f_c = ws.cell(row = 8, column = 4).value    m_name = ws.cell(row = 9, column = 1).value    m_id = ws.cell(row = 9, column = 5).value    m_ph = ws.cell(row = 9, column = 6).value    m_c = ws.cell(row = 9, column = 4).value    #將對應取出的數據存放入列表中    _list = [s_id,s_name,s_pid,f_name,f_id,f_ph,f_c,m_name,m_id,m_ph,m_c]    #向後追加一行數據    ws_new.append(_list)#***括號中的文件名也是我修改地方wb_new.save('學籍匯總表.xlsx')print("匯總完成！！！")
在教學中我主要介紹了，爬取數據所需的模塊、數據源的獲取方法（包括瀏覽器F12分析數據源的過程），演示了直接訪問數據源網址呈現的內容。對正則表達式和json做了極其簡單的介紹。演示了爬取豆瓣網高分影評的電影排行，介紹了b站視頻爬取代碼失效的原因——反爬取（不一定是，只是藉機引出存在發爬取這種技術）和爬取協議。告訴學生可以嘗試修改省份，或嘗試製作市級疫情地圖。
總之，這個實例僅僅是了解爬蟲技術的存在，強調這部分內容要想使用的話，需要深入學習。
最後，再次強調下周考試的方式，期待他們的精彩的作文。
信息技術教學的路很長，
行走路上與您一路同行！
● 感謝訪問，歡迎交流