【導語】：今天我們來聊聊地攤經濟，Python技術部分請看第四部分。
Show me data，用數據說話
今天我們聊一聊 地攤經濟
點擊下方視頻，先睹為快：
知乎上有一個問題：疫情結束後，你最想做的一件事是什麼？
有人這樣回答，最想見的人就是家樓下燒烤店的老闆；最想做的事，就是來一紮啤酒，來幾十個串，一個人慢慢悠悠地吃，然後看著周圍的人熱熱鬧鬧地聊天。
一場疫情，終於不少人明白：原來搖晃的紅酒杯，並不是生活的全部。平平淡淡的煙火氣才是生活的真諦。
最近，帶著煙火氣的地攤經濟，火了。
這一切都源於成都的一個嘗試：3月，成都就出臺政策，允許商戶在規定區域內臨時佔道經營。一時間，燒烤攤、服裝攤、小商品攤紛紛擺上了路邊。
兩個月後，成都公布數據顯示，解決了10萬就業，幫助中心城區餐飲店復工率超98%。原本一季度GDP同比下降3%的成都，一下子又恢復了活力。
人流回來了，城市的活力就回來了。
突然之間，地攤經濟成了人們茶餘飯後的談資，許多人都已經開始籌劃著擺攤賣什麼了。曾經的城管不讓擺，到今天的城管喊你來擺攤，地攤經濟的時代真的到來了嗎？今天我們就帶你用數據盤一盤。
地攤經濟火了！
微博微熱點數據
我們先看到微博微熱點的數據：
來源：http://www.wrd.cn/goSearch.sht
全網熱度指數趨勢
從全網熱度指數的變化趨勢來看，地攤經濟的熱度在6月3日起逐步升溫，6月4日9時達到了99.69的峰值。
全網關鍵詞雲圖
再看到全網關鍵詞雲圖，在與地攤經濟相關的全部信息中， 提及頻次最高的詞語依次為"地攤經濟"、"擺攤"和"全員"。
B站視頻彈幕數據
目前在B站上也湧現出許多關於地攤經濟的視頻。
我們看到其中這個關於成都地攤經濟與文化的視頻，目前該個視頻在B站上播放量達到14.1萬，收穫了3856條彈幕。
地址：
https://www.bilibili.com/video/BV1Ft4y1y7iG?from=search&seid=12113765873623399312
那麼這些彈幕中大家都在談論些什麼呢？我們對這些彈幕進行分析整理，讓我們看到詞雲圖。
彈幕詞雲圖
可以看到大家討論最多的就是除了"地攤"、"成都"，還有就是"衛生"、"城管"、"利潤"等內容。其中地攤"美食"、"小吃"、"燒烤"、"乾淨"也是大家十分關注的問題。
是否支持地攤經濟彈幕投票
在視頻結尾，也發起了你是否支持地攤經濟的彈幕投票，支持的打數字1，不支持的打數字2，據統計共有1869條彈幕參與投票，其中91.44%的彈幕表示支持，不支持的僅佔8.56%。
微博評論話題數據
再讓我們看到對地攤經濟討論呼聲最高的微博。
首先看到微博話題：#你會考慮擺地攤嗎# 我們共分析整理了3436條評論數據：
可以看到在考慮是否擺地攤時，大家考慮最多的就是"城管"的問題了，曾經的城管不讓擺，到今天的城管喊你來擺攤，真是活久見啊。其次"經濟"、"營業額"、"收入"等也是大家特別關心的焦點。
下面是 #如果擺地攤你會賣什麼# 這個話題，目前該話題共有408.6萬的閱讀，共3934條討論， 去重後我們得到3657條數據。
評論詞雲
通過分析詞雲可以發現，"貼膜"是許多人都想嘗試的地攤項目。其次"燒烤"、"烤冷麵"、"煎餅果子"等街頭美食是許多人的選擇。除了吃的，"賣花"、"飾品"、"襪子"等商品也是很多人想嘗試的。有意思的是，"算命"也被多次提到。
再看到 #你的專業擺地攤兒能幹啥# 我們共獲取1641條討論數據。
這裡就比較有意思了：
我們可以看到比如新聞傳播專業的小夥伴選擇賣報紙、機械專業選擇專業開鎖、哲學專業選擇看相算命等魔幻操作。
都是哪些人在參與地攤話題的討論呢？我們對參與話題的微博用戶進行了分析，共獲得4875條條數據。
微博評論用戶性別佔比
可以看到，在參與話題的用戶中，女性用戶佔比達到了71.62%，而男性用戶僅佔28.38%。在地攤經濟的話題中，女性用戶參與比例遠超男性用戶。
評論用戶地區分布
參與話題的用戶都來自哪些地區呢？經過分析整理可以看到，廣東、北京、河南地區參與度最高，分布位居前三名。其次是江蘇、也有不少參與話題的海外用戶。
評論用戶年齡分布
地攤經濟的話題評論中，用戶年齡分布又是怎樣的呢？經過分析可見，90後的參與度最高，佔比高達70.56%。其次是00後，佔比12.58%。然後80後位居第三，佔比為9.15%。
擺攤吧 後浪！
教你用Python分析微博數據
微博評論數據分析
我們使用Python獲取了微博地攤經濟話題的熱門評論數據和B站熱門視頻彈幕數據，進行了處理和分析。B站彈幕的爬蟲之前已經展示過，此處放上微博評論爬蟲關鍵代碼。
01 數據獲取微博分為：微博網頁端、微博手機端、以及微博移動端，此次我們選擇手機端（https://m.weibo.cn/）進行數據的抓取。
我們要演示的網址如下：
https://weibo.com/5382520929/J4UtmkJUJ?type=comment#_rnd1591495913796
打開上面的網址之後，使用谷歌瀏覽器的抓包工具，將設備切換到手機端並再次刷新網頁。
通過分析網頁可以發現，評論的數據是通過動態js進行加載的，分析得到真實的數據請求地址：
https://m.weibo.cn/comments/hotflow?id=4511703964943057&mid=4511703964943057&max_id=140218361800408&max_id_type=0
參數說明如下：
id/mid:評論ID，抓包獲取。
max_id/max_id_type: 前一頁返回的response數據中。
我們使用requests獲取數據，使用json進行解析並提取數據，關鍵代碼如下：
# 導入包
import requests
import numpy as np
import pandas as pd
import re
import time
import json
from faker import Factory
def get_weibo_comment(ids, mid, max_page, max_id=0, max_id_type=0):
"""
功能：獲取指定微博的評論數據，數據接口由chrome切換到手機端抓包獲取。
注意事項：此程序每次獲取的數量有限制，每次獲取之後隔5分鐘再抓取即可
"""
max_id = max_id
max_id_type = max_id_type
# 存儲數據
df_all = pd.DataFrame()
for i in range(1, max_page):
# 列印進度
print('我正在獲取第{}頁的評論信息'.format(i))
# 獲取URL
url = 'https://m.weibo.cn/comments/hotflow?id={}&mid={}&max_id={}&max_id_type={}'.format(ids, mid, max_id, max_id_type)
# 添加headers
headers = {
'User-Agent': Factory().create().user_agent(),
'Referer': 'https://m.weibo.cn/detail/1591254045309',
'cookie': '複製cookie信息',
'X-Requested-With': 'XMLHttpRequest',
}
# 發起請求
try:
r = requests.get(url, headers=headers, timeout=3)
except Exception as e:
print(e)
r = requests.get(url, headers=headers, timeout=3)
if r.status_code==200:
# 解析數據
json_data = json.loads(r.text)
# 獲取數據
comment_data = json_data['data']['data']
created_time = [i.get('created_at') for i in comment_data]
text = [i.get('text') for i in comment_data]
user_id = [i['user'].get('id') for i in comment_data]
screen_name = [i['user'].get('screen_name') for i in comment_data]
reply_num = [i.get('total_number') for i in comment_data]
like_count = [i.get('like_count') for i in comment_data]
# max_id
max_id = json_data['data']['max_id']
# max_id_type
max_id_type = json_data['data']['max_id_type']
# 存儲數據
df_one = pd.DataFrame({
'created_time': created_time,
'text': text,
'user_id': user_id,
'screen_name': screen_name,
'reply_num': reply_num,
'like_count': like_count
})
# 追加
df_all = df_all.append(df_one, ignore_index=True)
# 休眠一秒
time.sleep(np.random.uniform(2))
else:
print('解析出錯！列印最後一次的值', max_id, max_id_type)
continue
return df_all
# 運行函數
if __name__ == '__main__':
# 獲取一條微博評論
df = get_weibo_comment(ids='4511703964943057', mid='4511703964943057', max_page=200)
獲取到的數據以數據框的形式存儲，包含評論時間、評論文本、評論用戶id，回複數和點讚數。格式如下所示：
02 數據預處理我們對獲取的數據進行初步的處理，主要包含：
重複值處理
created_time：提取時間信息
text：初步清洗
user_id：根據用戶ID獲取用戶相關信息，步驟暫略。
# 重複值
df = df.drop_duplicates()
# 轉換字典
week_transform = {
'Mon': '星期一',
'Tue': '星期二',
'Wed': '星期三',
'Thu': '星期四',
'Fri': '星期五',
'Sat': '星期六',
'Sun': '星期日'
}
# 提取星期
df['day_week'] = df['created_time'].str.split(' ').apply(lambda x:x[0])
df['day_week'] = df['day_week'].map(week_transform)
# 提取日期時間
df['time'] = df['created_time'].str.split(' ').map(lambda x:x[-1]+'-'+x[1]+'-'+x[2]+' '+x[3])
df['time'] = df.time.str.replace('May', '05').str.replace('Jun', '06')
# text 欄位處理
pattern = '<span.*?</span>|<a.*?</a>'
df['text'] = [re.sub(pattern, '', i) for i in df['text']]
# 刪除列
df = df.drop(['created_time', 'user_id', 'screen_name'], axis=1)
經過清洗之後的數據格式如下：
03 數據可視化分析我們使用pyecharts和stylecloud進行可視化分析，此處只展示部分代碼。
def get_cut_words(content_series):
# 讀入停用詞表
stop_words = []
with open("stop_words.txt", 'r', encoding='utf-8') as f:
lines = f.readlines()
for line in lines:
stop_words.append(line.strip())
# 添加關鍵詞
my_words = ['胸口碎大石', '烤冷麵', '貼膜', '賣衣服', '套大鵝']
for i in my_words:
jieba.add_word(i)
# 定義停用詞
my_stop_words = ['信公號', '擺地攤', '擺攤', '地攤', '哈哈哈哈', '手機',
'這是', '這是哪', '哈哈哈', '真的', '一千', '專業',
'有人', '我要', '那種', '只能', '好吃', '喜歡', '城管',
'評論', '賣點', '有沒有', '秘籍',
]
stop_words.extend(my_stop_words)
# 分詞
word_num = jieba.lcut(content_series.str.cat(sep='。'), cut_all=False)
# 條件篩選
word_num_selected = [i for i in word_num if i not in stop_words and len(i)>=2]
return word_num_selected
# 分詞
text = get_cut_words(content_series=df.text)
# 獲取top10
shengyi_num = pd.Series(text)
num_top10 = shengyi_num.value_counts()[:10]
# 條形圖
bar1 = Bar(init_opts=opts.InitOpts(width='1350px', height='750px'))
bar1.add_xaxis(num_top10.index.tolist())
bar1.add_yaxis('', num_top10.values.tolist())
bar1.set_global_opts(title_opts=opts.TitleOpts(title='如果去擺地攤該做什麼生意-Top10'),
visualmap_opts=opts.VisualMapOpts(max_=150)
)
bar1.render()
# 繪製詞雲圖
stylecloud.gen_stylecloud(text=' '.join(text),
collocations=False,
font_path=r'C:\Windows\Fonts\msyh.ttc', # 更換為本機的字體
icon_name='fas fa-pie-chart',
size=768,
output_name='如果去擺地攤該做什麼生意.png')
Image(filename='如果去擺地攤該做什麼生意.png')