python爬蟲26 | 把數據爬取後就存儲到MySQL

小帥b說過

在這幾篇中會著重說說將爬取下來的數據進行存儲

上次我們說了一種 csv 的存儲方式

這次主要來說說怎麼將爬取下來的數據保存到 MySQL 資料庫

接下來就是

學習python的正確姿勢

真香假設

本文假設你已經安裝好MySQL

並且懂了一些 MySQL 的使用

例如簡單「增刪改查」的語句

如果你還沒安裝 MySQL

可以到以下連結去安裝一下

https://www.mysql.com/downloads/

在你的 MySQL 中創建一個資料庫吧

就叫...

AV-Idol

用 root 的身份進入你的 MySQL

• 
  

sudo mysql -u root -p

輸入 MySQL 的用戶名密碼之後

就可以開始操作 MySQL 啦

我們來創建一個資料庫

如果 avIdol 這個資料庫不存在於我們的 MySQL 裡面

那就創建一個出來

• 
  
• 
  

mysql> create database if not exists avIdol;Query OK, 1 row affected (0.01 sec)

這樣

我們就創建出一個資料庫了

接下來

我們就使用 python 來操作這個資料庫吧

我們需要使用到 pymysql 這個庫

專門用來操作 MySQL 的

可以用 pip 安裝一下

• 
  

 pip install pymysql

接下來我們就連接到我們剛剛創建的資料庫

然後在這個資料庫裡面創建一張 beautyGirls 表

專門用來存放漂亮美眉的信息

• 
  
• 
  
• 
  
• 
  
• 
  
• 
  
• 
  
• 
  
• 
  
• 
  
• 
  
• 
  
• 
  
• 
  
• 
  
• 
  
• 
  

import pymysql34;你的資料庫地址&34;資料庫帳號&34;資料庫密碼&34;avIdol& 接著我們獲取 cursor 來操作我們的 avIdol 這個資料庫cursor = db.cursor()34;&34;create table beautyGirls ( name char(20) not null, age int)&34;& 最後我們關閉這個資料庫的連接db.close()

運行一下

沒報什麼錯就說明我們成功創建數據表了

我們回到資料庫看下是否創建成功

通過 show tables

可以看到我們資料庫成功創建了 beautyGirls 這張婊，哦不，表

通過 show full columns from beautyGirls;

可以看到我們在這張表中創建了 name 和 age 這兩個欄位

有了資料庫和數據表了

那麼接下來我們就往資料庫插入數據看看

• 
  
• 
  
• 
  
• 
  
• 
  
• 
  
• 
  
• 
  
• 
  
• 
  
• 
  
• 
  
• 
  
• 
  
• 
  
• 
  
• 
  
• 
  
• 
  
• 
  

import pymysql34;localhost&34;root&34;root&34;avIdol& 接著我們獲取 cursor 來操作我們的 avIdol 這個資料庫cursor = db.cursor()34;insert into beautyGirls(name, age) values (&39;, 18)& 回滾 db.rollback()34;delete from beautyGirls where age = &39;&39;xsb.csv& 當engine連接的時候我們就插入數據engine = create_engine(&39;)with engine.connect() as conn, conn.begin(): df.to_sql(&39;, conn, if_exists=&39;)

運行一下

然後打開我們剛剛創建的 xsb 資料庫查詢一下

可以看到

我們就將 csv 中的內容插入到資料庫啦

ok

以上就是使用 python 操作資料庫的具體操作

以後小帥b在爬蟲項目例子中還會提及 MySQL

那麼

我們下回見

peace