學習Python要知道哪些重要的庫和工具

2021-12-24 機器學習研究院
環境管理

管理 Python 版本和環境的工具

p:非常簡單的交互式 python 版本管理工具。

pyenv:簡單的 Python 版本管理工具。

Vex:可以在虛擬環境中執行命令。

virtualenv:創建獨立 Python 環境的工具。

virtualenvwrapper:virtualenv 的一組擴展。

包管理

管理包和依賴的工具。

pip:Python 包和依賴關係管理工具。

pip-tools:保證 Python 包依賴關係更新的一組工具。

pipenv:Pyhton 官方推薦的新一代包管理工具。

conda:跨平臺,Python 二進位包管理工具。

Curdling:管理 Python 包的命令行工具。

wheel:Python 分發的新標準,意在取代 eggs。

包倉庫

本地 PyPI 倉庫服務和代理。

warehouse:下一代 PyPI。

bandersnatch:PyPA 提供的 PyPI 鏡像工具。

devpi:PyPI 服務和打包/測試/分發工具。

localshop:本地 PyPI 服務(自定義包並且自動對 PyPI 鏡像)。

分發

打包為可執行文件以便分發。

PyInstaller:將 Python 程序轉換成獨立的執行文件(跨平臺)。

dh-virtualenv:構建並將 virtualenv 虛擬環境作為一個 Debian 包來發布。

Nuitka:將腳本、模塊、包編譯成可執行文件或擴展模塊。

py2app:將 Python 腳本變為獨立軟體包(Mac OS X)。

py2exe:將 Python 腳本變為獨立軟體包(Windows)。

pynsist:一個用來創建 Windows 安裝程序的工具,可以在安裝程序中打包 Python 本身。

構建工具

將源碼編譯成軟體。

buildout:一個構建系統,從多個組件來創建,組裝和部署應用。

BitBake:針對嵌入式 Linux 的類似 make 的構建工具。

fabricate:對任何語言自動找到依賴關係的構建工具。

PlatformIO:多平臺命令行構建工具。

PyBuilder:純 Python 實現的持續化構建工具。

SCons:軟體構建工具。

交互式解析器

交互式 Python 解析器。

IPython:功能豐富的工具,非常有效的使用交互式 Python。

bpython:界面豐富的 Python 解析器。

ptpython:高級交互式 Python 解析器, 構建於 python-prompt-toolkit 之上。

文件

文件管理和 MIME(多用途的網際郵件擴充協議)類型檢測。

imghdr:(Python 標準庫)檢測圖片類型。

mimetypes:(Python 標準庫)將文件名映射為 MIME 類型。

path.py:對 os.path 進行封裝的模塊。

pathlib:(Python3.4+ 標準庫)跨平臺的、面向對象的路徑操作庫。

python-magic:文件類型檢測的第三方庫 libmagic 的 Python 接口。

Unipath:用面向對象的方式操作文件和目錄。

watchdog:管理文件系統事件的 API 和 shell 工具。

日期和時間

操作日期和時間的類庫。

arrow:更好的 Python 日期時間操作類庫。

Chronyk:Python 3 的類庫,用於解析手寫格式的時間和日期。

dateutil:Python datetime 模塊的擴展。

delorean:解決 Python 中有關日期處理的棘手問題的庫。

moment:一個用來處理時間和日期的 Python 庫。靈感來自於 Moment.js。

pendulum:一個比 arrow 更具有明確的,可預測的行為的時間操作庫。

PyTime:一個簡單易用的 Python 模塊,用於通過字符串來操作日期/時間。

pytz:現代以及歷史版本的世界時區定義。將時區資料庫引入 Python。

when.py:提供用戶友好的函數來幫助用戶進行常用的日期和時間操作。

文本處理

用於解析和操作文本的庫。

通用

chardet:字符編碼檢測器,兼容 Python2 和 Python3。

difflib:(Python 標準庫)幫助我們進行差異化比較。

ftfy:讓 Unicode 文本更完整更連貫。

fuzzywuzzy:模糊字符串匹配。

Levenshtein:快速計算編輯距離以及字符串的相似度。

pangu.py:在中日韓語字符和數字字母之間添加空格。

pypinyin:漢字拼音轉換工具 Python 版。

shortuuid:一個生成器庫,用以生成簡潔的,明白的,URL 安全的 UUID。

simplejson:Python 的 JSON 編碼、解碼器。

unidecode:Unicode 文本的 ASCII 轉換形式 。

uniout:列印可讀的字符,而不是轉義的字符串。

xpinyin:一個用於把漢字轉換為拼音的庫。

yfiglet-figlet:pyfiglet -figlet 的 Python 實現。

Slug 化

awesome-slugify:一個 Python slug 化庫,可以保持 Unicode。

python-slugify:Python slug 化庫,可以把 unicode 轉化為 ASCII。

unicode-slugify:一個 slug 工具,可以生成 unicode slugs ,需要依賴 Django 。

解析器

phonenumbers:解析,格式化,儲存,驗證電話號碼。

PLY:lex 和 yacc 解析工具的 Python 實現。

Pygments:通用語法高亮工具。

pyparsing:生成通用解析器的框架。

python-nameparser:把一個人名分解為幾個獨立的部分。

python-user-agents:瀏覽器 user agent 解析器。

sqlparse:一個無驗證的 SQL 解析器。

特殊文本格式處理

一些用來解析和操作特殊文本格式的庫。

通用

Office

Marmir:把輸入的 Python 數據結構轉換為電子表單。

openpyxl:一個用來讀寫 Excel 2010 xlsx/xlsm/xltx/xltm 文件的庫。

python-docx:讀取,查詢以及修改 Microsoft Word 2007/2008 docx 文件。

unoconv:在 LibreOffice/OpenOffice 支持的任意文件格式之間進行轉換。

XlsxWriter:一個用於創建 Excel .xlsx 文件的 Python 模塊。

xlwings:一個使得在 Excel 中方便調用 Python 的庫(反之亦然),基於 BSD 協議。

xlwt:讀寫 Excel 文件的數據和格式信息。 / xlrd

relatorio:模板化 OpenDocument 文件。

PDF

PDFMiner:一個用於從 PDF 文檔中抽取信息的工具。

PyPDF2:一個可以分割,合併和轉換 PDF 頁面的庫。

ReportLab:快速創建富文本 PDF 文檔。

Markdown

Mistune:快速並且功能齊全的純 Python 實現的 Markdown 解析器。

Python-Markdown:John Gruber’s Markdown 的 Python 版實現。

Python-Markdown2:純 Python 實現的 Markdown 解析器,比 Python-Markdown 更快,更準確,可擴展。

YAML

CSV

Archive

自然語言處理

用來處理人類語言的庫。

NLTK:一個先進的平臺,用以構建處理人類語言數據的 Python 程序。

jieba:中文分詞工具。

langid.py:獨立的語言識別系統。

Pattern:Python 網絡信息挖掘模塊。

SnowNLP:一個用來處理中文文本的庫。

TextBlob:為進行普通自然語言處理任務提供一致的 API。

TextGrocery:一簡單高效的短文本分類工具,基於 LibLinear 和 Jieba。

文檔

用以生成項目文檔的庫。

Sphinx:Python 文檔生成器。

awesome-sphinxdoc:

MkDocs:對 Markdown 友好的文檔生成器。

pdoc:一個可以替換 Epydoc 的庫,可以自動生成 Python 庫的 API 文檔。

Pycco:文學編程(literate-programming)風格的文檔生成器。

readthedocs:一個基於 Sphinx/MkDocs 的在線文檔託管系統,對開源項目免費開放使用。

配置

用來保存和解析配置的庫。

config:logging 模塊作者寫的分級配置模塊。

ConfigObj:INI 文件解析器,帶驗證功能。

ConfigParser:(Python 標準庫) INI 文件解析器。

profig:通過多種格式進行配置,具有數值轉換功能。

python-decouple:將設置和代碼完全隔離。

命令行工具

用於創建命令行程序的庫。

命令行程序開發

asciimatics:跨平臺,全屏終端包(即滑鼠/鍵盤輸入和彩色,定位文本輸出),完整的複雜動畫和特殊效果的高級 API。

cement:Python 的命令行程序框架。

click:一個通過組合的方式來創建精美命令行界面的包。

cliff:一個用於創建命令行程序的框架,可以創建具有多層命令的命令行程序。

clint:Python 命令行程序工具。

colorama:跨平臺彩色終端文本。

docopt:Python 風格的命令行參數解析器。

Gooey:一條命令,將命令行程序變成一個 GUI 程序。

python-prompt-toolkit:一個用於構建強大的交互式命令行程序的庫。

python-fire:Google 出品的一個基於 Python 類的構建命令行界面的庫。

Pythonpy:在命令行中直接執行任何 Python 指令。

生產力工具

aws-cli:Amazon Web Services 的通用命令行界面。

bashplotlib:在終端中進行基本繪圖。

caniusepython3:判斷是哪個項目妨礙你你移植到 Python3。

cookiecutter:從 cookiecutters(項目模板)創建項目的一個命令行工具。

doitlive:一個用來在終端中進行現場演示的工具。

pyftpdlib:一個速度極快和可擴展的 Python FTP 服務庫。

howdoi:通過命令行獲取即時的編程問題解答。

httpie:一個命令行 HTTP 客戶端,cURL 的替代品,易用性更好。

PathPicker:從 bash 輸出中選出文件。

percol:向 UNIX shell 傳統管道概念中加入交互式選擇功能。

SAWS:一個加強版的 AWS 命令行。

thefuck:修正你之前的命令行指令。

mycli:一個 MySQL 命令行客戶端,具有自動補全和語法高亮功能。

pgcli:Postgres 命令行工具,具有自動補全和語法高亮功能。

try:一個從來沒有更簡單的命令行工具,用來試用 python 庫。

下載器

用來進行下載的庫.

s3cmd:一個用來管理 Amazon S3 和 CloudFront 的命令行工具。

s4cmd:超級 S3 命令行工具,性能更加強勁。

you-get:一個 YouTube/Youku/Niconico 視頻下載器,使用 Python3 編寫。

youtube-dl:一個小巧的命令行程序,用來下載 YouTube 視頻。

圖像處理

用來操作圖像的庫.

pillow:Pillow 是一個更加易用版的 PIL。

hmap:圖像直方圖映射。

imgSeek:一個使用視覺相似性搜索一組圖片集合的項目。

nude.py:裸體檢測。

pyBarcode:不藉助 PIL 庫在 Python 程序中生成條形碼。

pygram:類似 Instagram 的圖像濾鏡。

python-qrcode:一個純 Python 實現的二維碼生成器。

Quads:基於四叉樹的計算機藝術。

scikit-image:一個用於(科學)圖像處理的 Python 庫。

thumbor:一個小型圖像服務,具有剪裁,尺寸重設和翻轉功能。

wand:MagickWand的 Python 綁定。MagickWand 是 ImageMagick 的 C API 。

face_recognition:簡單易用的 python 人臉識別庫。

OCR

光學字符識別庫。

pyocr:Tesseract 和 Cuneiform 的一個封裝(wrapper)。

pytesseract:Google Tesseract OCR 的另一個封裝(wrapper)。

python-tesseract:Google Tesseract OCR 的一個包裝類。

音頻

用來操作音頻的庫

audiolazy:Python 的數位訊號處理包。

audioread:交叉庫 (GStreamer + Core Audio + MAD + FFmpeg) 音頻解碼。

beets:一個音樂庫管理工具及 MusicBrainz 標籤添加工具。

dejavu:音頻指紋提取和識別。

django-elastic-transcoder:Django + Amazon Elastic Transcoder。

eyeD3:一個用來操作音頻文件的工具,具體來講就是包含 ID3 元信息的 MP3 文件。

id3reader:一個用來讀取 MP3 元數據的 Python 模塊。

m3u8:一個用來解析 m3u8 文件的模塊。

mutagen:一個用來處理音頻元數據的 Python 模塊。

pydub:通過簡單、簡潔的高層接口來操作音頻文件。

pyechonest:Echo Nest API 的 Python 客戶端。

talkbox:一個用來處理演講/信號的 Python 庫。

TimeSide:開源 web 音頻處理框架。

tinytag:一個用來讀取 MP3, OGG, FLAC 以及 Wave 文件音樂元數據的庫。

mingus:一個高級音樂理論和曲譜包,支持 MIDI 文件和回放功能。

Video

用來操作視頻和 GIF 的庫。

地理位置

地理編碼以及用來處理經緯度的庫。

GeoDjango:世界級地理圖形 web 框架。

GeoIP:MaxMind GeoIP Legacy 資料庫的 Python API。

geojson:GeoJSON 的 Python 綁定及工具。

geopy:Python 編碼工具箱。

pygeoip:純 Python GeoIP API。

django-countries:一個 Django 應用程式,提供用於表格的國家選擇功能,國旗圖標靜態文件以及模型中的國家欄位。

HTTP

使用 HTTP 的庫。

requests:人性化的 HTTP 請求庫。

grequests:requests 庫 + gevent ,用於異步 HTTP 請求.

httplib2:全面的 HTTP 客戶端庫。

treq:類似 requests 的 Python API 構建於 Twisted HTTP 客戶端之上。

urllib3:一個具有線程安全連接池,支持文件 post,清晰友好的 HTTP 庫。

資料庫

Python 實現的資料庫。

資料庫驅動

用來連接和操作資料庫的庫。

MySQL:awesome-mysql 系列

mysql-python:Python 的 MySQL 資料庫連接器。

ysqlclient:mysql-python 分支,支持 Python 3。

oursql:一個更好的 MySQL 連接器,支持原生預編譯指令和 BLOBs.

PyMySQL:純 Python MySQL 驅動,兼容 mysql-python。

PostgreSQL

psycopg2:Python 中最流行的 PostgreSQL 適配器。

queries:psycopg2 庫的封裝,用來和 PostgreSQL 進行交互。

txpostgres:基於 Twisted 的異步 PostgreSQL 驅動。

其他關係型資料庫

apsw:另一個 Python SQLite 封裝。

dataset:在資料庫中存儲 Python 字典

pymssql:一個簡單的 Microsoft SQL Server 資料庫接口。

NoSQL 資料庫

cassandra-python-driver:Cassandra 的 Python 驅動。

HappyBase:一個為 Apache HBase 設計的,對開發者友好的庫。

Plyvel:一個快速且功能豐富的 LevelDB 的 Python 接口。

py2neo:Neo4j restful 接口的 Python 封裝客戶端。

pycassa:Cassandra 的 Python Thrift 驅動。

PyMongo:MongoDB 的官方 Python 客戶端。

redis-py:Redis 的 Python 客戶端。

telephus:基於 Twisted 的 Cassandra 客戶端。

txRedis:基於 Twisted 的 Redis 客戶端。

ORM

實現對象關係映射或數據映射技術的庫。

關係型資料庫

Django Models:Django 的一部分。

SQLAlchemy:Python SQL 工具以及對象關係映射工具。

Peewee:一個小巧,富有表達力的 ORM。

PonyORM:提供面向生成器的 SQL 接口的 ORM。

python-sql:編寫 Python 風格的 SQL 查詢。

NoSQL 資料庫

django-mongodb-engine:Django MongoDB 後端。

PynamoDB:Amazon DynamoDB 的一個 Python 風格接口。

flywheel:Amazon DynamoDB 的對象映射工具。

MongoEngine:一個 Python 對象文檔映射工具,用於 MongoDB。

hot-redis:為 Redis 提供 Python 豐富的數據類型。

redisco:一個 Python 庫,提供可以持續存在在 Redis 中的簡單模型和容器。

其他

Web 框架

全棧 Web 框架。

Django:Python 界最流行的 web 框架。

Flask:一個 Python 微型框架。

pyramid:一個小巧,快速,接地氣的開源 Python web 框架。

Bottle:一個快速小巧,輕量級的 WSGI 微型 web 框架。

CherryPy:一個極簡的 Python web 框架,服從 HTTP/1.1 協議且具有 WSGI 線程池。

TurboGears:一個可以擴展為全棧解決方案的微型框架。

web.py:一個 Python 的 web 框架,既簡單,又強大。

web2py:一個全棧 web 框架和平臺,專注於簡單易用。

Tornado:一個 web 框架和異步網絡庫。

權限

允許或拒絕用戶訪問數據或功能的庫。

Carteblanche:站在用戶和設計者角度開發的一個代碼對齊模塊,很好地處理了代碼導航及權限。

django-guardian:Django 1.2+ 實現了單個對象權限。

django-rules:一個小巧但是強大的應用,提供對象級別的權限管理,且不需要使用資料庫。

CMS

內容管理系統

odoo-cms: 一個開源的,企業級 CMS,基於 odoo。

django-cms:一個開源的,企業級 CMS,基於 Django。

djedi-cms:一個輕量級但卻非常強大的 Django CMS ,考慮到了插件,內聯編輯以及性能。

FeinCMS:基於 Django 構建的最先進的內容管理系統之一。

Kotti:一個高級的,Python 範的 web 應用框架,基於 Pyramid 構建。

Mezzanine:一個強大的,持續的,靈活的內容管理平臺。

Opps:一個為雜誌,報紙網站以及大流量門戶網站設計的 CMS 平臺,基於 Django。

Plone:一個構建於開源應用伺服器 Zope 之上的 CMS。

Quokka:靈活,可擴展的小型 CMS,基於 Flask 和 MongoDB。

Wagtail:一個 Django 內容管理系統。

Widgy:最新的 CMS 框架,基於 Django。

電子商務

用於電子商務以及支付的框架和庫。

django-oscar:一個用於 Django 的開源的電子商務框架。

django-shop:一個基於 Django 的店鋪系統。

Cartridge:一個基於 Mezzanine 構建的購物車應用。

shoop:一個基於 Django 的開源電子商務平臺。

alipay:非官方的 Python 支付寶 API。

merchant:一個可以接收來自多種支付平臺支付的 Django 應用。

money:一個貨幣類庫。帶有可選的 CLDR 後端本地化格式,提供可擴展的貨幣兌換解決方案。

python-currencies:顯示貨幣格式以及它的數值。

RESTful API

用來開發 RESTful APIs 的庫

Django

django-rest-framework:一個強大靈活的工具,用來構建 web API。

django-tastypie:為 Django 應用開發 API。

django-formapi:為 Django 的表單驗證,創建 JSON APIs 。

Flask

flask-api:為 flask 開發的,可瀏覽 Web APIs 。

flask-restful:為 flask 快速創建 REST APIs 。

flask-restless:為 SQLAlchemy 定義的資料庫模型創建 RESTful APIs 。

flask-api-utils:為 Flask 處理 API 表示和驗證。

eve:REST API 框架,由 Flask, MongoDB 等驅動。

Pyramid

與框架無關的

falcon:一個用來建立雲 API 和 web app 後端的高性能框架。

sandman:為現存的資料庫驅動系統自動創建 REST APIs 。

restless:框架無關的 REST 框架 ,基於從 Tastypie 學到的知識。

ripozo:快速創建 REST/HATEOAS/Hypermedia APIs。

驗證

實現驗證方案的庫。

OAuth

Authomatic:簡單但是強大的框架,身份驗證/授權客戶端。

django-allauth:Django 的驗證應用。

django-oauth-toolkit:為 Django 用戶準備的 OAuth2。

django-oauth2-provider:為 Django 應用提供 OAuth2 接入。

Flask-OAuthlib:OAuth 1.0/a, 2.0 客戶端實現,供 Flask 使用。

OAuthLib:一個 OAuth 請求-籤名邏輯通用、 完整的實現。

python-oauth2:一個完全測試的抽象接口。用來創建 OAuth 客戶端和服務端。

python-social-auth:一個設置簡單的社會化驗證方式。

rauth:OAuth 1.0/a, 2.0, 和 Ofly 的 Python 庫。

sanction:一個超級簡單的 OAuth2 客戶端實現。

其他

jose:JavaScript 對象籤名和加密草案的實現。

PyJWT:JSON Web 令牌草案 01。

python-jws:JSON Web 籤名草案 02 的實現。

python-jwt:一個用來生成和驗證 JSON Web 令牌的模塊。

模板引擎

模板生成和詞法解析的庫和工具。

Jinja2:一個現代的,對設計師友好的模板引擎。

Chameleon:一個 HTML/XML 模板引擎。 模仿了 ZPT(Zope Page Templates), 進行了速度上的優化。

Genshi:Python 模板工具,用以生成 web 感知的結果。

Mako:Python 平臺的超高速輕量級模板。

Queue

處理事件以及任務隊列的庫。

celery:一個異步任務隊列/作業隊列,基於分布式消息傳遞。

huey:小型多線程任務隊列。

mrq:Mr. Queue -一個 Python 的分布式 worker 任務隊列, 使用 Redis 和 gevent。

rq:簡單的 Python 作業隊列。

simpleq:一個簡單的,可無限擴張的,基於亞馬遜 SQS 的隊列。

搜索

對數據進行索引和執行搜索查詢的庫和軟體。

django-haystack:Django 模塊化搜索。

elasticsearch-py:Elasticsearch 的官方底層 Python 客戶端。

elasticsearch-dsl-py:Elasticsearch 的官方高級 Python 客戶端。

solrpy:solr 的 Python 客戶端。

Whoosh:一個快速的純 Python 搜尋引擎庫。

動態消息

用來創建用戶活動的庫。

資源管理

管理、壓縮、縮小網站資源的工具。

django-compressor:將連結和內聯的 JavaScript 或 CSS 壓縮到一個單獨的緩存文件中。

django-storages:一個針對 Django 的自定義存儲後端的工具集合。

fanstatic:打包、優化,並且把靜態文件依賴作為 Python 的包來提供。

File Conveyor:一個後臺駐留的程序,用來發現和同步文件到 CDNs, S3 和 FTP。

Flask-Assets:幫你將 web 資源整合到你的 Flask app 中。

jinja-assets-compressor:一個 Jinja 擴展,用來編譯和壓縮你的資源。

webassets:為你的靜態資源打包、優化和管理生成獨一無二的緩存 URL。

緩存

緩存數據的庫。

Beaker:一個緩存和會話庫,可以用在 web 應用和獨立 Python 腳本和應用上。

django-cache-machine:Django 模型的自動緩存和失效。

django-cacheops:具有自動顆粒化事件驅動失效功能的 ORM。

django-viewlet:渲染模板,同時具有額外的緩存控制功能。

dogpile.cache:dogpile.cache 是 Beaker 的下一代替代品,由同一作者開發。

HermesCache:Python 緩存庫,具有基於標籤的失效和 dogpile effect 保護功能。

johnny-cache:django 應用緩存框架。

pylibmc:libmemcached 接口的 Python 封裝。

電子郵件

用來發送和解析電子郵件的庫。

django-celery-ses:帶有 AWS SES 和 Celery 的 Django email 後端。

envelopes:供人類使用的電子郵件庫。

flanker:一個 email 和 Mime 解析庫。

imbox:Python IMAP 庫。

inbox.py:Python SMTP 伺服器。

inbox:一個開源電子郵件工具箱。

lamson:Python 風格的 SMTP 應用伺服器。

mailjet:Mailjet API 實現,用來提供批量發送郵件,統計等功能。

marrow.mailer:高性能可擴展郵件分發框架。

modoboa:一個郵件託管和管理平臺,具有現代的、簡約的 Web UI。

pyzmail:創建,發送和解析電子郵件。

Talon:Mailgun 庫,用來抽取信息和籤名。

國際化

用來進行國際化的庫。

Babel:一個 Python 的國際化庫。

Korean:一個韓語詞態庫。

URL 處理

解析 URLs 的庫

furl:一個讓處理 URL 更簡單小型 Python 庫。

purl:一個簡單的,不可變的 URL 類,具有簡潔的 API 來進行詢問和處理。

pyshorteners:一個純 Python URL 縮短庫。

shorturl:生成短小 URL 和類似 bit.ly 短鏈的 Python 實現。

webargs:一個解析 HTTP 請求參數的庫,內置對流行 web 框架的支持,包括 Flask, Django, Bottle, Tornado 和 Pyramid。

HTML 處理

處理 HTML 和 XML 的庫。

BeautifulSoup:以 Python 風格的方式來對 HTML 或 XML 進行迭代,搜索和修改。

bleach:一個基於白名單的 HTML 清理和文本連結庫。

cssutils:一個 Python 的 CSS 庫。

html5lib:一個兼容標準的 HTML 文檔和片段解析及序列化庫。

lxml:一個非常快速,簡單易用,功能齊全的庫,用來處理 HTML 和 XML。

MarkupSafe:為 Python 實現 XML/HTML/XHTML 標記安全字符串。

pyquery:一個解析 HTML 的庫,類似 jQuery。

untangle:將 XML 文檔轉換為 Python 對象,使其可以方便的訪問。

xhtml2pdf:HTML/CSS 轉 PDF 工具。

xmltodict:像處理 JSON 一樣處理 XML。

爬取網絡站點的庫

Scrapy:一個快速高級的屏幕爬取及網頁採集框架。

cola:一個分布式爬蟲框架。

Demiurge:基於 PyQuery 的爬蟲微型框架。

feedparser:通用 feed 解析器。

Grab:站點爬取框架。

MechanicalSoup:用於自動和網絡站點交互的 Python 庫。

portia:Scrapy 可視化爬取。

pyspider:一個強大的爬蟲系統。

RoboBrowser:一個簡單的,Python 風格的庫,用來瀏覽網站,而不需要一個獨立安裝的瀏覽器。

網頁內容提取

用於進行網頁內容提取的庫。

Haul:一個可以擴展的圖像爬取工具。

html2text:將 HTML 轉換為 Markdown 格式文本。

lassie:人性化的網頁內容檢索庫。

micawber:一個小型網頁內容提取庫,用來從 URLs 提取富內容。

newspaper:使用 Python 進行新聞提取,文章提取以及內容策展。

opengraph:一個用來解析開放內容協議(Open Graph Protocol)的 Python 模塊。

python-goose:HTML 內容/文章提取器。

python-readability:arc90 公司 readability 工具的 Python 高速埠。

sanitize:為雜亂的數據世界帶來調理性。

sumy:一個為文本文件和 HTML 頁面進行自動摘要的模塊。

textract:從任何格式的文檔中提取文本,Word,PowerPoint,PDFs 等等。

表單

進行表單操作的庫。

Deform:Python HTML 表單生成庫,受到了 formish 表單生成庫的啟發。

django-bootstrap3:集成了 Bootstrap 3 的 Django。

django-crispy-forms:一個 Django 應用,他可以讓你以一種非常優雅且 DRY(Don't repeat yourself) 的方式來創建美觀的表單。

django-remote-forms:一個平臺獨立的 Django 表單序列化工具。

WTForms:一個靈活的表單驗證和呈現庫。

WTForms-JSON:一個 WTForms 擴展,用來處理 JSON 數據。

數據驗證

數據驗證庫。多用於表單驗證。

Cerberus:一個映射驗證器(mappings-validator)。支持多種規則,提供歸一化功能,可以方便地定製為 Python 風格的 schema 定義。

colander:一個用於對從 XML, JSON,HTML 表單獲取的數據或其他同樣簡單的序列化數據進行驗證和反序列化的系統。

kmatch:一種用於匹配/驗證/篩選 Python 字典的語言。

schema:一個用於對 Python 數據結構進行驗證的庫。

Schematics:數據結構驗證。

valideer:輕量級可擴展的數據驗證和適配庫。

voluptuous:一個 Python 數據驗證庫。主要是為了驗證傳入 Python 的 JSON,YAML 等數據。

反垃圾技術

幫助你和電子垃圾進行戰鬥的庫。

標記

用來進行標記的庫。

管理面板

管理界面庫。

Ajenti:一個你的伺服器值得擁有的管理面板。

django-suit:Django 管理界面的一個替代品 (僅對於非商業用途是免費的)。

django-xadmin:Django admin 的一個替代品,具有很多不錯的功能。

flask-admin:一個用於 Flask 的簡單可擴展的管理界面框架。

flower:一個對 Celery 集群進行實時監控和提供 web 管理界面的工具。

Grappelli:Django 管理界面的一個漂亮的皮膚。

Wooey:一個 Django 應用,可以為 Python 腳本創建 web 用戶界面。

靜態站點生成器

靜態站點生成器是一個軟體,它把文本和模板作為輸入,然後輸出 HTML 文件。

Pelican:使用 Markdown 或 ReST 來處理內容, Jinja 2 來製作主題。支持 DVCS, Disqus.。AGPL 許可。

Cactus:為設計師設計的靜態站點生成器。

Hyde:基於 Jinja2 的靜態站點生成器。

Nikola:一個靜態網站和博客生成器。

Tinkerer:Tinkerer 是一個博客引擎/靜態站點生成器,由 Sphinx 驅動。

Lektor:一個簡單易用的靜態 CMS 和博客引擎。

進程

作業系統進程啟動及通信庫。

並發和並行

用以進行並發和並行操作的庫。

multiprocessing:(Python 標準庫) 基於進程的「線程」接口。

threading:(Python 標準庫)更高層的線程接口。

eventlet:支持 WSGI 的異步框架。

gevent:一個基於協程的 Python 網絡庫,使用 greenlet。

Tomorrow:用於產生異步代碼的神奇的裝飾器語法實現。

uvloop:在 libuv 之上超快速實現 asyncio 事件循環。

網絡

用於網絡編程的庫。

asyncio:(Python 標準庫) 異步 I/O, 事件循環, 協程以及任務。

Twisted:一個事件驅動的網絡引擎。

pulsar:事件驅動的並發框架。

diesel:基於 Greenlet 的事件 I/O 框架。

pyzmq:一個 ZeroMQ 消息庫的 Python 封裝。

txZMQ:基於 Twisted 的 ZeroMQ 消息庫的 Python 封裝。

WebSocket

幫助使用 WebSocket 的庫。

AutobahnPython:給 Python 、使用的 WebSocket & WAMP 基於 Twisted 和 asyncio。

Crossbar:開源統一應用路由(Websocket & WAMP for Python on Autobahn)。

django-socketio:給 Django 用的 WebSockets。

WebSocket-for-Python:為 Python2/3 以及 PyPy 編寫的 WebSocket 客戶端和伺服器庫。

WSGI 伺服器

兼容 WSGI 的 web 伺服器

gunicorn:Pre-forked, 部分是由 C 語言編寫的。

uwsgi:uwsgi 項目的目的是開發一組全棧工具,用來建立託管服務, 由 C 語言編寫。

bjoern:異步,非常快速,由 C 語言編寫。

fapws3:異步 (僅對於網絡端),由 C 語言編寫。

meinheld:異步,部分是由 C 語言編寫的。

netius:異步,非常快速。

paste:多線程,穩定,久經考驗。

rocket:多線程。

waitress:多線程, 是它驅動著 Pyramid 框架。

Werkzeug:一個 WSGI 工具庫,驅動著 Flask ,而且可以很方便大嵌入到你的項目中去。

RPC 伺服器

兼容 RPC 的伺服器。

SimpleJSONRPCServer:這個庫是 JSON-RPC 規範的一個實現。

SimpleXMLRPCServer:(Python 標準庫) 簡單的 XML-RPC 伺服器實現,單線程。

zeroRPC:zerorpc 是一個靈活的 RPC 實現,基於 ZeroMQ 和 MessagePack。

密碼學

cryptography:這個軟體包意在提供密碼學基本內容和方法提供給 Python 開發者。

hashids:在 Python 中實現 hashids 。

Paramiko:SSHv2 協議的 Python (2.6+, 3.3+) ,提供客戶端和服務端的功能。

Passlib:安全密碼存儲/哈希庫,

PyCrypto:Python 密碼學工具箱。

PyNacl:網絡和密碼學(NaCl) 庫的 Python 綁定。

圖形用戶界面

用來創建圖形用戶界面程序的庫。

curses:內建的 ncurses 封裝,用來創建終端圖形用戶界面。

enaml:使用類似 QML 的 Declaratic 語法來創建美觀的用戶界面。

kivy:一個用來創建自然用戶交互(NUI)應用程式的庫,可以運行在 Windows, Linux, Mac OS X, Android 以及 iOS 平臺上。

pyglet:一個 Python 的跨平臺窗口及多媒體庫。

PyQt:跨平臺用戶界面框架 Qt 的 Python 綁定 ,支持 Qt v4 和 Qt v5。

PySide:跨平臺用戶界面框架 Qt 的 Python 綁定 ,支持 Qt v4。

Tkinter:Tkinter 是 Python GUI 的一個事實標準庫。

Toga:一個 Python 原生的, 作業系統原生的 GUI 工具包。

urwid:一個用來創建終端 GUI 應用的庫,支持組件,事件和豐富的色彩等。

wxPython:wxPython 是 wxWidgets C++ 類庫和 Python 語言混合的產物。

PyGObject:GLib/GObject/GIO/GTK+ (GTK+3) 的 Python 綁定。

Flexx:Flexx 是一個純 Python 語言編寫的用來創建 GUI 程序的工具集,它使用 web 技術進行界面的展示。

遊戲開發

超讚的遊戲開發庫。

Cocos2d:cocos2d 是一個用來開發 2D 遊戲, 示例和其他圖形/交互應用的框架。基於 pyglet。

Panda3D:由迪士尼開發的 3D 遊戲引擎,並由卡內基梅隴娛樂技術中心負責維護。使用 C++ 編寫, 針對 Python 進行了完全的封裝。

Pygame:Pygame 是一組 Python 模塊,用來編寫遊戲。

PyOgre:Ogre 3D 渲染引擎的 Python 綁定,可以用來開發遊戲和仿真程序等任何 3D 應用。

PyOpenGL:OpenGL 的 Python 綁定及其相關 APIs。

PySDL2:SDL2 庫的封裝,基於 ctypes。

RenPy:一個視覺小說(visual novel)引擎。

日誌

用來生成和操作日誌的庫。

測試

進行代碼庫測試和生成測試數據的庫。

測試框架

unittest:(Python 標準庫) 單元測試框架。

nose:nose 擴展了 unittest 的功能。

contexts:一個 Python 3.3+ 的 BDD 框架。受到 C# – Machine.Specifications 的啟發。

hypothesis:Hypothesis 是一個基於先進的 Quickcheck 風格特性的測試庫。

mamba:Python 的終極測試工具, 擁護 BDD。

PyAutoGUI:PyAutoGUI 是一個人性化的跨平臺 GUI 自動測試模塊。

pyshould:Should 風格的斷言,基於 PyHamcrest。

pytest:一個成熟的全功能 Python 測試工具。

green:乾淨,多彩的測試工具。

pyvows:BDD 風格的測試工具,受 Vows.js 的啟發。

Robot Framework:一個通用的自動化測試框架。

Web 測試

Selenium:Selenium WebDriver 的 Python 綁定。

locust:使用 Python 編寫的,可擴展的用戶加載測試工具。

sixpack:一個和語言無關的 A/B 測試框架。

splinter:開源的 web 應用測試工具。

Mock 測試

mock:(Python 標準庫) 一個用於偽造測試的庫。

doublex:Python 的一個功能強大的 doubles  測試框架。

freezegun:通過偽造日期模塊來生成不同的時間。

httmock:針對 Python 2.6+ 和 3.2+ 生成 偽造請求的庫。

httpretty:Python 的 HTTP 請求 mock 工具。

responses:偽造 Python 中的 requests 庫的一個通用庫。

VCR.py:在你的測試中記錄和重放 HTTP 交互。

對象工廠

factoryboy:一個 Python 用的測試固件 (test fixtures) 替代庫。

mixer:另外一個測試固件 (test fixtures) 替代庫,支持 Django, Flask, SQLAlchemy, Peewee 等。

modelmommy:為 Django 測試創建隨機固件。

代碼覆蓋率

偽數據

錯誤處理

代碼分析和 Lint 工具

進行代碼分析,解析和操作代碼庫的庫和工具。

代碼分析

coala:語言獨立和易於擴展的代碼分析應用程式。

code2flow:把你的 Python 和 JavaScript 代碼轉換為流程圖。

pycallgraph:這個庫可以把你的 Python 應用的流程(調用圖)進行可視化。

pysonar2:Python 類型推斷和檢索工具。

Lint 工具

Flake8:模塊化源碼檢查工具: pep8, pyflakes 以及 co。

Pylint:一個完全可定製的源碼分析器。

YAPF: Google 的 Python 代碼格式化工具。

pylama:Python 和 JavaScript 的代碼審查工具。

代碼格式化

調試工具

用來進行代碼調試的庫。

調試器

ipdb:IPython 啟用的 pdb。

pudb:全屏,基於控制臺的 Python 調試器。

pyringe:可以在 Python 進程中附加和注入代碼的調試器。

wdb:一個奇異的 web 調試器,通過 WebSockets 工作。

winpdb:一個具有圖形用戶界面的 Python 調試器,可以進行遠程調試,基於 rpdb2。

django-debug-toolbar:為 Django 顯示各種調試信息。

django-devserver:一個 Django 運行伺服器的替代品。

flask-debugtoolbar:django-debug-toolbar 的 flask 版。

性能分析器

其他

科學計算和數據分析

用來進行科學計算和數據分析的庫。

astropy:一個天文學 Python 庫。

bcbio-nextgen:這個工具箱為全自動高通量測序分析提供符合最佳實踐的處理流程。

bccb:生物分析相關代碼集合。

Biopython:Biopython 是一組可以免費使用的用來進行生物計算的工具。

blaze:NumPy 和 Pandas 的大數據接口。

cclib:一個用來解析和解釋計算化學軟體包輸出結果的庫。

NetworkX:一個為複雜網絡設計的高性能軟體。

Neupy:執行和測試各種不同的人工神經網絡算法。

Numba:Python JIT (just in time) 編譯器,針對科學用的 Python ,由 Cython 和 NumPy 的開發者開發。

NumPy:使用 Python 進行科學計算的基礎包。

Open Babel:一個化學工具箱,用來描述多種化學數據。

Open Mining:使用 Python 挖掘商業情報 (BI) (Pandas web 接口)。

orange:通過可視化編程或 Python 腳本進行數據挖掘,數據可視化,分析和機器學習。

Pandas:提供高性能,易用的數據結構和數據分析工具。

PyDy:PyDy 是 Python Dynamics 的縮寫,用來為動力學運動建模工作流程提供幫助, 基於 NumPy, SciPy, IPython 和 matplotlib。

PyMC:馬爾科夫鏈蒙特卡洛採樣工具。

RDKit:化學信息學和機器學習軟體。

SciPy:由一些基於 Python ,用於數學,科學和工程的開源軟體構成的生態系統。

statsmodels:統計建模和計量經濟學。

SymPy:一個用於符號數學的 Python 庫。

zipline:一個 Python 算法交易庫。

Bayesian-belief-networks:優雅的貝葉斯信念網絡框架。

數據可視化

進行數據可視化的庫。 參見: awesome-javascript。

matplotlib:一個 Python 2D 繪圖庫。

bokeh:用 Python 進行交互式 web 繪圖。

ggplot:ggplot2 給 R 提供的 API 的 Python 版本。

plotly:協同 Python 和 matplotlib 工作的 web 繪圖庫。

pyecharts:基於百度 Echarts 的數據可視化庫。

pygal:一個 Python SVG 圖表創建工具。

pygraphviz:Graphviz 的 Python 接口。

PyQtGraph:交互式實時 2D/3D/ 圖像繪製及科學/工程學組件。

SnakeViz:一個基於瀏覽器的 Python's cProfile 模塊輸出結果查看工具。

vincent:把 Python 轉換為 Vega 語法的轉換工具。

VisPy:基於 OpenGL 的高性能科學可視化工具。

計算機視覺

計算機視覺庫。

OpenCV:開源計算機視覺庫。

pyocr:Tesseract 和 Cuneiform 的包裝庫。

pytesseract:Google Tesseract OCR 的另一包裝庫。

SimpleCV:一個用來創建計算機視覺應用的開源框架。

機器學習

機器學習庫。 參見: awesome-machine-learning.

Caffe: 一個 Caffe 的 python 接口。

Caffe2:一個輕量級的,模塊化的,可擴展的深度學習框架。

Crab:靈活、快速的推薦引擎。

gensim:人性化的話題建模庫。

hebel:GPU 加速的深度學習庫。

keras: 以 tensorflow/theano/CNTK 為後端的深度學習封裝庫,快速上手神經網絡。

MXNet:一個高效和靈活的深度學習框架。

NuPIC:智能計算 Numenta 平臺。

pattern:Python 網絡挖掘模塊。

PyBrain:另一個 Python 機器學習庫。

pydeep:Python 深度學習庫。

Pylearn2:一個基於 Theano 的機器學習庫。

python-recsys:一個用來實現推薦系統的 Python 庫。

Pytorch:一個具有張量和動態神經網絡,並有強大 GPU 加速能力的深度學習框架。

scikit-learn:基於 SciPy 構建的機器學習 Python 模塊。

skflow:一個 TensorFlow 的簡化接口(模仿 scikit-learn)。

TensorFlow:谷歌開源的最受歡迎的深度學習框架。

Theano:一個快速數值計算庫。

vowpalporpoise:輕量級 Vowpal Wabbit 的 Python 封裝。

MapReduce

MapReduce 框架和庫。

dpark:Spark 的 Python 克隆版,一個類似 MapReduce 的框架。

dumbo:這個 Python 模塊可以讓人輕鬆的編寫和運行 Hadoop 程序。

luigi:這個模塊幫你構建批處理作業的複雜流水線。

mrjob:在 Hadoop 或 Amazon Web Services 上運行 MapReduce 任務。

PySpark:Spark 的 Python API 。

streamparse:運行針對事實數據流的 Python 代碼。集成了 Apache Storm。

函數式編程

使用 Python 進行函數式編程。

CyToolz:Toolz 的 Cython 實現 : 高性能函數式工具。

fn.py:在 Python 中進行函數式編程 : 實現了一些享受函數式編程缺失的功能。

funcy:炫酷又實用的函數式工具。

Toolz:一組用於迭代器,函數和字典的函數式編程工具。

第三方 API

用來訪問第三方 API 的庫。 參見: List of Python API Wrappers and Libraries。

apache-libcloud:一個為各種雲設計的 Python 庫。

boto:Amazon Web Services 的 Python 接口。

django-wordpress:WordPress models and views for Django.

facebook-sdk:Facebook 平臺的 Python SDK.

facepy:Facepy 讓和 Facebook's Graph API 的交互變得更容易。

gmail:Gmail 的 Python 接口。

google-api-python-client:Python 用的 Google APIs 客戶端庫。

gspread:Google 電子表格的 Python API.

twython:Twitter API 的封裝。

DevOps 工具

用於 DevOps 的軟體和庫。

Ansible:一個非常簡單的 IT 自動化平臺。

SaltStack:基礎設施自動化和管理系統。

OpenStack:用於構建私有和公有雲的開源軟體。

Docker Compose:快速,分離的開發環境,使用 Docker。

Fabric:一個簡單的,Python 風格的工具,用來進行遠程執行和部署。

cuisine:為 Fabric 提供一系列高級函數。

Fabtools:一個用來編寫超讚的 Fabric 文件的工具。

gitapi:Git 的純 Python API。

hgapi:Mercurial 的純 Python API。

honcho:Foreman 的 Python 克隆版,用來管理基於 Procfile 的應用。

pexpect:Controlling interactive programs in a pseudo-terminal like 在一個偽終端中控制交互程序,就像 GNU expect 一樣。

psutil:一個跨平臺進程和系統工具模塊。

supervisor:UNIX 的進程控制系統。

任務調度

任務調度庫。

APScheduler:輕巧但強大的進程內任務調度,使你可以調度函數。

django-schedule:一個 Django 排程應用。

doit:一個任務執行和構建工具。

gunnery:分布式系統使用的多用途任務執行工具 ,具有 web 交互界面。

Joblib:一組為 Python 提供輕量級作業流水線的工具。

Plan:如有神助地編寫 crontab 文件。

schedule:人性化的 Python 任務調度庫。

Spiff:使用純 Python 實現的強大的工作流引擎。

TaskFlow:一個可以讓你方便執行任務的 Python 庫,一致並且可靠。

外來函數接口

使用外來函數接口的庫。

高性能

讓 Python 更快的庫。

Cython:優化的 Python 靜態編譯器。使用類型混合使 Python 編譯成 C 或 C++ 模塊來獲得性能的極大提升。

PeachPy:嵌入 Python 的 x86-64 彙編器。可以被用作 Python 內聯的彙編器或者是獨立的彙編器,用於 Windows, Linux, OS X, Native Client 或者 Go 。

PyPy:使用 Python 實現的 Python。解釋器使用黑魔法加快 Python 運行速度且不需要加入額外的類型信息。

Pyston:使用 LLVM 和現代 JIT 技術構建的 Python 實現,目標是為了獲得很好的性能。

Stackless Python:一個強化版的 Python。

微軟的 Windows 平臺

在 Windows 平臺上進行 Python 編程。

Python(x,y):面向科學應用的 Python 發行版,基於 Qt 和 Spyder。

pythonlibs:非官方的 Windows 平臺 Python 擴展二進位包。

PythonNet:Python 與 .NET 公共語言運行庫 (CLR)的集成。

PyWin32:針對 Windows 的 Python 擴展。

WinPython:Windows 7/8 系統下可攜式開發環境。

網絡可視化和 SDN

用來進行網絡可視化和 SDN(軟體定義網絡)的工具和庫。

Mininet:一款流行的網絡模擬器以及用 Python 編寫的 API。

POX:一個針對基於 Python 的軟體定義網絡應用(例如 OpenFlow SDN 控制器)的開源開發平臺。

Pyretic:火熱的 SDN 程式語言中的一員,為網絡交換機和模擬器提供強大的抽象能力。

SDX Platform:基於 SDN 的 IXP 實現,影響了 Mininet, POX 和 Pyretic。

硬體

用來對硬體進行編程的庫。

ino:操作 Arduino 的命令行工具。

Pyro:Python 機器人編程庫。

PyUserInput:跨平臺的,控制滑鼠和鍵盤的模塊。

scapy:一個非常棒的操作數據包的庫。

wifi:一個 Python 庫和命令行工具用來在 Linux 平臺上操作 WiFi。

Pingo:Pingo 為類似 Raspberry Pi,pcDuino, Intel Galileo 等設備提供統一的 API 用以編程。

兼容性

幫助從 Python 2 向 Python 3 遷移的庫。

雜項

不屬於上面任何一個類別,但是非常有用的庫。

blinker:一個快速的 Python 進程內信號/事件分發系統。

itsdangerous:一系列輔助工具用來將可信的數據傳入不可信的環境。

pluginbase:一個簡單但是非常靈活的 Python 插件系統。

Pychievements:一個用來創建和追蹤成就的 Python 框架。

Tryton:一個通用商務框架。

算法和設計模式

Python 實現的算法和設計模式。

algorithms:一個 Python 算法模塊。

python-patterns:Python 設計模式的集合。

sortedcontainers:快速,純 Python 實現的 SortedList,SortedDict 和 SortedSet 類型。

編輯器插件

編輯器和 IDE 的插件

Emacs

Sublime Text

Vim

YouCompleteMe:引入基於 Jedi 的 Python 自動補全引擎。

Jedi-vim:綁定 Vim 和 Jedi 自動補全庫對 Python 進行自動補全。

Python-mode:將 Vim 變成 Python IDE 的一款多合一插件。

Visual Studio

集成開發環境

流行的 Python 集成開發環境。

自動聊天工具

用於開發聊天機器人的庫

服務

在線工具和簡化開發的 API 。

金融數據持續集成

參見: awesome-CIandCD.

Travis CI:一個流行的工具,為你的開源和 私人項目提供持續集成服務。(僅支持 GitHub)

CircleCI:一個持續集成工具,可以非常快速的進行並行測試。 (僅支持 GitHub)

Vexor CI:一個為私人 app 提供持續集成的工具,支持按分鐘付費。

Wercker:基於 Docker 平臺,用來構建和部署微服務。

代碼質量

原文:github.com/jobbole/awesome-python-cn

有什麼需求可以加小女子微信呦🌹



相關焦點

  • 如何在Visual Studio開發工具安裝python庫
    工具Visual Studio 2019python環境pip工具>技術pythonDjango在python語言開發工具的pycharm中,可以安裝第三方庫。那麼,在Visual Studio開發工具中,如何安裝python第三方庫呢?
  • 2019 必知的 10 大頂級 python 庫
    ,大家每天都要用到 python。然而,最重要的一點是它有大量的庫供用戶使用。python 的簡單性吸引了許多開發人員為機器學習創建新的庫。由於有大量的庫,python 在機器學習專家中變得非常流行。所以,這裡要介紹的第一個庫是 TensorFlow。
  • 學完python可以從事哪些工作?
    不知道大家有沒有遇到過這種情況,面試時被面試官問會不會用python,結果就沒有結果了。於是你很氣憤地向好友抱怨,我又不面技術為啥要會python,卻發現你的好友正在用python下載電影。驀然回首,大家都在學習python。
  • 常用的十大 python 圖像處理工具
    Python成為這種圖像處理任務是一個恰當選擇,這是因為它作為一種科學程式語言正在日益普及,並且在其生態系統中免費提供許多最先進的圖像處理工具供大家使用。讓我們看一下可以用於圖像處理任務中的常用 Python 庫有哪些吧。
  • python學習路線分享
    學習python不知道如何下手,不知道要學哪些知識,看完下面這些你就知道了。把下面的知識學完,就是一個合格的「捕蛇」者了。,起於累土 1.1 Python MOOC練習3 1.2 Python MOOC練習4 1.3 python中的隨機函數random的用法示例 1.4 Python文本詞頻統計的編碼問題-MOOC嵩天 1.5 Python中的複數和誤區
  • 那些讓人驚豔的Python庫
    每一門技藝都是入門容易熟悉難,越是了解,越是感覺到自己的欠缺,在python博大精深的世界裡,這些蔚為壯觀的python庫,也只能算是滄海一粟。python-magic- 文件類型檢測的第三方庫libmagic的Python接口。Unipath-用面向對象的方式操作文件和目錄。watchdog–管理文件系統事件的API和shell工具。
  • Python常用庫大全
    python-oauth2 – 一個完全測試的抽象接口。用來創建 OAuth 客戶端和服務端。 python-social-auth – 一個設置簡單的社會化驗證方式。 rauth – OAuth 1.0/a, 2.0, 和 Ofly 的 Python 庫。
  • 學習Python能夠從事哪些方面的工作呢?
    想學習Python的小夥伴們,肯定聽到非常多關於Python就業方向非常廣泛的話題。那到底學習完成後,能夠從事哪些方面的工作呢?帶著問題一起深入了解一下Python的就業前景。在很早之前都是通過shell腳本來進行自動化操作,但是shell編程能力比較弱,可以實現的功能庫很少,Python作為膠水語言,可以進行集成,對各類工具可以進行二次開發。  3、遊戲開發:Python有很好的3D渲染庫和遊戲開發框架,有很多使用Python開發的遊戲,如迪斯尼卡通城、黑暗之刃。
  • 為什麼我要在2018年學習Python?
    我學習了HTML和CSS, 但我現在正在尋找一種可以用於Web開發以外的語言。 最重要的是,我要確保今天學習的東西在今後五年也能用上。所以,不僅為我自己,為了每一位學員,我決定深入探討一下Python之興起背後的原因,來試圖了解為什麼今天有這麼多的人在學習該語言,明年是否還是同樣的理由,這些答案對你,對我以及我們的事業,又意味著什麼。
  • 推薦7款好用的Python工具
    隨著物聯網和移動技術的進步,數據已成為大多數組織的核心利益。但是,比起簡單地收集,更重要的是正確分析和解釋數據以挖掘其中的價值。大多數企業從各種來源收集數據,每個數據流提供的信號理想地匯集在一起形成有用的見解。但是,能否充分利用數據取決於是否有合適的工具來清理、準備、合併並正確分析。
  • 乾貨:如何正確地學習數據科學中的 python
    Anaconda 是數據科學中使用最廣泛的 python 工具,它預裝了所有最流行的庫。你可以瀏覽標題為「A Beginner’s Guide to Installing Jupyter Notebook Using Anaconda Distribution」的博客文章,了解如何安裝 Anaconda。
  • Python和人工智慧有什麼關係?Python 和人工智慧的區別是什麼?
    人工智慧是一個大的範疇,包括很多方面的應用,比如機器學習,在機器學習中的回歸算法,它們是通過統計分析所有數據來建立多因式,然後求解式子,而在這個過程中程式語言起到的作用是清洗數據、處理數據、建立關係求解結果的作用,python適用於數據清洗且學習成本低,所以在一定程度上,好一部分人傾向於將python應用於人工智慧應用領域。
  • Python開發簡單爬蟲【學習資料總結】
    四、網頁解析器和BeautifulSoup 網頁解析器從HTML網頁字符串中提取出價值數據和新URL對象。(5)文件與異常,數據處理簡介 (6)Pygame實戰飛機大戰 python語言高級:(python語言的高級庫,常用的企業級開發案例實戰) (1)Python常見第三方庫與網絡編程 (2)面向對象,Python正則表達式
  • Python網頁爬蟲工具有哪些?
    不管文本處理,機器學習和數據發掘,都需求數據,除了通過一些途徑購買或者下載的專業數據外,常常需求我們自己著手爬數據,爬蟲就顯得分外重要。那麼,Python網頁爬蟲東西有哪些呢?2、 Beautiful Soup客觀的說,Beautifu Soup不完滿是一套爬蟲東西,需求合作urllib運用,而是一套HTML / XML數據分析,清洗和獲取東西。3、 Python-GooseGoose最早是用Java寫得,後來用Scala重寫,是一個Scala項目。
  • 掌握了這24個頂級Python庫,你就是大神!
    這也是為什麼學習提取和收集數據對數據科學家來說是一項非常重要的技能。數據提取和收集開闢了前所未有的道路。以下是三個用於提取和收集數據的Python庫:Beautiful Soup收集數據的最佳方式之一就是抓取網站(當然是以合乎道德和法律的手段!)
  • Python-Docx庫 | Word與Python的完美結合(附使用文檔)
    100+編程開發工具(Python、Java、MySQL、node、Redis、Linux...)大家好,我是兆鋒。前兩天給大家分享了原創文章:PyXLL庫 | Excel與Python的完美結合(附使用文檔)今天給大家分享Python處理Word的第三方庫:Python-Docx。什麼是Python-Docx?
  • Python新手都可以做的爬蟲,抓取網上 OJ 題庫信息
    最近有朋友在做 OJ 題庫,順手做個小爬蟲,導出一份題庫列表來看看!目標:浙江大學題庫工具:python3.6,requests 庫、lxml 庫、pycharm思路:先找到網頁中題庫所在的位置然後我們點擊第一頁和後面幾頁,看看 url 的變化發現規律了嗎?
  • python爬蟲入門實戰!爬取博客文章標題和連結!
    首先需要在電腦上裝好 python3 和 pip 。此外還需要知道python的一些基本語法。這些內容網上搜索有許多教程(例如廖雪峰),這邊就不再細說了。我們這次需要使用的是 正則表達式 re 庫和第三方的 requests 庫,以下是安裝方法。
  • Python新手學習網絡爬蟲要做什麼?
    超文本標記語言的結構包括「頭」部分(英語:Head)、和「主體」部分(英語:Body),其中「頭」部提供關於網頁的信息,「主體」部分提供網頁的具體內容。Python網絡爬蟲學習,不需要你深入學習html,只要知道掌握它常用的簡單標籤跟知識點就行。
  • Python真的值得學習嗎
    尤其是2017年人工智慧概念的興起,python的關注度也是越來越高。儘管目前它仍然無法和java等程式語言抗衡,但隨著未來人工智慧權重的提高,掌握python也就成為一種必然。它的開發效率比 C, Java 高很多,很多的創業公司當初為了把想法快速變成現實產品從而獲得投資資金,首選 Python作為開發語言。這估計也是當年推動python流行起來的另一個原因吧。