Hugging Face官方課程來了!Transformers庫維護者之一授課,完全免費

2021-12-17 機器之心

Hugging Face NLP 課程開課了，所有課程完全免費。

NLP 領域的小夥伴應該都非常熟悉大名鼎鼎的 Hugging Face，這家專注於解決各種 NLP 問題的初創公司為社區帶來了很多有益的技術成果。去年，該團隊的 Transformers 代碼庫論文獲得了 EMNLP 2020 最佳 demo 獎。今年 4 月，該團隊發布了適用於多 GPU、TPU 和混合精度訓練的 PyTorch 新庫「Accelerate」。近日，Hugging Face 在其官方推特上宣布推出第一部分 NLP 課程，內容涵蓋如何全面系統地使用 Hugging Face 的各類庫（即 Transformers、Datasets、Tokenizers 和 Accelerate），以及 Hugging Face Hub 中的各種模型。更重要的是，所有課程完全免費且沒有任何廣告。

課程主頁：https://huggingface.co/course/chapter0?fw=pt整個系列的課程分為入門（Introduction）、進階（Diving in）和高級（Advanced），其中具體如下：

入門：Transformer 模型、使用 Transformers、微調預訓練模型以及分享模型和 tokenizers；

進階：Datasets 庫、Tokenizers 庫、主要 NLP 任務以及如何尋求幫助；

高級：專用架構、加速訓練、自定義訓練 loop 以及向 Hugging Face 提交貢獻。

Hugging Face 本次推出的正是入門課程。通過四個章節的內容講解，學習者可以學得使用 pipeline 函數來解決文本生成和分類等 NLP 任務、Transformer 架構，以及區分編碼器、解碼器、編碼器 - 解碼器架構和用例。與此同時，Hugging Face 在課程中使用的所有庫都可以通過 Python 包獲得。學習者首先需要設置 Python 環境和安裝專用庫，並可以使用 Colab notebook 或 Python 虛擬環境來設置自己的工作環境。具體操作請參閱課程主頁中的「setup」部分。第 1 章到第 4 章（入門）介紹了 Transformers 庫的主要概念。本部分課程結束時，你將熟悉 Transformer 模型的工作原理，並了解如何使用 Hugging Face Hub 中的模型，在數據集上對其進行微調，以及在 Hub 上共享結果。第 5 章到第 8 章（進階）介紹了在深入研究經典的 NLP 任務之前，首先介紹了數據集和 Tokenizers 的基礎知識。本部分結束時，你將能夠自己解決最常見的 NLP 問題。第 9 章到第 12 章（高級），會進行深入的學習，展示了專業架構（內存效率，長序列等），並教你如何為用例編寫自定義對象。在本部分結束時，你將會解決複雜的 NLP 問題。

Matthew Carrigan 是 Hugging Face 的機器學習工程師，此前曾擔任預測分析公司 Parse.ly 的機器學習工程師和都柏林聖三一學院的博士後研究員。Lysandre Debut 同為 Hugging Face 的機器學習工程師，並且從很早期就開始從事 Transformers 庫相關的工作。Sylvain Gugger 是 Hugging Face 的研究工程師，也是 Transformers 庫的核心維護者之一。此前，他曾任非盈利研究組織 fast.ai 的研究科學家，並與 fast.ai 創始人 Jeremy Howard 合著書籍《Deep Learning for Coders with fastai and PyTorch》。他的研究重點在於設計和改進促使模型在有限資源上快速訓練的技術，使得深度學習更易獲得。

亞馬遜雲科技中國峰會

2021亞馬遜雲科技中國峰會將在中國上海、北京、深圳三大城市舉辦。本次峰會以「構建新格局，重塑雲時代」為題，並攜手眾多業內領先的技術踐行者們一起同你分享「雲時代的構建故事與重塑經驗」。

7月21日-22日，2021亞馬遜雲科技中國峰會上海站將有多位重磅業內專家及行業大咖在現場分享獨到的行業見解。

面向開發者，本次峰會將專門設立開發者專區，並聯合 Apache 等各類開源社區，以及多位開源牛人，為開發者們帶來腦洞大開的內容分享！

面向行業，近百位來自業內各領域的合作夥伴、客戶及亞馬遜雲科技技術專家，共同組成的強大嘉賓陣容，為你帶來行業最佳實踐分享及領先技術成果發布解讀！

識別下方小程序，立即報名。

© THE END 

轉載請聯繫本公眾號獲得授權

投稿或尋求報導：content@jiqizhixin.com

相關焦點

  • 使用Hugging Face管道輕鬆應用NLP預訓練模型
    與從左到右的方法不同，這允許BERT使用所有周圍的單詞（在左側和右側）來上下文化每個單詞。如果你沒有一個標記的訓練集，已經微調的模型也可以在網上廣泛使用，例如在Hugging Face model hub(https://huggingface.co/models).。這是我將在本文中使用的方法。
  • PyTorch-Transformers:最先進的自然語言處理庫(附帶python代碼)
    https://github.com/huggingface/pytorch-transformers我們可以簡單地用Python導入它並進行實驗。我對現在NLP的研發速度感到非常驚訝，每一篇新論文、每一個框架和庫都在推動著這個不可思議的強大領域的發展。
  • HuggingfaceNLP筆記2:一文看清Transformer大家族的三股勢力
    「Huggingface🤗NLP筆記系列-第2集」最近跟著Huggingface上的NLP tutorial
  • 微信開源推理加速工具 TurboTransformers
    在多種 CPU 和 GPU 硬體上獲得了超過 PyTorch/TensorFlow 和目前主流優化引擎（如 onnxruntime-mkldnn/onnxruntime-gpu、torch JIT、NVIDIA faster transformers）的性能表現。為 NLP 推理任務特點量身定製。
  • Transformers2.0讓你三行代碼調用語言模型,兼容TF2.0和PyTorch
    項目地址：https://github.com/huggingface/transformersTransformers 2.0 新特性像 pytorch-transformers 一樣使用方便；像 Keras 一樣功能強大和簡潔；在 NLU 和 NLG 任務上實現高性能；對教育者和實踐者的使用門檻低
  • ...TurboTransformers,性能超越 PyTorch/TensorFlow 與主流優化引擎
    在多種 CPU 和 GPU 硬體上獲得了超過 PyTorch/TensorFlow 和目前主流優化引擎（如 onnxruntime-mkldnn/onnxruntime-gpu、torch JIT、NVIDIA faster transformers）的性能表現。 為 NLP 推理任務特點量身定製。
  • 贈書| 新手指南——如何通過HuggingFace Transformer整合表格數據
    預訓練任務的圖像和遮蔽多模態學習示例如下所示：對於給定圖像和文本，如果我們把dog遮蔽掉的話，那麼模型應該能夠藉助未被遮蔽的視覺信息來正確預測被遮蔽的單詞是dog。 在設置好tabular_config集之後，我們就可以使用與HuggingFace相同的API來加載模型。點擊下方連結，了解當前包含該表格組合模塊的transformer模型列表。
  • Pytorch-Transformers 1.0 發布,支持六個預訓練框架,含 27 個預...
    該開源庫現在包含了 PyTorch 實現、預訓練模型權重、運行腳本和以下模型的轉換工具：1、谷歌的 BERT，論文：「BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding」，論文作者：Jacob Devlin, Ming-Wei
  • ​關於深度學習、NLP和計算機視覺的30個頂級Python庫
    30個頂級Python庫。Datasets (Huggingface)（https://github.com/huggingface/datasets）Tokenizers (Huggingface)（https://github.com/huggingface/tokenizers）
  • 【NLP】競賽必備的NLP庫
    Word2Vecpath = get_tmpfile("word2vec.model")model = Word2Vec(common_texts, size=100, window=5, min_count=1, workers=4)model.save("word2vec.model")Gensim項目官網：https://radimrehurek.com/gensim/NLTK是一個免費的
  • 數據競賽必備的NLP庫總結!
    CV庫後，有很多同學問有沒有推薦的NLP庫。TorchText可以很方便加載訓練數據、驗證和測試數據集，來進行標記化、vocab構造和創建迭代器，並構建迭代器。TorchText官網：https://github.com/pytorch/textTransformers是現如今最流行的庫，它實現了從 BERT 和 GPT-2 到 BART 和 Reformer 的各種轉換。hug
  • 打包帶走,競賽必備的NLP庫
    庫後，有很多同學問有沒有推薦的NLP庫。AllenNLP官網：https://allennlp.org/TorchText是Pytorch下對NLP的支持庫，包含便利的數據處理實用程序，可在批量處理和準備之前將其輸入到深度學習框架中。TorchText可以很方便加載訓練數據、驗證和測試數據集，來進行標記化、vocab構造和創建迭代器，並構建迭代器。
  • 基於Transformers入門自然語言處理
    我最近忙了1件自己感覺有意義的事情，特來分享。我將之前零零散散的Transformer博客、講解文章進行了整理，形成了一個完整的教程叫做：learn nlp with transformers，翻譯過來是：基於Transformers入門自然語言處理。
  • 免費!雅思官方新增免費線上課程,英國專家在線教英語
    雅思考試主辦方有推出免費的在線公開課，專門針對雅思考生涉及的課程，作為British Council的官方網絡授課平臺，課程全部都是英語為母語的人授課，專業度還是很有保障的，算是雅思考試主辦方British Council給考生量身定製的福利吧，給BC點個讚。