批量下載web of science文獻

2021-12-17 每日佳片

思路來源

https://www.bilibili.com/video/BV1Uy4y1U7dT/

今天研究谷歌學術高級搜索的時候看到了這位中國礦業大學老哥的視頻

整體思路是：

web of science搜索標記自己想要下載的文獻，批量導出已選文件的標題，作者等。最重要的是批量導出文獻的DOI（DOI就相當於文獻的身份證，具有唯一性）。

藉助科研屆的一股清流 sci-hub網站免費下載文獻pdf，而sci-hub下載文獻需要提供DOI

up主發現每篇文獻的下載地址有規律（url+DOI+.pdf），url是固定的。

第一步已經利用web of science批量獲取了文獻的DOI。那麼，利用Excel的合併功能(A1&B1&C1)這種，就可以獲得對應文獻的下載地址。

這時候我們就可以把下載地址複製到瀏覽器中，直接下載。

這時候我們就需要一個可以批量下載url文件的軟體。視頻up用的是一個叫做Batch URL Downloader的軟體。我看視頻下面的評論好像挺多bug的，我也懶得給電腦安裝軟體，想到了Linux經常用的網絡下載器wget，搜了一下win版，也有。

谷歌直接搜索 「wget windows github」 第一個進去，我下載的是OpenSSL版本，能用，就沒試另外一個了。下載解壓後得到一個wget.exe執行文件。

複製軟體所在的路徑添加到win帳戶的環境變量中（下圖）

複製wget所在的路徑

直接搜path進入

編輯Path

添加路徑

（這樣操作以後，在任意文件夾都可以使用wget）

9. 選取任意一個文件夾，開始下載

在任意一個文件夾，準備要下載的文獻，一行一個存到txt文件裡。在路徑那裡輸入CMD回車，進入命令行模式。

10.輸入命令開始下載

11.然後翻車了，提示 ERROR 503: Service Temporarily Unavailable

12.查了一下原來是The problem is that  firewall is blocking connections whose user-agent is not set, or incorrect. 沒設置user-agent，被防火牆制裁了，那加一個不就行了。(下午沒加UA也沒報錯啊，淦)

13.最後正確的命令是

wget -U "User-Agent" -i test.txt
至於User-Agent，你們可以百度一下[如何獲取User-Agent]，或者你直接用別人的，就是一個偽裝。
wget -U "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.79 Safari/537.36" -i test.txt
訪問不了github的朋友可以回復 wget 獲取網盤連結。
sci-hub
 https://sci-hub.mksa.top/
https://sci-hub.ee/
https://sci.hubg.org/
https://sci-hub.ru/
https://sci-hub.shop/
https://sci-hub.st/

相關焦點

  • 檢索技能之 web of science使用
    本期主要介紹如何利用 web of science 創建引文跟蹤，跟蹤最新研究進展，訂閱期刊追蹤最新動態。
  • 圖書館資源介紹 | Web of Science資料庫介紹
    Web of Science是獲取全球學術信息的重要平臺，它收錄了全球2萬多種權威的、高影響力的學術期刊（SCI、SSCI、AHCI）、會議文獻（CPCI-S、CPCI-SSH）、圖書（BKCI）、專利以及科研數據，內容涵蓋自然科學、工程技術、生物醫學、社會科學、藝術與人文等領域。
  • 一分鐘學會遠程使用Web of Science
    解決上述問題前，回顧下Web of Science常用打開方式1 輸入網址http://www.webofknowledge.com2 搜尋引擎中搜索web of science，點開連結3 對於購買授權的圖書館，其資源列表中查找連結。
  • 超好用的Scihub文獻下載工具又雙叒叕更新了
    2021-01-07補充：增加異步下載方式，加快下載速度；加強下載穩定性，不再出現文件損壞的情況。2021-04-08補充：由於sciencedirect增加了機器人檢驗，現在搜索下載功能需要先在HEADERS中填入Cookie才可爬取，詳見第4步。
  • 超級好用的文獻附件批量下載神器
    有一些雜誌的附件真的很讓人奔潰，每一個圖表都是獨立的文件，關鍵是我們的網頁瀏覽器呢默認是打開而不是下載，所以要頻繁的點擊保存到本地電腦成為文件。
  • Web Of Science的使用及檢索技巧
    本文來源：弗雷塞斯（freescience）溫馨提示：文末有超大福利哦！別錯過了喲！
  • sci-hub:一個神奇的免費下載文獻的網站(使用技巧)
    而對於很多出入科研深坑的民工來說，最大的阻礙是，我下不到我想看的文獻，因為我們學校沒買資料庫，沒有權限。文獻傳遞呀，太慢，也很貴，還很費時間。那直接購買這個資料庫啊，或者買你需要的單篇文獻啊。真是買不起啊！這些文獻常常一篇文獻幾十美元幾十歐啊，等你畢業引用的幾百篇文獻裡面那麼些不能下載的買下來可能上千歐啊。更何況有些文獻你要註冊一個帳號才行。
  • 文獻檢索和管理技巧(一):如何將PubMed中的文獻批量導入EndNote
    比如，很多朋友就曾向筆者反映，他們在將參考文獻導入EndNote時，每次只能根據標題或者PMID號將檢索到的文獻逐篇導入EndNote中，操作起來十分繁瑣。在此，筆者擬圖解如何將PubMed中的文獻批量導入EndNote。比如某研究者欲檢索曹雪濤教授發表的論文，在PubMed中輸入「cao xuetao」，得到如下結果，如圖所示：
  • sci-hub:一個神奇的免費下載文獻的網站(舊文更新)
    而對於很多出入科研深坑的民工來說，最大的阻礙是，我下不到我想看的文獻，因為我們學校沒買資料庫，沒有權限。文獻傳遞呀，太慢，也很貴，還很費時間。那直接購買這個資料庫啊，或者買你需要的單篇文獻啊。真是買不起啊！這些文獻常常一篇文獻幾十美元幾十歐啊，等你畢業引用的幾百篇文獻裡面那麼些不能下載的買下來可能上千歐啊。更何況有些文獻你要註冊一個帳號才行。
  • Web of Science收錄標準解析
    WoS的獨特之處在於，它對每個研究輸出中的所有元數據進行索引，包括每個被引用和引用的參考文獻，從而在被索引的研究與更廣泛的學術文獻之間建立了聯繫。WoS索引可以提高期刊的可發現性，並且也是獲得期刊影響因子的前提。  WoS收錄要求是什麼？WoS申請程序如何工作？
  • 小冰課堂 | Endnote 導入參考文獻的超級幹的乾貨!
    無論你是入學半年的研一新手，還是即將開題/中期的開題/中期人，掌握Endnote的使用，絕對會讓你的科研之路錦上添花，接下來就和小冰一起學習一下Endnote與Word夢幻聯動下怎么正確引用參考文獻吧。
  • 高能技術貼 | 基於 Chrome 79.X 的中國知網文獻採集助手的配置與使用TIPS
    中國知網文獻採集助手是組成知網研學的一個重要插件之一，基於chrome瀏覽器進行開發，您可以通過chrome瀏覽器安裝下載進行配置使用。通過文獻採集助手，您可以輕鬆的獲取包括中國知網、人大複印報刊資料、Springer、ScienceDirect、Wiley等在內的30個大型中外文文獻資料庫的文獻題錄，並能夠針對其進行有效管理。
  • 一些外文文獻下載網站:免費下載各種外文科技論文書籍電子版
    第2系列有 http://gen.lib.rus.ec/，http://libgen.org/ ，http://www.sci-hub.org/  ，http://noads.libgen.info/，  http://lib.freescienceengineering.org
  • 英文文獻,英文書籍免費下載方法
    1.英文文獻下載 谷歌鏡像    大部分院校的圖書館帳號都會給學生提供一些資料庫
  • 參考文獻格式簡析
    在學術論文寫作過程中，引入適當的參考文獻是必不可少的環節。Endnote這是一款功能強大的軟體，包含數千種期刊的參考文獻格式，當我們擬投雜誌的參考文獻格式恰巧包含其中。1.將參考文獻導出2.在Endnote中將參考文獻格式設置為BMJ雜誌的格式Byass P.是指作者名字，Eco-epidemiological assessment of the COVID-19 epidemic in China, January-February 2020是文章標題，Glob Health Action是雜誌名稱，2020是年份，13
  • Python文獻超級搜索下載工具
    新姿勢：用Python寫好的API工具超方便下載論文這是一個來自github的開源非官方API工具，下載地址為:https://github.com/zaytoun/scihub.py但由於作者長久不更新，原始的下載工具已經無法使用，Python實用寶典修改了作者的原始碼，適配了中文環境的下載器，並添加了異步批量下載等方法
  • 如何查全英文文獻?
    對於在座的研究生或者準研究生來說，看文獻是必備的功課。
  • 英文文獻和電子書查閱方法和網站地址
    感謝博主的總結，而且博主還會不定時更新，有文獻方面查閱需要的可以收藏博主張慧銘的文章。因為好用，所以值得分享。下面是一些鏡像網址：https://gg.kfd.me/https://go.cccyun.cn/http://www.vsok.net/https://www.iamgg.pw/http://hk.kuaiso.com/http://m.search.aol.com/https://suche.web.de
  • 外文文獻查找,文獻檢索
    3.下載界面友好，無廣告或較少廣告，下載不設限制或是限制較少，例如有的網站限制不能同時下載多個電子書。下面給大家介紹很好用的下載網站:    第1系列有//bookzz.org/，//booksc.org/,//en.booksee.org/, 。