在大數據時代,教師無論是進行學術研究,還是備課、引導學生在課堂上進行深度探究,都需要在茫茫的網際網路上尋找大量的信息、數據;同時,在網際網路高度發達的今天,培養學生高效地獲取數據的能力也是十分重要的。今天為大家推薦一些能夠用上的數據獲取方式和實用小工具,可以提高教師的工作效率,同時也可以引導學生學習更多思維方式呢!
http://data.stats.gov.cn/index.htm
數據來源於中國國家統計局,包含了我國經濟民生等多個方面的數據,並且在月度、季度、年度都有覆蓋,較為全面和權威,對於社會科學的研究很有幫助。最關鍵的是,網站簡潔美觀,還有專門的可視化讀物。http://www.ceicdata.com/zh-hans
最完整的一套超過128個國家的經濟數據,能夠精確查找GDP, CPI, 進口,出口,外資直接投資,零售,銷售,以及國際利率等深度數據。其中的「中國經濟資料庫」收編了300,000多條時間序列數據,數據內容涵蓋宏觀經濟數據、行業經濟數據和地區經濟數據。http://www.wind.com.cn/
萬得被譽為中國的Bloomberg,在金融業有著全面的數據覆蓋,金融數據的類目更新非常快,據說很受國內的商業分析者和投資人的親睞。http://www.soshoo.com/
已加載到搜數網站的統計資料達到7,874本,涵蓋1,761,009張統計表格和364,580,479個統計數據,匯集了中國資訊行自92年以來收集的所有統計和調查數據,並提供多樣化的搜索功能。http://www.tjcn.org/
國家統計局的官方網站,匯集了海量的全國各級政府各年度的國民經濟和社會發展統計信息,建立了以統計公報為主,統計年鑑、階段發展數據、統計分析、經濟新聞、主要統計指標排行等。http://aws.amazon.com/cn/datasets/?nc1=h_ls
來自亞馬遜的跨科學雲數據平臺,包含化學、生物、經濟等多個領域的數據集。https://figshare.com/
研究成果共享平臺,在這裡你會發現來自世界的大牛們的研究成果分享,同時get其中的研究數據,內容很有啟發性,網站頗具設計感。https://github.com/caesar0301/awesome-public-datasets
如果覺得前面的數據源還不夠,github上的大神已經為大家整理好了一個非常全面的數據獲取渠道,包含各個細分領域的資料庫資源,自然科學和社會科學的覆蓋都很全面,簡直是做研究和數據分析的利器。http://www.youedata.com/
由國家信息中心發起,擁有國家級信息資源的數據平臺,國內領先的數據交易平臺。平臺有B2B、B2C兩種交易模式,包含政務、社會、社交、教育、消費、交通、能源、金融、健康等多個領域的數據資源。http://www.datatang.com/
專注於網際網路綜合數據交易,提供數據交易、處理和數據API服務,包含語音識別、醫療健康、交通地理、電子商務、社交網絡、圖像識別等方面的數據。http://index.baidu.com/
大家都很熟悉的指數查詢平臺,可以根據指數的變化查看某個主題在各個時間段受關注的情況,進行趨勢分析、輿情預測有很好的指導作用。除了關注趨勢之外,還有需求分析、人群畫像等精準分析的工具,對於市場調研來說具有很好的參考意義。同樣的另外兩個搜尋引擎搜狗、360也有類似的產品,都可以作為參考。https://alizs.taobao.com/
國內權威的商品交易分析工具,可以按地域、按行業查看商品搜索和交易數據,基於淘寶、天貓和1688平臺的交易數據基本能夠看出國內商品交易的概況,對於趨勢分析、行業觀察意義不小。http://www.iresearch.com.cn/
艾瑞作為老牌的網際網路研究機構,在數據的沉澱和數據分析上都有得天獨厚的優勢,在網際網路的趨勢和行業發展數據分析上面比較權威,艾瑞的網際網路分析報告可以說是網際網路研究的必讀刊物。http://www.umeng.com/
友盟在移動網際網路應用數據統計和分析具有較為全面的統計和分析,對於研究移動端產品、做市場調研、用戶行為分析很有幫助。除了友盟指數,友盟的網際網路報告同樣是了解網際網路趨勢的優秀讀物。http://index.iqiyi.com/
愛奇藝指數是專門針對視頻的播放行為、趨勢的分析平臺,對於網際網路視頻的播放有著全面的統計和分析,涉及到播放趨勢、播放設備、用戶畫像、地域分布、等多個方面。由於愛奇藝龐大的用戶基數,該指數基本可以說明實際情況。http://piaofang.maoyan.com/
電影票房統計分析平臺,貓眼專業版有實時的票房統計,影片的排盤情況、上座率和影院數據,對於當前電影的分析是必不可少的。
網絡採集器是通過軟體的形式實現簡單快捷地採集網絡上分散的內容,具有很好的內容收集作用,而且不需要技術成本,被很多用戶作為初級的採集工具。
http://www.locoy.com/
一款專業的網際網路數據抓取、處理、分析,挖掘軟體,可以靈活迅速地抓取網頁上散亂分布的數據信息,並通過一系列的分析處理,準確挖掘出所需數據,最常用的就是採集某些網站的文字、圖片、數據等在線資源。接口比較齊全,支持的擴展比較好用,懂代碼的話,可以使用PHP或C#開發任意功能的擴展。http://www.bazhuayu.com/
簡單實用的採集器,功能齊全,操作簡單,不用寫規則。特有的雲採集,關機也可以在雲伺服器上運行採集任務。http://www.gooseeker.com/
一款簡單易用的網頁信息抓取軟體,能夠抓取網頁文字、圖表、超連結等多種網頁元素,提供好用的網頁抓取軟體、數據挖掘攻略、行業資訊和前沿科技等。http://arohatgi.info/WebPlotDigitizer/app/
比如我們在查看期刊文獻的時候看到一張成型的圖表,但其本身數據是缺失的,你想獲得這個圖表的相關數據怎麼辦?有了這個小工具就非常easy了。直接上傳我們需要獲得數據的圖表,如下:
然後我們就會獲得如下的數據反饋,感覺運籌帷幄有木有,對於一些不需要十分精確的分析研究足夠使用。
當然並不推薦用這個作為量化分析的依賴,對於定性的分析,做ppt級的數據統計分析就足夠了。
https://you-get.org/
這是一個程式設計師基於python 3開發的項目,已經在github上面開源,支持64個網站,包括優酷、土豆、愛奇藝、b站、酷狗音樂、蝦米……總之你能想到的網站都有! 還有一個黑科技的地方,即使是名單上沒有的網站,當你輸入連結,程序也會猜測你想要下載什麼,然後幫你下載。收集數據是一種能力,學習收集數據也是一種能力,數據的來源是沒有窮盡的,轉換一種思維,你就可以獲得不一樣的數據,下面推薦幾個可以用到的大數據導航,從這裡面你可能會發現一些你自己想要的東西。每個人喜歡的收集數據的渠道不盡相同,只有儘量多地去見識和實踐才會發現更多的適合自己的數據獲取方式。
http://hao.199it.com/
http://www.afenxi.com/hao
http://hao.bigdata.ren/
(文章來源:百度新聞實驗室)