【教學小工具】大數據時代,和學生一起get到這些數據獲取小技巧!

2021-02-21 四川大學教師教學發展中心

 

在大數據時代,教師無論是進行學術研究,還是備課、引導學生在課堂上進行深度探究,都需要在茫茫的網際網路上尋找大量的信息、數據;同時,在網際網路高度發達的今天,培養學生高效地獲取數據的能力也是十分重要的。今天為大家推薦一些能夠用上的數據獲取方式和實用小工具,可以提高教師的工作效率,同時也可以引導學生學習更多思維方式呢!

http://data.stats.gov.cn/index.htm

數據來源於中國國家統計局,包含了我國經濟民生等多個方面的數據,並且在月度、季度、年度都有覆蓋,較為全面和權威,對於社會科學的研究很有幫助。最關鍵的是,網站簡潔美觀,還有專門的可視化讀物。

http://www.ceicdata.com/zh-hans

最完整的一套超過128個國家的經濟數據,能夠精確查找GDP, CPI, 進口,出口,外資直接投資,零售,銷售,以及國際利率等深度數據。其中的「中國經濟資料庫」收編了300,000多條時間序列數據,數據內容涵蓋宏觀經濟數據、行業經濟數據和地區經濟數據。

http://www.wind.com.cn/

萬得被譽為中國的Bloomberg,在金融業有著全面的數據覆蓋,金融數據的類目更新非常快,據說很受國內的商業分析者和投資人的親睞。

http://www.soshoo.com/

已加載到搜數網站的統計資料達到7,874本,涵蓋1,761,009張統計表格和364,580,479個統計數據,匯集了中國資訊行自92年以來收集的所有統計和調查數據,並提供多樣化的搜索功能。

http://www.tjcn.org/

國家統計局的官方網站,匯集了海量的全國各級政府各年度的國民經濟和社會發展統計信息,建立了以統計公報為主,統計年鑑、階段發展數據、統計分析、經濟新聞、主要統計指標排行等。

http://aws.amazon.com/cn/datasets/?nc1=h_ls

來自亞馬遜的跨科學雲數據平臺,包含化學、生物、經濟等多個領域的數據集。

https://figshare.com/

研究成果共享平臺,在這裡你會發現來自世界的大牛們的研究成果分享,同時get其中的研究數據,內容很有啟發性,網站頗具設計感。

https://github.com/caesar0301/awesome-public-datasets

如果覺得前面的數據源還不夠,github上的大神已經為大家整理好了一個非常全面的數據獲取渠道,包含各個細分領域的資料庫資源,自然科學和社會科學的覆蓋都很全面,簡直是做研究和數據分析的利器。

http://www.youedata.com/

由國家信息中心發起,擁有國家級信息資源的數據平臺,國內領先的數據交易平臺。平臺有B2B、B2C兩種交易模式,包含政務、社會、社交、教育、消費、交通、能源、金融、健康等多個領域的數據資源。

http://www.datatang.com/

專注於網際網路綜合數據交易,提供數據交易、處理和數據API服務,包含語音識別、醫療健康、交通地理、電子商務、社交網絡、圖像識別等方面的數據。

http://index.baidu.com/

大家都很熟悉的指數查詢平臺,可以根據指數的變化查看某個主題在各個時間段受關注的情況,進行趨勢分析、輿情預測有很好的指導作用。除了關注趨勢之外,還有需求分析、人群畫像等精準分析的工具,對於市場調研來說具有很好的參考意義。同樣的另外兩個搜尋引擎搜狗、360也有類似的產品,都可以作為參考。

https://alizs.taobao.com/

國內權威的商品交易分析工具,可以按地域、按行業查看商品搜索和交易數據,基於淘寶、天貓和1688平臺的交易數據基本能夠看出國內商品交易的概況,對於趨勢分析、行業觀察意義不小。

http://www.iresearch.com.cn/

艾瑞作為老牌的網際網路研究機構,在數據的沉澱和數據分析上都有得天獨厚的優勢,在網際網路的趨勢和行業發展數據分析上面比較權威,艾瑞的網際網路分析報告可以說是網際網路研究的必讀刊物。

http://www.umeng.com/

友盟在移動網際網路應用數據統計和分析具有較為全面的統計和分析,對於研究移動端產品、做市場調研、用戶行為分析很有幫助。除了友盟指數,友盟的網際網路報告同樣是了解網際網路趨勢的優秀讀物。

http://index.iqiyi.com/

愛奇藝指數是專門針對視頻的播放行為、趨勢的分析平臺,對於網際網路視頻的播放有著全面的統計和分析,涉及到播放趨勢、播放設備、用戶畫像、地域分布、等多個方面。由於愛奇藝龐大的用戶基數,該指數基本可以說明實際情況。

http://piaofang.maoyan.com/

電影票房統計分析平臺,貓眼專業版有實時的票房統計,影片的排盤情況、上座率和影院數據,對於當前電影的分析是必不可少的。

網絡採集器是通過軟體的形式實現簡單快捷地採集網絡上分散的內容,具有很好的內容收集作用,而且不需要技術成本,被很多用戶作為初級的採集工具。

http://www.locoy.com/

一款專業的網際網路數據抓取、處理、分析,挖掘軟體,可以靈活迅速地抓取網頁上散亂分布的數據信息,並通過一系列的分析處理,準確挖掘出所需數據,最常用的就是採集某些網站的文字、圖片、數據等在線資源。接口比較齊全,支持的擴展比較好用,懂代碼的話,可以使用PHP或C#開發任意功能的擴展。

http://www.bazhuayu.com/

簡單實用的採集器,功能齊全,操作簡單,不用寫規則。特有的雲採集,關機也可以在雲伺服器上運行採集任務。

http://www.gooseeker.com/

一款簡單易用的網頁信息抓取軟體,能夠抓取網頁文字、圖表、超連結等多種網頁元素,提供好用的網頁抓取軟體、數據挖掘攻略、行業資訊和前沿科技等。

http://arohatgi.info/WebPlotDigitizer/app/

比如我們在查看期刊文獻的時候看到一張成型的圖表,但其本身數據是缺失的,你想獲得這個圖表的相關數據怎麼辦?有了這個小工具就非常easy了。直接上傳我們需要獲得數據的圖表,如下:

然後我們就會獲得如下的數據反饋,感覺運籌帷幄有木有,對於一些不需要十分精確的分析研究足夠使用。

當然並不推薦用這個作為量化分析的依賴,對於定性的分析,做ppt級的數據統計分析就足夠了。

https://you-get.org/

這是一個程式設計師基於python 3開發的項目,已經在github上面開源,支持64個網站,包括優酷、土豆、愛奇藝、b站、酷狗音樂、蝦米……總之你能想到的網站都有! 還有一個黑科技的地方,即使是名單上沒有的網站,當你輸入連結,程序也會猜測你想要下載什麼,然後幫你下載。

收集數據是一種能力,學習收集數據也是一種能力,數據的來源是沒有窮盡的,轉換一種思維,你就可以獲得不一樣的數據,下面推薦幾個可以用到的大數據導航,從這裡面你可能會發現一些你自己想要的東西。每個人喜歡的收集數據的渠道不盡相同,只有儘量多地去見識和實踐才會發現更多的適合自己的數據獲取方式。

http://hao.199it.com/

http://www.afenxi.com/hao

http://hao.bigdata.ren/

(文章來源:百度新聞實驗室)

相關焦點

  • 大數據時代教學模式的變革
    【摘要】大數據時代的教學模式關注學生的內驅動力培養,通過獲取信息和組織信息來認知問題並找到解決問題的方法,從而獲得對世界的感知、發展概念和語言。教學策略設計宜採用邏輯推理方式,關注學習環境中的情景問題、協作和會話,組織智力導向的教學途徑,構建學習者共同體,為學生提供伴隨終生的學習工具。
  • 數據驅動教學:大數據時代教學範式的新走向
    人們認為,知識都是類似於客觀存在的地下礦物一樣,而教學者的職責就是探測並獲取這些礦物,學習者則負責接收和存儲已經被教學者獲取的礦物,這種觀念忽視了知識背後的科學發現過程,一定程度上阻礙了科學的發展[2]。經驗模仿教學偏愛行為主義學習理論,在該理論的影響下,教學往往過於注重學習者外顯行為的習得,而忽視了學習者完滿人格養成所必需的實踐活動和心理活動。
  • 從大數據到小數據,數據之坑與美 - 大數據_CIO時代網 - CIO時代...
    因為,我們正步入一個「大數據(big data)」時代,但對於以往的「小數據(small data)」,我們能做到「事了拂衣去,深藏身與名」嗎?答案顯然不是。目前,大數據的前途似乎「星光燦爛」,但小數據的價值依然「風採無限」。克蘭茲伯格的第三定律是告訴我們,新技術和老技術的自我革新演變,是交織在一起的。
  • 課堂小數據+教學大數據:營造智慧學習環境
    清大知好樂董事長洪善鍵先生在致辭中表示,隨著人工智慧、大數據、5G等信息技術的發展,以及數字中國戰略的實施,信息技術融合教育的創新應用正在不斷走向成熟。清大知好樂希望與教育工作者一起努力,用信息技術助力精準教學、精準學習、精準提升,促進區域教育發展,攜手締造智慧教育的美好明天。
  • 大數據分析導論(教學大綱+教學進度表)
    32學時,實踐16學時課程性質:通識基礎課教學目的:通過本課程的學習,讓學生對大數據技術相關基礎知識、基本應用路線和實用工具進行深入學習和了解,為後續的其他信息科學技術及大數據應用等專業課程的學習打下基礎
  • 【數據獲取利器】微博POI獲取工具,城市數據派會員專享哦
    城市大數據實操攻略】12月11日北京開營,火熱報名中!面向城市研究和規劃工作者的個性化定製課程,從大數據基礎、網際網路大數據、軌跡大數據、大數據可視化、Python、機器學習、到 R,城市數據師需要具備的一切技能都在此!(點擊看詳情)【派姐說說】親愛的城市數據派會員們,2016年11月的會員福利之新技術教學終於來啦!
  • 大數據時代的教師專業成長|大數據時代|教師|教育|教學|教育信息化
    筆者無意於測評和重新界定在線教學的功效,只是希望本文能夠為大數據時代教師專業成長提供一些思考與借鑑。儘管《大數據時代》一書的翻譯者周濤認為,就大數據而言我國在垂直應用領域並不比國外落後多少,但是筆者以為一些中小學教師數據素養不容樂觀。這種情況難以適應大數據時代教育教學工作對教師專業成長的新要求。
  • 網際網路時代,大數據技術在職業教育教學中的應用!
    在網際網路時代之中,人們的學習、工作、娛樂、購物等方面也越來越依賴於網絡,大數據的發展是時代發展的必然趨勢。高等職業技術院校每年為社會培養大量的生產技術、服務、管理、設備維修等方面的人才,為社會的發展做出了重要的貢獻。職業教育要想發展、進步,需要緊跟時代的步伐,結合大數據技術,應用於教學之中,更好地為社會培養高質量人才。
  • 小律所,大數據:訴訟的數據化時代
    法律業大數據的時代已悄然到來。天同律師事務所是一個專注於商事訴訟的小律所,卻希望通過實施訴訟大數據的戰略,從更廣泛的角度來分析、評價案件,為更多訴訟律師提供有價值的信息。 在這樣的語境下,中國的律師事務所也開始談論大數據,一時間「大數據」概念風靡法律服務行業,見面要是不談論大數據,就好像沒有摸到時代的脈搏。 受IBM、麥肯錫和O』Reilly等公司的影響,關於大數據如何改善法律服務的文章也越來越多,但是很多文章是基於自身營銷目的進行宣傳,對大數據的核心思想(特別是法律行業如何使用大數據)並不了解,有些觀點甚至有些偏頗。
  • 數據接口測試工具 Postman 介紹
    此文介紹好用的數據接口測試工具 Postman,能幫助您方便、快速、統一地管理項目中使用以及測試的數據接口。1.
  • 學生測評:一起中學APP——連接教師的大數據學生端
    21世紀的中國,社會科學技術的迅猛發展,人們獲取知識的渠道已變得更加方便快捷,不僅僅限於老師在教室授課,現如今在網絡上也能學到老師的課程,最近關注了一款學習、教育類的軟體。一起教育科技的APP——一起中學(學生版),這是一款面向初中生推出的以大數據為驅動的學校智能教育平臺,學生版即為學生端的在線學習APP,以練習為紐帶,同步學校教學進度。但這款軟體是否真正高效地連接了教師與學生呢?軟體的性能具有哪些特點呢?今天通過一起中學這款軟體,我們來做一系列的分析。在這款應用登錄時,學生需要有老師的班級號為媒介登錄進入該應用。
  • 12個頂級大數據工具 - 大數據_CIO時代網 - CIO時代—新技術、新...
    而推出這些工具的提供商都承諾可以為企業節省時間和成本,並發現能夠讓企業獲利的商業洞察力。顯然,大數據分析工具的市場正在不斷增長。  許多大數據分析工具最初像大數據軟體框架Hadoop一樣都是開源項目,但商業實體迅速湧現,為開源產品提供了新工具或商業的支持和開發。
  • 媒介融合時代數據新聞可視化教學探索
    中國人民大學新聞學院教授蔡雯認為:「在媒體融合趨勢下,需兩類新型新聞人才,一是能在多媒體集團中整合傳播策劃的高層次管理人才,二是能運用多種技術工具的全能型的記者編輯。[1]」在整個系統當中對新聞從業人員又提出了更高的要求,新聞記者不光需要具備採編能力更要具有在網際網路時代的工作屬性。從寫作到編輯、從設計到編程,這說明行業需要擁有新聞、軟體和設計背景的複合型視覺人才,這為高校的培養提出了新的要求。
  • 大數據和新經濟時代背景下,新經濟統計學的機遇與挑戰
    萬物互聯,宏觀經濟運行、企業生產經營活動完全被大數據智能的連接在一起,如何用數據將其進行智能化描述,為智能管理提供依據。網際網路、物聯網、人工智慧、5G、可穿戴設備等其底層都是數據,經濟統計是否應該包括這些數據?政府、企業、居 民對數據的需求變了,數據改變了我們的生產方式和生活方式,經濟統計如何與之相適應?
  • 大數據是什麼?大數據時代四個特點
    大數據是什麼?其實很簡單,大數據其實就是海量資料巨量資料,這些巨量資料來源於世界各地隨時產生的數據,在大數據時代,任何微小的數據都可能產生不可思議的價值。大數據有4個特點,為別為:Volume(大量)、Variety(多樣)、Velocity(高速)、Value(價值),一般我們稱之為4V。
  • 高校數據科學教育未來趨勢:工具級打通教學、科研和生產場景
    下面先說說傳統教學工具的利與弊,在主打網絡技術和數據挖掘的大數據教學初始階段,人才培養多以基本技能和基礎理論為主,便捷和快速就是受邀需求,所以傳統教學工具由於其部署方便、操作便捷和一些個性化定製的教學功能,可以為老師和同學節省了不少教學準備時間,它的使用成為了主流。
  • 廈大會計系大數據課程六:大數據應用工具
    11月8日晚上7點,唯你網面向廈門大學會計系開展的《大數據時代下會計審計實務與變革》系列課程第六堂課如期開講。本期課程由唯你網大數據研發中心大數據架構師翁安棟主講,繼續介紹「大數據應用工具」,為會計系學生實戰使用大數據布道,傳授實戰的技藝;本次課程邊講解邊實踐,由於學科的差異,學生理解起來有些吃力,但仍然認真學習與練習,課堂氛圍輕鬆活躍。本次講座,翁安棟從大數據採集與爬蟲工具、即時查詢-黃精眼、數據分析工具-R這3個方面展開介紹。
  • 物流規劃數據分析小工具
    管理人員只需要理解其分析邏輯以及數據結果所表達的意義便可以對策略進行決策,省去了數據處理的時間。點擊【閱讀原文】或掃描視頻中的二維碼,可查看更多物流規劃視頻。點擊觀看視頻:《物流規劃數據分析小工具》講解點擊【閱讀原文】可查看更多視頻,以下為本視頻中的工具示意:表單數據導入:資源數據輸入:
  • 數據科學與大數據技術專業教學課堂,從枯燥到生動的教學模式
    如何將課本可造的內容,生動形象的教給學生,成了大數據工程師需要思考的一個至關重要的問題。玉林師範學院大數據工程師潘老師主張不局限於課本內容的方式,實現從枯燥到生動的教學,提出了在教學經驗中總結的三點見解。
  • 大數據分析課程教與(教學大綱和教案)
    本課程的先修課為《Python程序設計》、《大數據導論》、《資料庫設計》和《計算機網絡基礎》課程,要求學生掌握計算機軟體範圍的算法結構設計和程序設計的方法,大數據體系結構和網絡技術的基本使用方法。【課程目標】通過本課程的學習,讓學生接觸並了解大數據分析的工作原理和使用方法,使學生具有Python大數據分析、設計和可視化開發的能力,具備Kettle大數據清洗和存儲的基本技能,並具有較強的分析問題和解決問題的能力,為將來從事大數據相關領域的工作打下堅實的基礎。