作者丨王術
連結
https://www.zhihu.com/question/22698541/answer/22367802
資料搜集是個相當繁瑣與累的工作,也是數據分析入門的基本,良好的信息資料搜集能力有利於我們快速了解基本情況,為後續的調研及一手資料的獲得打下較好的基礎。01 搜尋引擎
搜尋引擎是我們信息資料搜集的最重要的渠道之一,用搜尋引擎查找信息資料需要使用恰當的關鍵詞和一些搜索技巧。目前國內主要的搜集引擎有如下10個,近期還有較多行業型搜索冒出來,需找專業型行業資料可以使用行業型搜尋引擎。
由於每個搜尋引擎都有一定的局限性,可以把要搜索的關鍵詞在多個搜尋引擎試一下,可能會搜出你意想不到的結果。
大家對國內的引擎基本都很熟悉,尤其是百度和google,需要搜索同一主題的資料,不同的人所搜出來的結果可能就天差地別了,主要原因在於如下兩點:
1. 搜索關鍵字的選擇
舉例說明,假如我們要搜索大數據行業發展相關資料,如果我們就在百度上搜索「大數據」,結果非常多,無法進行篩選,可以對關鍵詞進一步界定,如「大數據行業」「大數據市場規模」「中國大數據產業」「大數據技術」「大數據企業」等等,需要不停地變換搜索關鍵詞,直到查到滿意的搜索結果。
在查找的過程中可以根據查找結果內容再進行對關鍵詞進行修正,修正有些名稱專業表達方式,因為最開始搜索我們表達的不一定準確。
2. 搜索技巧
主要是針對百度、google等搜尋引擎一些高級搜索技巧。常用技巧主要有如下幾個方面:
1)文件類型搜索
使用filetype,如在百度或google中鍵入「filetype:pdf 大數據」搜索出有關大數據內容pdf內容,而且這些文檔基本都是可直接下載。還可以變換為其他的,如「filetype:doc」「filetype:ppt」「filetype:xls」等等,注意其中的冒號為英文的冒號,一定要變換為英文冒號。
2)定位於哪個網站上搜索
使用site,如在百度或google中鍵入「大數據空格site:sina.com」,則在sina.com搜索有關大數據的一些資料信息,這個特別適用針對某些信息可能在哪些網站上出現的一個快速搜索方法,注意冒號也是英文的,網站名稱也不用加www。
3)精確匹配搜索
使用「」,如在百度中鍵入「大數據行業」,表示搜索「大數據行業」五個必須聯在一起的,如果不加「」,搜到的為大數據及行業兩個詞並列顯示結果,沒有這麼精確匹配。
4)限制性的網頁搜索
使用intitle,如在百度鍵入「intitie:大數據」,限定於搜索標題中含有「大數據」網頁,如果輸入「intitie:大數據市場規模」限定於搜索標題中含有「大數據」和「市場規模」的網頁。
附:搜尋引擎推薦
http://www.scirus.com
Scirus 是目前網際網路上最全面、綜合性最強的科技文獻搜尋引擎之一,由Elsevier科學出版社開發,用於搜索期刊和專利,效果很不錯!
Scirus覆蓋的學科範圍包括:農業與生物學,天文學,生物科學,化學與化工,計算機科學,地球與行星科學,經濟、金融與管理科學,工程、能源與技術,環境科學,語言學,法學,生命科學,材料科學,數學,醫學,神經系統科學,藥理學,物理學,心理學,社會與行為科學,社會學等。
02 資料庫
資料庫是研究人員重要的數據來源之一,目前券商、基金研究研究機構都購買有商業資料庫,目前研究用的資料庫主要分為兩大類,一是商業資料庫,二是學術資料庫。
1. 商業資料庫
商業資料庫大多為金融投資所用,主要分為國內與國外資料庫兩大類。
1)國內商業資料庫
國內資料庫主要有如萬德、恒生聚源、銳思資料庫、CSMAR資料庫、巨潮資料庫等。
目前萬德資料庫主要定位於國內高端客戶,市場佔有率較高,80%左右,當然其售價較高。
恒生聚源也定位為機構客戶,性價比較高,售價要比萬德便宜的多。
CSMAR資料庫定位於學術與高校,其中金融數據比較全,強大。
銳思資料庫定位於學術,質量一般。
巨潮資料庫為深交所旗下資料庫,有一定的特殊優勢。
2)國外商業資料庫
國外資料庫主要有彭博、路透社、CEIC、OECD、Haver Database、Thomson Financial One Banker等。
國外資料庫中彭博是比較全也大的,在國內銷售也較好,但是售價奇貴。一般不做國際市場研究,大多用不到國外資料庫,畢竟國外資料庫公司對國內的行業數據及公司數據不如本土資料庫公司的做得好。
2. 學術資料庫
學術資料庫基本為高校、研究機構所用,也分為國內與國外兩大類,學術資料庫中一些學術論文、行業數據、統計年鑑還是有用的,缺點就是其中有些數據的相對較舊,無法做到實時更新。
1)國內學術資料庫
2)國外學術資料庫
以上大致介紹了國內的商業及學術資料庫,但這些資料庫都是通過收費或學校帳號才能使用,對於平時臨時研究用的一些人,沒有必要去購買,下面介紹一些免費可用的資料庫。
03 共享文庫
首先也非常感謝共享文庫的出現,使得大家搜集信息方便了許多,隨最早的豆丁、百度、愛問等共享文庫的出現,隨後到如今出現許多共享文庫,不過很多文庫規模較小,文檔數量較少。
1. 國內主要文庫
百度文庫
http://wenku.baidu.com/
國內文檔數據量最大的共享文庫,綜合型的,好用。
豆丁文庫
http://www.docin.com/
其收費的盈利模式導致用戶數量逐年減少,文檔質量也不如百度文庫。
綜合型文庫,裡面也時常發現好的行業研究報告,電子書籍等。
道客巴巴
http://www.doc88.com/
綜合型文庫,後起之秀,文檔數量和質量較好。
智庫文檔
http://doc.mbalib.com/
以管理、行業文檔為主,質量較好。
無需註冊,通過點擊廣告模式盈利,文檔內容多。
IT168文庫
http://wenku.it168.com/
專業型文庫,以計算機及IT技術相關的文檔為主。
全球最大的中文IT社區。
呱仕網
http://www.guasee.com/
以創業投資、證券市場等文檔為主的專業型文庫,剛起步狀態。
國內最大房地產類文庫,房地產相關策劃、數據較全。
2. 國外文庫
Scribd
http://www.scribd.com
全球最大的文檔分享平臺。
Docstoc
http://www.docstoc.com
在線文檔與圖片分享平臺。
針對以上國內的共享文庫,都可以通過註冊帳號,上傳分享資料賺取積分,通過積分可以下載文庫資料。
如果有些文檔看過後不錯想保存下來積分不夠,可以通過文庫下載器來免費下載保存,文庫下載器有如「冰點文庫下載、易讀下載、老張文庫下載」等等,如果只看重其中一部分內容,可以通過QQ拷屏方式保留下來(登陸QQ,ctrl+alt+a拷屏)。
04 專業網站
在共享文庫未出現以前,專業論壇一直擔任著查找資料的好去處,的確國內的一些論壇經過這麼多年的運營,已經積累大量有用文檔。下面主要介紹我們常用的專業論壇。
1. 人大經濟論壇
http://bbs.pinggu.org/
經濟、學術型論壇,其中行業研究、統計年鑑數量多,更新速度快,我的最愛,常用。
2. 經濟學家
http://bbs.jjxj.org/
經濟學專業論壇,其中統計年鑑、行業報告、國內外數據等有特色。
3. 隨意網-經濟論壇
http://economic.5d6d.net/
新建網站,有些內容尚可。
4. 理想在線
http://www.55188.com
股票券商研究報告。
5. 邁博匯金
http://www.hibor.com.cn/
股票券商研究報告,目前已經收費了,只能查詢有哪些最新報告了,無法下載。
6. 博瑞金融
http://www.brjr.com.cn/forum.php;
金融行業專業型論壇。
7. 華爾街社區
http://forum.cnwallstreet.com/index.php
國內專業的金融論壇。
8. 投行先鋒論壇
http://www.thxflt.com/
專業型為投行人士探討而設立的論壇。
9. 春暉投行在線
http://www.shenchunhui.com/
證券相關政策的彙編整合論壇。
10. 中華股權投資論壇
http://www.tzluntan.com/
pe投資專業型論壇。
11. 其他專業網站
投行網站:
http://macabacus.com/
http://www.wallstreetoasis.com/
http://www.ibankingfaq.com/
http://stocks.etnet.com.cn/www/sc/stocks/ci_ipo.php
http://www.aastocks.com/sc/ipo/sponsor.aspx
http://terminal.chinaef.com/index.action
http://www.mergermarket.com/info/
各大諮詢公司報告:
http://www.deloitte.com/view/zh_CN/cn/services/
http://www.deloitte.com/view/en_GX/global/insights/index.htm
http://www.kpmg.com/CN/en/IssuesAndInsights/Pages/default.aspx
http://www.mckinsey.com/locations/chinasimplified/
http://www-31.ibm.com/cn/services/bcs/
http://www.bcg.com.cn/cn/newsandpublications/newsandpublictions_publications.html
http://www.ebusinessreview.cn/
http://www.ey.com/CN/ZH/home/library
http://www.bain.cn/news.php
https://china.mckinseyquarterly.com/home.aspx
http://www.pwccn.com/home/eng/libraryindex.html
http://www2.hewittassociates.com/Intl/AP/zh-CHT/Default.aspx
http://www.booz.com/global/home/what_we_think/cds_home/m_and_a/cds_our-leading-research-on-ma
05 政府部門
政府部門是國內公開數據的來源,查詢權威的數據可以到政府相關部門網站,以下介紹國內的主要發布相關數據的政府部門。
1. 國家統計局
http://www.stats.gov.cn/
這個不用多說,大家很多人瀏覽過。
2. 工業和信息化部
http://www.miit.gov.cn
較多數據在此發布,尤其是有關工業運行及信息化相關數據。
3. 中國人民銀行
http://www.pbc.gov.cn/
中國金融市場政策及運行相關數據。
4. 銀監會
http://www.cbrc.gov.cn
銀行金融相關數據。
5. 中國海關
http://www.customs.gov.cn
中國進出口相關數據。
6. 國家知識產權局
http://www.sipo.gov.cn
專利相關查詢。
7. 中國證監會
http://www.csrc.gov.cn
相關政策及招股書披露平臺,以及擬上市公司排隊每周披露。
8. 巨潮信息網
http://www.cninfo.com.cn/
中國資本市場指定披露平臺,上市公司相關年報、季報及公告披露信息。
06 證券交易所
1. 上海證券交易所
http://www.sse.com.cn/
其中研究出版欄目中有些研究報告。
2. 深圳證券交易所
http://www.szse.cn/
其中研究/刊物中有研究報告。
3. 全國中小企業股份轉讓系統(新三板)
http://www.neeq.com.cn/
新三板掛牌公司的轉讓及信息披露。
4. 香港證券交易所
http://www.hkexnews.hk/index_c.htm
5. 臺灣證券交易所
http://www.tse.com.tw/ch/index.php
6. 新加坡證券交易所
http://www.sgx.com/
7. 紐約證券交易所
http://www.nyse.com
8. 納斯達克證券交易所
http://www.nasdaq.com
07 如何尋找國外數據
1. 搜集美國相關數據
由位於華盛頓的美國政府印刷辦公室出版、經濟顧問委員會撰寫的《總統經濟報告》(Economic Report of President),提供了有關美國當前經濟形勢的描述和主要宏觀經濟變量數據。相當多的數據都可以追溯到1959年,甚至個別的可追溯到1929年。
可能你已經留意到了,好多有關美國的圖形,都是採用《總統經濟報告》(2005)所附數據生成的。這些數據可以免費下載,網址:
http://www.access.gpo.gov/eop/
如果想獲得最近數據的詳細資料,一個不錯的選擇是,美國商務經濟分析局每月出版的《當代商業縱覽》(Survey of Current Business)。網址:
http://www.bea.doc.gov/
2. 如何搜集國外其他經濟體數據
對富裕國家來說,最有用的資料來源於經濟合作與發展組織(Organization of Economic Cooperation and Development,簡稱OECD)。
經濟合作與發展組織的成員包括:奧地利、澳大利亞、比利時、加拿大、捷克共和國、丹麥、芬蘭、法國、德國、希臘、匈牙利、冰島、義大利、日本、盧森堡、墨西哥、荷蘭、紐西蘭、挪威、波蘭、葡萄牙、韓國、西班牙、瑞典、瑞士、土耳其、英國和美國。看來,世界上的富裕國家大都屬於該組織,其產出佔世界產出的70%左右。
OECD的網址:
http://www.oecd.org/
提供三種極為有用的數據:
《OECD經濟展望》(OECD Economic Outlook),每年出版兩次,提供許多跨國宏觀經濟數據。這些數據一般都上溯到20世紀70年代,而且具有很好的一致性。
《OECD就業展望》(OECD Employment Outlook),每年出版一次,專門提供勞動力市場的數據。
《OECD歷史統計》(OECD Historical Statistics),不定期出版,將當期數據和過去數據放在一起。
對於不是OECD成員的國家和地區,可以從其它國際組織那裡獲得相關數據,比如國際貨幣基金組織(International Monetary Fund,簡稱IMF),網址:
https://www.imf.org/
IMF提供《國際金融統計年鑑》(InternationalFinancial Statistics Yearbook),它主要提供成員國的金融數據,但也包括一些總體數據,比如GDP、失業和通貨膨脹等。
至於若干國家長期的統計數據,兩個不可多得的數據來源是,Heston-Summers資料庫和Madison資料庫。
Heston-Summers資料庫提供168經濟體在1950-2000年間的跨國可比數據,在賓夕法尼亞大學國際比較中心(Center for International Comparisons at the University ofPennsylvania)網站上可以下載:
http://pwt.econ.upenn.edu/
Madison資料庫提供了自1820年以來56個經濟體的數據。
最後,如果還沒有找到你要的數據,不妨登陸下面的兩個網站,也許是根稻草。哈佛商學院的宏觀經濟學資源網站提供了大量連接:
https://www.hbs.edu/faculty/units/bgie/Pages/default.aspx
由密西西比大學BillGoffe維護的一個網站:
http://rfe.wustl.edu
不僅列出了數據來源,而且還列出了有關經濟的其他信息來源。
08 分行業網站
1. 網際網路及傳媒
1)資訊類
新浪科技
http://tech.sina.com.cn/
艾瑞網
http://www.iresearch.cn/
藝恩網
http://www.entgroup.cn/
虎嗅網
http://wwww.huxiu.com/
鈦媒體
http://www.tmtpost.com/
2)數據類
中國網際網路信息中心
http://www.cnnic.net.cn/
易觀智庫
http://www.analysys.cn/
百度指數
http://index.baidu.com/
大數據導航
http://hao.199it.com/
CSM(電視收視率)
http://www.csm.com.cn/
2. 銀行業
1)新聞資訊
證券時報網
http://www.stcn.com/
2)公告、數據查找
統計局
http://www.stats.gov.cn/
中國人民銀行
http://www.pbc.gov.cn/
上海證券交易所
http://www.sse.com.cn/
深圳證券交易所
http://www.szse.cn/
3. 有色金屬
1)日報網站
百川諮詢
http://www.baiinfo.com
公司公告:巨潮
http://www.cninfo.com.cn
2)其他常用站
真鋰研究
http://www.realli.net
新三板諮訊
http://www.sanban18.com
09 其他
除以上介紹的幾種資料搜集渠道外,我們也結合近年it科技的發展,在博客、微博、空間等去搜索。
1. 行業協會網站
每個行業協會基本都會有網站,在該網站上能夠查找一些對本行業的描述、相關數據等。
2. 博客
國內有網易、新浪、搜狐、百度空間、和訊等博客網站,有些數據也可以從搜索博客中找到。
3. 微博
新浪微博及騰訊微博,用數量極大,其中有些數據可以通過搜索查詢到。
4. 微信
微信用戶已經超過4億,每個人都是新聞的發布者,其中數據資源豐富,但目前還未提供全文搜索功能,只能通過關注相關公共帳號或關注朋友圈獲取。
5. QQ空間
有些企業或機構QQ空間會有些報告及數據發布。
6. 全景網
http://www.p5w.net/