AI足球大數據爬蟲分析(golang)

2020-12-15 現世碼農

項目地址

https://gitee.com/aoe5188/foot

項目簡介

foot-parent 是一個集足球數據採集器,簡單分析的項目. 程序採用golang開發,項目模塊化結構清晰完整,非常容易入手並進行二次開發分析. AI球探為程序全自動處理,全程無人為參與幹預足球分析預測程序. 避免了人為分析的主觀性及不穩定因素. 程序根據各大指數多維度數據,結合作者多年足球分析經驗,精雕細琢, 集天地之靈氣,汲日月之精華,歷時七七四十九天,經Bug九九八十一個,編碼而成. 程序執行流程包括且不僅限於(數據自動獲取-->分析學習-->自動推送發布). 經近三個月的實驗準確率一直能維持在一個較高的水平. 同時也是一個學習golang的一個入門級項目.

項目來由

熱衷於足球多年,之餘也會去研究一下,時間久了,都會有自己的心得.但不可能每次都那麼費勁的自己人工去看盤分析,所以結合所學,就有這個項目.

目前程序已經完成了對很多足球相關數據的收集,包括且不僅限於:

所有的聯賽信息,球隊信息,今日比賽列表,自動更新比賽結果,所有亞指的數據,所有的亞指的變化數據,所有的歐指數據,(可配置)所有的歐指數據的變化過程(可配置),對陣雙方的積分榜收集,對陣雙方的對戰歷史,對陣雙方的近30場戰績,對陣雙方的未來三場賽事.必發交易量大小球指數數據大小球指數數據的變化數據

技術選型

xormgo_spiderbeegowalkgo版wechat sdk

模塊依賴

使用教程

配置環境

配置GOPATH安裝 go環境變量導入項目到JetBrainsGoLand並啟用gomod

或可手動下載資源包cd ./foot-api && go mod tidycd ../foot-core && go mod tidycd ../foot-gui && go mod tidycd ../foot-spider && go mod tidycd ../foot-web && go mod tidy手動創建資料庫資料庫名為: foot配置資料庫連接./conf/app.iniconf文件修改配置詳情看配置文件內的說明同步資料庫表FC001DBInit.go

主要入口

build_linux.bat 一鍵打包linux發布程序build_windows.bat 一鍵打包windows發布程序FC000.go 運行beegoFC001DBInit.go 資料庫表同步初始化FC002Analy.go 運行結果分析FOOT000.go linux入口(主要使用)FOOT000Cmd.go windows入口(主要使用)FS000.go 運行數據爬蟲

本地調試運行

1. 創建資料庫foot

2. FC001DBInit.go 同步資料庫表

3. FS000.go 運行數據爬蟲

4. FC002Analy.go 分析得出推薦列表

項目結構

|-- assets 素材文件夾

| |-- common

| | `-- template

| | `-- analycontent 主要用於生成推薦文字說明內容

| |-- leisu

| | `-- html

| `-- wechat

| |-- html 發布公眾號使用到的素材html

| `-- img 發布公眾號使用到的素材圖片

|-- bin 一鍵打包的存放目錄

| |-- assets

| | |-- common

| | | `-- template

| | | `-- analycontent

| | |-- leisu

| | | `-- html

| | `-- wechat

| | |-- html

| | `-- img

| `-- conf

|-- conf 配置文件夾

|-- foot-api 實體類項目,用於存放模塊的載體類

| |-- common

| | `-- base

| | `-- pojo

| `-- module

| |-- analy

| | |-- pojo

| | `-- vo

| |-- core

| | `-- pojo

| |-- elem

| | `-- pojo

| |-- match

| | `-- pojo

| |-- odds

| | `-- pojo

| `-- suggest

| |-- enums

| |-- pojo

| `-- vo

|-- foot-core 核心庫,用於提供資料庫CRUD的功能,及對接第三方網絡的功能

| |-- common 通用庫

| | |-- base

| | | |-- controller

| | | `-- service

| | | `-- mysql

| | |-- fliters

| | |-- routers

| | `-- utils

| |-- launch

| |-- module

| | |-- analy 分析模型模塊

| | | |-- constants

| | | `-- service

| | |-- check

| | | `-- sql

| | |-- core

| | | `-- service

| | |-- elem

| | | `-- service

| | |-- index

| | | `-- controller

| | |-- leisu

| | | |-- constants

| | | |-- controller

| | | |-- service

| | | |-- utils

| | | `-- vo

| | |-- match 提供賽事的相關資料庫操作

| | | |-- controller

| | | `-- service

| | |-- odds 提供指數的相關資料庫操作

| | | `-- service

| | |-- spider

| | | `-- constants

| | |-- suggest 用於獲取推薦的比賽列表

| | | `-- service

| | |-- tesou 無用

| | | |-- constants

| | | |-- service

| | | |-- utils

| | | `-- vo

| | `-- wechat 微信發布相關

| | |-- constants

| | |-- controller

| | `-- service

| `-- test

| `-- bson

|-- foot-gui

| `-- handler

|-- foot-robot

| `-- helper

|-- foot-spider 足球相關賽事指數數據的爬蟲模塊

| |-- common

| | `-- base

| | `-- down

| |-- launch

| `-- module

| `-- win007

| |-- down

| |-- proc

| `-- vo

|-- foot-web

`-- logs

相關焦點

  • 圖解歐洲足球五大聯賽 | R爬蟲&可視化第五季
    作者:徐麟,數據分析師,就職於上海唯品會。熱愛數據挖掘和分析,喜歡用R、Python玩點不一樣的數據。個人公眾號:數據森麟(微信ID:shujusenlin) 往期回顧:同花順股票分數可視化 | R爬蟲&可視化第3季近三十年6000部國產電視劇告訴了我們些什麼 | R爬蟲&可視化第四季R爬蟲&可視化系列文章來到了第五季,我們來聊聊歐洲足球五大聯賽。
  • 網絡機器人出沒,如何利用大數據技術實時識別和防護 | 硬創公開課...
    保守估計,網際網路約50%~60%的流量由網絡機器人貢獻,航空票務、政府公示、社保信息、公積金信息、招聘簡歷等,都是網絡爬蟲的重災區。本次公開課,雷鋒網(公眾號:雷鋒網)宅客頻道(微信公眾號:letshome)邀請了邦盛科技技術總監李白分享他和他的團隊如何利用數據、技術、規則、模型、產品來建設網絡機器人實時識別與防護體系。內容介紹本期雷鋒網硬創公開課包含但不限於以下內容:網絡機器人發展現狀趨勢及特點,以及給我們帶來的危害分析。
  • 爬蟲玩的好,監獄進的早
    在消費金融科技領域中,大數據風控業務已成為關鍵環節。但當下大數據風控行業卻迎來多事之秋,多家為網際網路小貸公司、個人消費類業務金融等公司提供服務的大數據風控領域企業被抓,他們旗下的爬蟲業務先後都因「涉黑」被暫停營業。
  • Python網絡爬蟲
    Python網絡爬蟲第一篇(一):為什麼要學習網絡爬蟲?大數據成為當今時代的熱門話題之一,在數據量爆發增長的網際網路時代,網站與用戶溝通實質為數據的交換。如果大量的數據得以分析,我們能夠對事件的看法,解決方案做出更好的決策。
  • 專家熱議數據安全犯罪:增設「妨害數據信用罪」打擊網絡爬蟲
    正義網電(高航)「網絡爬蟲是一種中立的技術手段,數據爬取是否構成犯罪,要根據爬取行為本身和獲取數據的性質進行實質性判斷;流量造假危及數據信用生態,形成了大量經濟泡沫,建議通過立法增設「妨害數據信用罪」來加強打擊。」近日,浙江理工大學於杭州主辦的數據安全犯罪前沿論壇上,部分與會專家發表了上述觀點。
  • Python爬蟲實戰 | 只需 「4步」 入門網絡爬蟲(有福利哦)
    網絡爬蟲也是獲取數據的一個途徑。對於大數據行業,數據的價值不言而喻,在這個信息爆炸的年代,網際網路上有太多的信息數據,對於中小微公司,合理利用爬蟲爬取有價值的數據,是彌補自身先天數據短板的不二選擇。根據上面的分析,我們可以把網絡爬蟲分為四步:獲取網頁數據解析網頁數據存儲網頁數據分析網頁數據第一步:獲取網頁數據獲取網頁數據,也就是通過網址( URL:Uniform Resource Locator,統一資源 定位符),獲得網絡的數據,充當搜尋引擎。
  • python爬蟲數據數據存儲csv模式
    Python 爬蟲的數據存儲模式有很多中,有json,mongodb,mysaql,csv,我本人了解這幾個比較常用的。我們從最容易了解的csv開始。CSV(comma-separated values,逗號分隔值)是存儲表格數據的常用文件格式。Microsoft Excel 和很多應用都支持 CSV 格式,因為它很簡潔。
  • R爬蟲&可視化第五季-圖解歐洲足球五大聯賽
    作者:徐麟,數據分析師,就職於上海唯品會。熱愛數據挖掘和分析,喜歡用R、Python玩點不一樣的數據。個人公眾號:數據森麟(微信ID:shujusenlin) 前言:R爬蟲&可視化系列文章來到了第五季,我們來聊聊歐洲足球五大聯賽。本人作為一個不會踢球的資深球迷,俗稱「懂球帝」,今天就與大家用數據分析一下2017-2018賽季歐洲五大聯賽的各項指標。
  • Python爬蟲推薦用什麼框架呢?
    實現爬蟲技術的編程環境有很多種,Java、Python、C++等都可以用來爬蟲,但最熱門的依然是Python,這是為什麼呢?因為Python有著非常豐富的第三方庫,確實很適合做爬蟲,簡單的幾行代碼便可實現你想要的功能,同時Python也是數據挖掘和分析的好能手。
  • Aiden.ai獲投資 以發展AI營銷分析工具
    【手機中國新聞】總部位於倫敦的人工智慧分析創業企業Aiden.ai已經獲得了160萬美元的種子資金,用於 「人工智慧營銷分析工具」的開發,他們聲稱,這就像在營銷團隊中多出來一個人。該輪投資由Partech領投。
  • 爬蟲大戰! 看邦盛科技如何反爬抓「蟲」?
    隨著漫長進化,這一物種被用於各大網際網路金融、電商平臺、社交網絡等。利用網絡爬蟲,票販黃牛可以在幾分鐘內搶佔所有熱門線路的車票,大量的搶佔會造成網站變得很卡。據業內人士估計,80%以上低價機票被票務公司的爬蟲搶走。越是涉及個人利益的地方,越是布滿了爬蟲,包含政務、電商、銀行、OTA、社交、招聘、出行等網站。說到這裡,我們對網絡爬蟲有了比較形象的認識。
  • 如何快速學會Python爬蟲(入門篇)
    Python爬蟲入門二之爬蟲基礎了解3. Python爬蟲入門三之Urllib庫的基本使用4. Python爬蟲入門四之Urllib庫的高級用法5. Python爬蟲入門五之URLError異常處理6.
  • Python 爬蟲進階必備 | 某體育網站登錄令牌加密分析(再送兩本!!)
    ,需要一個一個去分析,同樣也有局限性,比如參數是混淆的就搜不到了。接下來打上斷點驗證看我們的分析是否準確《Python 3.x網絡爬蟲從零基礎到項目實戰》介紹了如何使用Python來編寫網絡爬蟲程序,內容包括網絡爬蟲簡介、發送請求、提取數據、使用多個線程和進程進行並發抓取、抓取動態頁面中的內容
  • 簡單講解價值1K的Python爬蟲外包案例
    往期推薦 本篇文章就使用三種爬蟲模式爬取相關數據 1、常規爬取數據 2、多線程爬取數據 3、scrapy框架爬取數據 基本開發環境
  • Golang 會淘汰 Python 嗎?
    Go的資料庫,如GoLearn(數據處理),Goml(傳輸數據)以及Hector(解決二進位分類問題)都是為AI及其應用服務的一些庫。提供良好的代碼可讀性:Go語言所用的算法提供了一種極簡主義的方法,允許開發者輕鬆編寫可讀的代碼。
  • 什麼是Python網絡爬蟲?看這篇清晰多了!
    網絡爬蟲(Web crawler),就是通過網址獲得網絡中的數據、然後根據目標解析數據、存儲目標信息。這個過程可以自動化程序實現,行為類似一個蜘蛛。蜘蛛在網際網路上爬行,一個一個網頁就是蜘蛛網。這樣蜘蛛可以通過一個網頁爬行到另外一個網頁。
  • 網貸領域爬蟲,既非原罪者也非無辜者
    [4]另一方面,網站通常會設置實質上的技術障礙——如設置防火牆、封IP、設置參數查驗和驗證碼等——將爬蟲阻擋在網站之外,從而保護自己的信息。作為一種信息獲取手段,爬蟲被廣泛應用到各個領域,在大數據分析、輿情檢測和知識信息儲備等行業中都舉足輕重。對網際網路金融,爬蟲更是具有重要意義。
  • 推薦四個網絡爬蟲抓包神器
    目前市面上比較不錯的網絡爬蟲抓包工具有Fiddler、charles、Anyproxy和mitmproxy等。有人可能會問,何為網絡爬蟲?首先,網絡爬蟲它是一種程序,它的樣子如同一個大蜘蛛.它將網絡上全部的連結和內容進行查索,建立相關的資料庫並引入。往往較好的爬蟲將會決定搜尋引擎的質量。CharlesCharles是一款macOS上的一款抓包分析工具之一。當然他也支持windows和linux。
  • 網貸領域爬蟲,既非原罪者也非無辜者|金融法苑
    爬蟲是一個技術概念, 簡單來說是一個自動提取信息和網頁的程序, 由一系列的代碼構成。一個代碼初級學者經過簡單訓練就可以寫成一段基礎爬蟲代碼。一個基本的爬蟲由制定目標、 全面檢索、 信息傳輸、 信息分析和信息存儲五個步驟組成。基於基礎的爬蟲, 又有一些具體的數據爬蟲分類, 其爬取邏輯、 爬取對象不同, 也具有不同的特點、 不同的用途。
  • 學習數據分析,這些超好用的數據分析工具你必須知道!
    使用Storm的另一大優勢在於,其整合了大量其它技術,從而進一步降低大數據處理的複雜性。 Plotly 這是一款數據可視化工具,可兼容Java、MATLAB、Python以及R等語言。Plotly甚至能夠幫助不具備代碼編寫技能或者時間的用戶完成動態可視化處理。