1. 請教高手,怎麼爬取網站歷年的數據
python的經典程序爬蟲,可以考慮學習一下,python不僅入門簡單,靈活高效。更是在人工智慧方面應用廣泛,對將來大有裨益。
2. 如何獲取滬深股票歷史行情數據 http://hq.sinajs.cn/list=sh601006可以拿到實時數據, 但拿不到歷史數據
你去下載一個大智慧(或者金太陽)等交易軟體,有免費行情,其中包含歷史數據並可以導出為EXCEL版,實在不行的話給我留言,我給excel版你。
3. 如何使用Excel完成網站上的數據爬取
注意:本章節主要講解數據獲取部分
將網頁中展示的數據爬取到可以編輯的文本工具中從而實現批量操作。在具體的爬取過程中,經常使用的根據有Excel和Python。
該板塊由三個模塊組成:
在爬蟲過程中,最為常用的瀏覽器為谷歌瀏覽器和火狐瀏覽器。
實操步驟:
1.獲取瀏覽器標識
以谷歌瀏覽器為例:
打開瀏覽器輸入目標網站後,右鍵點擊檢查(快捷鍵Ctrl+Shift+I(註:不是L,是I)),在檢查頁面中點擊Network後重新載入頁面,在檢查Network頁面中單擊第一個網頁信息:index.html。在右邊出現的窗口Headers中,將頁面拉至底部可查找到瀏覽器標識UserAgent,復制UserAgent信息即可。
2.設置響應時間(位置用戶瀏覽)
新建Excel並打開,點擊自網站,在彈出的窗口中選擇高級選項,將我們需要爬取的目標網址信息粘貼到Url位置處,同時在響應時間欄中設置1分鍾的響應時間,
3.設置瀏覽器標識
在HTTP請求標頭參數中下拉選擇UserAgent,粘貼瀏覽器的UserAgent信息。
4.將數據載入到Power Query中進行預處理,建立網頁鏈接後,選擇數據Table0,選擇編輯進入Power Query中進行數據預處理。處理完數據後,依照慣例,製作可視化地圖。
4. 用python網頁爬蟲怎麼獲取到okcoin的歷史數據
看你爬什麼咯?如果是網頁,那就是頁面代碼;如果是制定內容,那爬取的時候就給定匹配的關鍵字,返回你指定的數據(字串,list,json都可以)
5. 如何用爬蟲爬取網頁上的數據
用爬蟲框架Scrapy, 三步
定義item類
開發spider類
開發pipeline
如果你想要更透的信息,你可以參考《瘋狂python講義》
6. 舊系統都沒在維護了,有什麼方法能將老系統中的歷史數據自動抓取出來嗎
程序上的事情一般只要數據還在,是可以解決的,直接通過資料庫就可以的,不行就寫個小工具爬取,能直接通過資料庫弄出來最好不過了,具體看你什麼樣的,有具體的系統東西可以找額給你解決
7. 如何快速取得股票交易歷史數據
答:最直觀的方法是直接到網站查看股票歷史數據然後復制下來,比如到谷歌財經輸入相應股票代碼,點擊「歷史價格」,就可以看到該股票歷史數據。
8. 請教抓取實時行情數據的方法
搜索一下吧,例如 金融實時行情API介面,有專門的實時行情API介面,使用這樣的API介面即可獲得實時行情數據。
9. 請問怎樣用Java獲取股票行情歷史數據新浪、搜狐、百度財經都可以......
publicclassStockConnection{
publicstaticvoidmain(String[]args){
URLur=null;
try{
//搜狐股票行情歷史介面
// ur=newURL("http://q.stock.sohu.com/hisHq?code=cn_300228&start=20130930&end=20131231&stat=1&order=D&period=d&callback=historySearchHandler&rt=jsonp");
//新浪股票行情歷史介面
ur=newURL("http://biz.finance.sina.com.cn/stock/flash_hq/kline_data.php?&rand=random(10000)&symbol=sh600000&end_date=20150809&begin_date=20000101&type=plain");
HttpURLConnectionuc=(HttpURLConnection)ur.openConnection();
BufferedReaderreader=newBufferedReader(newInputStreamReader(ur.openStream(),"GBK"));
Stringline;
while((line=reader.readLine())!=null){
System.out.println(line);
}
}catch(Exceptione){
//TODOAuto-generatedcatchblock
e.printStackTrace();
}
}
}