贊助廠商

娛樂城推薦

首頁

電腦與網際網路/其他:電腦列表

R_Language- 爬蟲,因為壅塞想讓程式等待

[軟體熟悉度]:使用者(已經有用R 做過不少作品)[問題敘述]:資料庫網站本身載入就不快,有時更會塞車,讀取網站的檔案或路徑時,回傳讀取的連結(檔案或路徑)list,即便網站路徑存在還是會讀不到。網站讀取如果快的時候可以完成,請見範例程式。如果慢的時候,就算連結存在,會出現錯誤,當下我開網頁大約需要4分鐘。程式約3秒出現錯誤訊息。錯誤訊息為:Error in open.connection(x, "rb") : cannot open the connection。因為希望程式能自動每日執行,不會卡在有時因網站loading慢而中止,有甚麼方式可以讓程式等待網站呢?[程式範例]:成功的:"http://tisvcloud.freeway.gov.tw/history/" %>>% (~ cat('Now the program is at', ., "\n")) %>>% read_html("UTF8") %>>% xml_find_all("//*[@id='form1']//table/tbody") %>>% xml_find_all("//tr/td[1]/a") %>>% xml_text %>>% when(identical(.Platform$OS.type, "windows") ~ stri_conv(., "UTF-8","Big5"), ~ .)結果:Now the program is at http://tisvcloud.freeway.gov.tw/history/ [1] "Parent Directory" "vd" "TDCS_PINGLIN" "TDCS" [5] "roadlevel" "motc20" "map" ... [25] "1min_incident_data_1968.xml" "1968_incident.pdf"--失敗的:"http://tisvcloud.freeway.gov.tw/history/TDCS/M08A/" %>>% (~ cat('Now theprogram is at ', ., "\n")) %>>% read_html("UTF8") %>>% xml_find_all("//*[@id='form1']//table/tbody") %>>% xml_find_all("//tr/td[1]/a") %>>% xml_text %>>% when(identical(.Platform$OS.type, "windows") ~ stri_conv(., "UTF-8","Big5"), ~ .)結果:Now the program is at http://tisvcloud.freeway.gov.tw/history/TDCS/M08A/Error in open.connection(x, "rb") : cannot open the connection[環境敘述]:WIN 10R 4.0.4[關鍵字]:爬蟲;網站壅塞--
  • 發問日期:2021-06-10 06:00:15

友站連結