成人在线亚洲_国产日韩视频一区二区三区_久久久国产精品_99国内精品久久久久久久

您的位置:首頁技術文章
文章詳情頁

python - pyspider爬取了接近1G的數據,無法導出csv?

瀏覽:100日期:2022-08-09 10:42:46

問題描述

已經增加虛擬機內存至2g,依然無法導出。

問題解答

回答1:

一般是分文件導出的,如果一個單位的數據大約是1M的話,就分成1024個文件。

另外,合成1G的csv也是不合實際的,因為1G的csv幾乎是打不開的。如果實在是要合成1G的話,把導出的一千多個文件再合成為一份CSV即可,文件合成python很容易實現。

回答2:

1G的數據月CSV處理本身就不太合理了。試試看sqlite3。

回答3:

8G一樣不夠,建議選擇數據庫作為存儲方案,1G規模的CSV是沒有存在的意義的。

回答4:

用ftp內網下載飛快.我前兩天傳8個g.感覺就是幾分鐘就下載好了

標簽: Python 編程