mysql - 數(shù)據(jù)庫(kù)插入頻繁導(dǎo)致數(shù)據(jù)丟失
問(wèn)題描述
插入語(yǔ)句有兩條，循環(huán)插入這兩條只是簡(jiǎn)單寫了下插入語(yǔ)句，沒有捕捉到異常
def process_item(self, item, spider):#print(item)try: with self.connection.cursor() as cursor:#Create a new recordsql1 = 'INSERT INTO staff (XNXQ, department, teacher, gender, title, note1, note2) VALUES (%s, %s, %s, %s, %s, %s, %s)'cursor.execute(sql1, (item[’first’][’XNXQ’], item[’first’][’department’], item[’first’][’teacher’], item[’first’][’gender’], item[’first’][’title’], item[’first’][’note1’], item[’first’][’note2’]))self.connection.commit()#Create a new recordcursor.execute('select max(id) from staff')teacherId = cursor.fetchone()[’max(id)’]print(’teacherId:’ + str(teacherId))print(item[’second’]) sql2 = 'INSERT INTO staffCourse (teacherId, snum, course, credit, teachWay, courseType, classNum, className, stuNum, week, section, location) VALUES (%s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s)'cursor.execute(sql2, (teacherId, item[’second’][’snum’], item[’second’][’course’], item[’second’][’credit’], item[’second’][’teachWay’], item[’second’][’courseType’], item[’second’][’classNum’], item[’second’][’className’], item[’second’][’stuNum’], item[’second’][’week’], item[’second’][’section’], item[’second’][’location’]))self.connection.commit()except Exception as e: print(’------------------------------------------’) print(e)
查看數(shù)據(jù)庫(kù)時(shí)，發(fā)現(xiàn)少了很多，我猜應(yīng)該是頻繁插入導(dǎo)致數(shù)據(jù)丟失的，因?yàn)槲以诓迦霐?shù)據(jù)庫(kù)之前把數(shù)據(jù)print了一下，沒少。怎么解決這個(gè)問(wèn)題？
問(wèn)題解答
回答1：你是不是一次性循環(huán)了很多次啊如果我沒記錯(cuò)的話。數(shù)據(jù)庫(kù)有個(gè)隊(duì)列緩存的，如果一下子塞入太多數(shù)據(jù)占滿了緩存，就會(huì)產(chǎn)生丟失的現(xiàn)象如果有大量數(shù)據(jù)要插入的話，就要自己實(shí)現(xiàn)隊(duì)列，然后定時(shí)插入
或者試試事務(wù)
回答2：由于看不懂python語(yǔ)法，僅從sql的角度來(lái)提供2種解決方法：1、用事務(wù)的方式去進(jìn)行寫入數(shù)據(jù)，每1000條數(shù)據(jù)提交一次，例如：
fake code
for data.size BEGINfor 1000 INSERT INTO ...end COMMITend
2、將sql改成批量寫入，性能有不少提高
INSERT INTO (...)VALUES (...),(...),(...),(...);回答3：
可以看下數(shù)據(jù)庫(kù)日志，看下執(zhí)行記錄。
回答4：你雖然代碼里面寫了insert之后，commit。但是在什么時(shí)候提交，是在你的項(xiàng)目中的事務(wù)中控制的，而不是你在這里控制的，項(xiàng)目中可能從切面做了事務(wù)的控制。解決方案：1.分頁(yè)插，配置事務(wù)，不要一次性插入，分批插入，分批commit數(shù)據(jù)。
相關(guān)文章：
1. MySQL的聯(lián)合查詢[union]有什么實(shí)際的用處2. PHP訂單派單系統(tǒng)3. 怎么能做出標(biāo)簽切換頁(yè)的效果，（文字內(nèi)容隨動(dòng)）4. mysql - sql 左連接結(jié)果union右連接結(jié)果，導(dǎo)致重復(fù)性計(jì)算怎么解決？5. 網(wǎng)頁(yè)爬蟲 - python 爬取網(wǎng)站 并解析非json內(nèi)容6. mysql 遠(yuǎn)程連接出錯(cuò)10060，我已經(jīng)設(shè)置了任意主機(jī)了。。。7. php多任務(wù)倒計(jì)時(shí)求助8. 數(shù)組排序，并把排序后的值存入到新數(shù)組中9. 默認(rèn)輸出類型為json，如何輸出html10. mysql時(shí)間格式問(wèn)題
網(wǎng)公網(wǎng)安備