使用Python将大量数据批量插入SQLite数据库。

5 浏览
0 Comments

使用Python将大量数据批量插入SQLite数据库。

我读到了这篇文章：使用Python将CSV文件导入sqlite3数据库表，似乎大家都建议使用逐行读取而不是使用SQLite的批量导入。然而，如果你有数百万行的数据，逐行读取将使插入变得非常慢。有没有其他方法可以解决这个问题？

更新：我尝试了以下代码逐行插入，但速度并不如我预期的那么快。有没有办法改进它？

for logFileName in allLogFilesName:
    logFile = codecs.open(logFileName, 'rb', encoding='utf-8')
    for logLine in logFile:
        logLineAsList = logLine.split('\t')
        output.execute('''INSERT INTO log VALUES(?, ?, ?, ?)''', logLineAsList)
    logFile.close()
connection.commit()
connection.close()

0