【JDBC】批量插入数据

半腔热情 提交于 2020-03-11 19:25:33

批量执行SQL语句

当需要成批插入或者更新记录时,可以采用Java的批量更新机制,这一机制允许多条语句一次性提交给数据库批量处理。通常情况下比单独提交处理更有效率。

JDBC的批量处理语句包括下面三个方法:

  • addBatch(String):添加需要批量处理的SQL语句或是参数;
  • executeBatch():执行批量处理语句;
  • clearBatch():清空缓存的数据

通常我们会遇到两种批量执行SQL语句的情况:

  • 多条SQL语句的批量处理;
  • 一个SQL语句的批量传参;

高效的批量插入

举例:向数据表中插入20000条数据。

  • 数据库中提供一个goods表。创建如下:
CREATE TABLE goods(
id INT PRIMARY KEY AUTO_INCREMENT,
NAME VARCHAR(20)
);

 实现方式一:使用Statement

Connection conn = JDBCUtils.getConnection();
Statement st = conn.createStatement();
for(int i = 1;i <= 20000;i++){
	String sql = "insert into goods(name) values('name_' + "+ i +")";
	st.executeUpdate(sql);
}

 实现层次二:使用PreparedStatement

public void testInsert() {
    Connection conn = null;
    PreparedStatement ps = null;
    try {
        conn = JdbcUtils.getConnection();
        String sql = "insert into goods(name)values(?)";
        ps = conn.prepareStatement(sql);

        for(int i = 0; i <= 20000; i++){
            ps.setObject(1,"name_"+i);
            ps.execute();
        }
    } catch (Exception e) {
        e.printStackTrace();
    }finally {
        JdbcUtils.closeResource(conn,ps);
    }
}

方式二相比于方式一而言,由于进行了预编译,后面重复执行时不需要像方式一那样进行重新编译,速度会更快一些。

 实现层次三

  • 使用 addBatch() / executeBatch() / clearBatch()
  • mysql服务器对批处理默认是关闭批处理的,我们需要通过一个参数,让mysql开启批处理的支持。

* ?rewriteBatchedStatements=true 写在配置文件的url后面

  • 使用更新的mysql 驱动:mysql-connector-java-5.1.37-bin.jar
/* 方式3
 * 修改1: 使用 addBatch() / executeBatch() / clearBatch()
 * 修改2:mysql服务器默认是关闭批处理的,我们需要通过一个参数,让mysql开启批处理的支持。
 *         ?rewriteBatchedStatements=true 写在配置文件的url后面
 * 修改3:使用更新的mysql 驱动:mysql-connector-java-5.1.37-bin.jar
 *
 */
public void testInsert3(){
    Connection conn = null;
    PreparedStatement ps = null;
    try {
        conn = JdbcUtils.getConnection();
        String sql = "insert into go ods(name)values(?)";
        ps = conn.prepareStatement(sql);

        for(int i = 0; i <= 20000; i++){
            ps.setObject(1,"name_"+i);
            /***********************/
            //1. “攒”sql
            ps.addBatch();
            if(i % 500 == 0){
                //2.执行Batch
                ps.executeBatch();
                //3.清空Batch
                ps.clearBatch();
            }
            /***********************/
        }
    } catch (Exception e) {
        e.printStackTrace();
    }finally {
        JdbcUtils.closeResource(conn,ps);
    }
}

 实现方式四(终极方案)

  • 在层次三的基础上操作,使用Connection 的 setAutoCommit(false) / commit()
/*
* 层次四:在层次三的基础上操作
* 使用Connection 的 setAutoCommit(false)  /  commit()
*/

public void testInsert4() throws Exception{

	Connection conn = JDBCUtils.getConnection();
		
	//1.设置为不自动提交数据
	conn.setAutoCommit(false);
		
	String sql = "insert into goods(name)values(?)";
	PreparedStatement ps = conn.prepareStatement(sql);
		
	for(int i = 1;i <= 1000000;i++){
		ps.setString(1, "name_" + i);
			
		//1.“攒”sql
		ps.addBatch();
			
		if(i % 500 == 0){
			//2.执行
			ps.executeBatch();
			//3.清空
			ps.clearBatch();
		}
	}
		
	//2.提交数据
	conn.commit();

	JDBCUtils.closeResource(conn, ps);
}

 

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!