JDBC और HIBERNATE में बैच प्रोसेसिंग

नमस्कार!

इस लेख में, मैं संक्षेप में SQL (DML) कथनों के बैच प्रसंस्करण के बारे में बात करूंगा: INSERT, UPDATE, DELETE, एक तरीके के रूप में बढ़ा हुआ प्रदर्शन प्राप्त करने के लिए।

लाभ

प्रत्येक एसक्यूएल क्वेरी के अनुक्रमिक निष्पादन के विपरीत, बैच प्रोसेसिंग से एक कॉल में प्रश्नों (पैकेट) का एक पूरा सेट भेजना संभव हो जाता है, जिससे आवश्यक नेटवर्क कनेक्शन की संख्या कम हो जाती है और डेटाबेस को समानांतर में कुछ निश्चित प्रश्नों को निष्पादित करने की अनुमति मिलती है, जिससे निष्पादन की गति में काफी वृद्धि हो सकती है। तुरंत एक आरक्षण करें जो डेटाबेस तालिका में बड़ी मात्रा में डेटा डालने, अपडेट करने या हटाने पर ध्यान देने योग्य प्रभाव देखा जा सकता है।

DB तालिका

एक उदाहरण के रूप में, हम आईडी और शीर्षक फ़ील्ड के साथ पुस्तक तालिका का उपयोग करेंगे।

1. JDBC - बैच प्रोसेसिंग

कार्यान्वयन के उदाहरणों पर आगे बढ़ने से पहले, कई महत्वपूर्ण बिंदुओं पर प्रकाश डालना आवश्यक है:

1. JDBC , supportsBatchUpdates() DatabaseMetaData, , . true, .
2. , setAutoCommit(false). , commit() rollback(). rollback() SQL .
3. — , JDBC Statement, PreparedStatement CallableStatement, .

, Statement, PreparedStatement CallableStatement . , BATCH_SIZE. , . , , Hibernate 10 50.

, SQL INSERT. UPDATE, DELETE .

1.1. Statement

Statement book.

connection.setAutoCommit(false);
try (Statement stmt = connection.createStatement()) { //(1)
    for (int i = 1; i <= SIZE; i++) {
        stmt.addBatch("INSERT INTO book (title) VALUES ('" + "JDBC Insert Example: " + i + "')"); //(2)
        if (i % BATCH_SIZE == 0 || i == SIZE) {
            try {
                int[] result = stmt.executeBatch(); //(3)
                connection.commit();
            } catch (BatchUpdateException ex) {
                Log(ex);
                connection.rollback();
            }
        }
    }
}

1. C Statement;
2. C void addBatch( String SQL );
3. executeBatch(). executeBatch() .

Statement SQL INSERT, UPDATE, DELETE.

SQL , .

1.2. PreparedStatement

PreparedStatement book.

connection.setAutoCommit(false);
try (PreparedStatement pstmt = connection.prepareStatement("INSERT INTO book (title) VALUES (?)")) { //(1)
    for (int i = 1; i <= SIZE; i++) {
        pstmt.setString(1, "JDBC Insert Example: " + i); //(2)
        pstmt.addBatch(); //(3)
        if (i % BATCH_SIZE == 0 || i == SIZE) {
            try {
                int[] result = pstmt.executeBatch(); //(4)
                connection.commit();
            } catch (BatchUpdateException ex) {
                Log(ex);
                connection.rollback();
            }
        }
    }
}

1. C PreparedStatement SQL ;
2. , ;
3. void addBatch();
4. executeBatch().

3) 4) , Statement, — addBatch() .

SQL , , . , .

PreparedStatement SQL (INSERT, UPDATE, DELETE) Statement, - .

1.3. CallableStatement

CallableStatement .

, OUT INOUT.

CallableStatement book.

connection.setAutoCommit(false);
try (CallableStatement cstmt = connection.prepareCall("call insert_book(?)")) { //(1)
    for (int i = 1; i <= SIZE; i++) {
        cstmt.setString(1, "JDBC Insert Example: " + i); //(2)
        cstmt.addBatch(); //(3)
        if (i % BATCH_SIZE == 0 || i == SIZE) {
            try {
                int[] result = cstmt.executeBatch(); //(4)
                connection.commit();
            } catch (BatchUpdateException ex) {
                Log(ex);
                connection.rollback();
            }
        }
    }
}

1. C CallableStatement ;
2. , ;
3. void addBatch();
4. executeBatch().

, PreparedStatement.

, , .

- , .

CallableStatement , - .

1.4. BatchUpdateException

BatchUpdateException, . BatchUpdateException , SQL , - , ResultSet. BatchUpdateException ( getUpdateCounts()), , executeBatch. , SQL . , c (Statement.EXECUTE_FAILED) .

:

...
} catch (BatchUpdateException ex) {
    int[] updateCount = ex.getUpdateCounts();
    int count = 1;
    for (int i : updateCount) {
        if (i == Statement.EXECUTE_FAILED) {
            System.out.println("Request " + count + ": Execute failed");
        } else {
            System.out.println("Request " + count + ": OK");
        }
        count++;
    }
}
...

. , , , , . BatchUpdateException SQL , . .

2. Hibernate —

2.1.

, , hibernate.jdbc.batch_size Hibernate.cfg.xml . Hibernate SQL INSERT, UPDATE, DELETE JDBC . SQL JDBC hibernate.order_inserts, hibernate.order_updates true, Hibernate SQL . SQL , JDBC Hibernate addBatch() PreparedStatement, SQL .

Hibernate.cfg.xml

...
<property name="hibernate.jdbc.batch_size">50</property>
<property name="hibernate.order_inserts">true</property>
<property name="hibernate.order_updates">true</property>
...

2.2.

. , . , Hibernate , OutOfMemoryException. 2 :

1. flush() clear() .

   :

   
   

   try (Session session = HibernateUtil.getSessionFactory().getCurrentSession()) {
       Transaction transaction = session.getTransaction();
       transaction.begin();
       for (int i = 1; i <= SIZE; i++) {
           session.persist(new Book("Hibernate Insert Example: " + i));
           if (i % BATCH_SIZE == 0) {
               // Flush and clear the cache every batch
               session.flush();
               session.clear();
           }
       }
       transaction.commit();
   }
   

   
   
2. StatelessSession. StatelessSession . , , , (aliasing) . , Hibernate. Hibernate.
   

   :

   
   

   try (StatelessSession session = HibernateUtil.getSessionFactory().openStatelessSession()) {
       Transaction transaction = session.getTransaction();
       transaction.begin();
       for (int i = 1; i <= SIZE; i++) {
           session.persist(new Book("Hibernate Insert Example: " + i));
       }
       transaction.commit();
   }
   

   
   

एसक्यूएल प्रश्नों का बैच निष्पादन निष्पादन में सुधार करने के लिए प्रसिद्ध तरीकों में से एक है जिस पर आपको ध्यान देना चाहिए। डेटाबेस से नेटवर्क कनेक्शनों की संख्या कम करना और क्वेरी निष्पादन की गति को बढ़ाना बैच प्रसंस्करण का उपयोग करने के पक्ष में एक महत्वपूर्ण प्लस है।

कोड उदाहरण GitHub पर पाए जा सकते हैं ।