日本综合一区二区|亚洲中文天堂综合|日韩欧美自拍一区|男女精品天堂一区|欧美自拍第6页亚洲成人精品一区|亚洲黄色天堂一区二区成人|超碰91偷拍第一页|日韩av夜夜嗨中文字幕|久久蜜综合视频官网|精美人妻一区二区三区

RELATEED CONSULTING
相關(guān)咨詢
選擇下列產(chǎn)品馬上在線溝通
服務(wù)時(shí)間：8:30-17:00
你可能遇到了下面的問(wèn)題
關(guān)閉右側(cè)工具欄

新聞中心

這里有您想知道的互聯(lián)網(wǎng)營(yíng)銷解決方案
配置SpringBatch批處理失敗重試

 1. 引言

創(chuàng)新互聯(lián)建站主要從事成都網(wǎng)站制作、做網(wǎng)站、網(wǎng)頁(yè)設(shè)計(jì)、企業(yè)做網(wǎng)站、公司建網(wǎng)站等業(yè)務(wù)。立足成都服務(wù)宜黃,十載網(wǎng)站建設(shè)經(jīng)驗(yàn),價(jià)格優(yōu)惠、服務(wù)專業(yè),歡迎來(lái)電咨詢建站服務(wù):18980820575

默認(rèn)情況下，Spring批處理作業(yè)在執(zhí)行過(guò)程中出現(xiàn)任何錯(cuò)誤都會(huì)失敗。然而有些時(shí)候，為了提高應(yīng)用程序的彈性，我們就需要處理這類間歇性的故障。在這篇短文中，我們就來(lái)一起探討 如何在Spring批處理框架中配置重試邏輯。

如果對(duì)spring batch不了解，可以參考以前的一篇文章：

開(kāi)車!Spring Batch 入門(mén)級(jí)示例教程!

2. 簡(jiǎn)單舉例

假設(shè)有一個(gè)批處理作業(yè)，它讀取一個(gè)CSV文件作為輸入：

 
 
 
 
    
  
  
  
  
  1. username, userid, transaction_date, transaction_amount 
    2. 
  
  
  
  
  2. sammy, 1234, 31/10/2015, 10000 
    3. 
  
  
  
  
  3. john, 9999, 3/12/2015, 12321 
    4.

然后，它通過(guò)訪問(wèn)REST端點(diǎn)來(lái)處理每條記錄，獲取用戶的 age 和 postCode 屬性：

 
 
 
 
    
  
  
  
  
  1. public class RetryItemProcessor implements ItemProcessor { 
    2. 
  
  
  
  
  2.      
    3. 
  
  
  
  
  3.     @Override 
    4. 
  
  
  
  
  4.     public Transaction process(Transaction transaction) throws IOException { 
    5. 
  
  
  
  
  5.         log.info("RetryItemProcessor, attempting to process: {}", transaction); 
    6. 
  
  
  
  
  6.         HttpResponse response = fetchMoreUserDetails(transaction.getUserId()); 
    7. 
  
  
  
  
  7.         //parse user's age and postCode from response and update transaction 
    8. 
  
  
  
  
  8.         ... 
    9. 
  
  
  
  
  9.         return transaction; 
    10. 
  
  
  
  
  10.     } 
    11. 
  
  
  
  
  11.     ... 
    12. 
  
  
  
  
  12. } 
    13.

最后，它生成并輸出一個(gè)合并的XML：

 
 
 
 
    
  
  
  
  
  1.  
    2. 
  
  
  
  
  2.      
    3. 
  
  
  
  
  3.         10000.0 
    4. 
  
  
  
  
  4.         2015-10-31 00:00:00 
    5. 
  
  
  
  
  5.         1234 
    6. 
  
  
  
  
  6.         sammy 
    7. 
  
  
  
  
  7.         10 
    8. 
  
  
  
  
  8.         430222 
    9. 
  
  
  
  
  9.      
    10. 
  
  
  
  
  10.     ... 
    11. 
  
  
  
  
  11.  
    12.

3. ItemProcessor 中添加重試

現(xiàn)在假設(shè)，如果到REST端點(diǎn)的連接由于某些網(wǎng)絡(luò)速度慢而超時(shí)，該怎么辦?如果發(fā)生這種情況，則我們的批處理工作將失敗。

在這種情況下，我們希望失敗的 item 處理重試幾次。因此，接下來(lái)我將批處理作業(yè)配置為：在出現(xiàn)故障時(shí)執(zhí)行最多三次重試：

 
 
 
 
    
  
  
  
  
  1. @Bean 
    2. 
  
  
  
  
  2. public Step retryStep( 
    3. 
  
  
  
  
  3.   ItemProcessor processor, 
    4. 
  
  
  
  
  4.   ItemWriter writer) throws ParseException { 
    5. 
  
  
  
  
  5.     return stepBuilderFactory 
    6. 
  
  
  
  
  6.       .get("retryStep") 
    7. 
  
  
  
  
  7.       .chunk(10) 
    8. 
  
  
  
  
  8.       .reader(itemReader(inputCsv)) 
    9. 
  
  
  
  
  9.       .processor(processor) 
    10. 
  
  
  
  
  10.       .writer(writer) 
    11. 
  
  
  
  
  11.       .faultTolerant() 
    12. 
  
  
  
  
  12.       .retryLimit(3) 
    13. 
  
  
  
  
  13.       .retry(ConnectTimeoutException.class) 
    14. 
  
  
  
  
  14.       .retry(DeadlockLoserDataAccessException.class) 
    15. 
  
  
  
  
  15.       .build(); 
    16. 
  
  
  
  
  16. } 
    17.

這里調(diào)用了 faultTolerant() 來(lái)啟用重試功能。另外，我們使用 retry 和 retryLimit 分別定義符合重試條件的異常和 item 的最大重試次數(shù)。

4. 測(cè)試重試次數(shù)

假設(shè)我們有一個(gè)測(cè)試場(chǎng)景，其中返回 age 和 postCode 的REST端點(diǎn)關(guān)閉了一段時(shí)間。在這個(gè)測(cè)試場(chǎng)景中，我們只對(duì)前兩個(gè) API 調(diào)用獲取一個(gè) ConnectTimeoutException ，而第三個(gè)調(diào)用將成功：

 
 
 
 
    
  
  
  
  
  1. @Test 
    2. 
  
  
  
  
  2. public void whenEndpointFailsTwicePasses3rdTime_thenSuccess() throws Exception { 
    3. 
  
  
  
  
  3.     FileSystemResource expectedResult = new FileSystemResource(EXPECTED_OUTPUT); 
    4. 
  
  
  
  
  4.     FileSystemResource actualResult = new FileSystemResource(TEST_OUTPUT); 
    5. 
  
  
  
  
  5.  
    6. 
  
  
  
  
  6.     when(httpResponse.getEntity()) 
    7. 
  
  
  
  
  7.       .thenReturn(new StringEntity("{ \"age\":10, \"postCode\":\"430222\" }")); 
    8. 
  
  
  
  
  8.   
    9. 
  
  
  
  
  9.     //fails for first two calls and passes third time onwards 
    10. 
  
  
  
  
  10.     when(httpClient.execute(any())) 
    11. 
  
  
  
  
  11.       .thenThrow(new ConnectTimeoutException("Timeout count 1")) 
    12. 
  
  
  
  
  12.       .thenThrow(new ConnectTimeoutException("Timeout count 2")) 
    13. 
  
  
  
  
  13.       .thenReturn(httpResponse); 
    14. 
  
  
  
  
  14.  
    15. 
  
  
  
  
  15.     JobExecution jobExecution = jobLauncherTestUtils 
    16. 
  
  
  
  
  16.       .launchJob(defaultJobParameters()); 
    17. 
  
  
  
  
  17.     JobInstance actualJobInstance = jobExecution.getJobInstance(); 
    18. 
  
  
  
  
  18.     ExitStatus actualJobExitStatus = jobExecution.getExitStatus(); 
    19. 
  
  
  
  
  19.  
    20. 
  
  
  
  
  20.     assertThat(actualJobInstance.getJobName(), is("retryBatchJob")); 
    21. 
  
  
  
  
  21.     assertThat(actualJobExitStatus.getExitCode(), is("COMPLETED")); 
    22. 
  
  
  
  
  22.     AssertFile.assertFileEquals(expectedResult, actualResult); 
    23. 
  
  
  
  
  23. } 
    24.

在這里，我們的工作成功地完成了。另外，從日志中可以明顯看出 第一條記錄 id=1234 失敗了兩次，最后在第三次重試時(shí)成功了：

 
 
 
 
    
  
  
  
  
  1. 19:06:57.742 [main] INFO  o.s.batch.core.job.SimpleStepHandler - Executing step: [retryStep] 
    2. 
  
  
  
  
  2. 19:06:57.758 [main] INFO  o.b.batch.service.RetryItemProcessor - Attempting to process user with id=1234 
    3. 
  
  
  
  
  3. 19:06:57.758 [main] INFO  o.b.batch.service.RetryItemProcessor - Attempting to process user with id=1234 
    4. 
  
  
  
  
  4. 19:06:57.758 [main] INFO  o.b.batch.service.RetryItemProcessor - Attempting to process user with id=1234 
    5. 
  
  
  
  
  5. 19:06:57.758 [main] INFO  o.b.batch.service.RetryItemProcessor - Attempting to process user with id=9999 
    6. 
  
  
  
  
  6. 19:06:57.773 [main] INFO  o.s.batch.core.step.AbstractStep - Step: [retryStep] executed in 31ms 
    7.

同樣，看下另一個(gè)測(cè)試用例，當(dāng)所有重試次數(shù)都用完時(shí)會(huì)發(fā)生什么：

 
 
 
 
    
  
  
  
  
  1. @Test 
    2. 
  
  
  
  
  2. public void whenEndpointAlwaysFail_thenJobFails() throws Exception { 
    3. 
  
  
  
  
  3.     when(httpClient.execute(any())) 
    4. 
  
  
  
  
  4.       .thenThrow(new ConnectTimeoutException("Endpoint is down")); 
    5. 
  
  
  
  
  5.  
    6. 
  
  
  
  
  6.     JobExecution jobExecution = jobLauncherTestUtils 
    7. 
  
  
  
  
  7.       .launchJob(defaultJobParameters()); 
    8. 
  
  
  
  
  8.     JobInstance actualJobInstance = jobExecution.getJobInstance(); 
    9. 
  
  
  
  
  9.     ExitStatus actualJobExitStatus = jobExecution.getExitStatus(); 
    10. 
  
  
  
  
  10.  
    11. 
  
  
  
  
  11.     assertThat(actualJobInstance.getJobName(), is("retryBatchJob")); 
    12. 
  
  
  
  
  12.     assertThat(actualJobExitStatus.getExitCode(), is("FAILED")); 
    13. 
  
  
  
  
  13.     assertThat(actualJobExitStatus.getExitDescription(), 
    14. 
  
  
  
  
  14.       containsString("org.apache.http.conn.ConnectTimeoutException")); 
    15. 
  
  
  
  
  15. } 
    16.

在這個(gè)測(cè)試用例中，在作業(yè)因 ConnectTimeoutException 而失敗之前，會(huì)嘗試對(duì)第一條記錄重試三次。

5. 使用XML配置重試

最后，讓我們看一下與上述配置等價(jià)的XML：

 
 
 
 
    
  
  
  
  
  1.  
    2. 
  
  
  
  
  2.      
    3. 
  
  
  
  
  3.          
    4. 
  
  
  
  
  4.             
  
  
  
  
  5.               processor="retryItemProcessor" commit-interval="10" 
    6. 
  
  
  
  
  6.               retry-limit="3"> 
    7. 
  
  
  
  
  7.                  
    8. 
  
  
  
  
  8.                      
    9. 
  
  
  
  
  9.                      
    10. 
  
  
  
  
  10.                  
    11. 
  
  
  
  
  11.              
    12. 
  
  
  
  
  12.          
    13. 
  
  
  
  
  13.      
    14. 
  
  
  
  
  14.  
    15.

6. 簡(jiǎn)單總結(jié)

在本文中，我們學(xué)習(xí)了如何在Spring批處理中配置重試邏輯，其中包括使用Java和XML配置。以及使用單元測(cè)試來(lái)觀察重試在實(shí)踐中是如何工作的。

本文轉(zhuǎn)載自微信公眾號(hào)「鍋外的大佬」，可以通過(guò)以下二維碼關(guān)注。轉(zhuǎn)載本文請(qǐng)聯(lián)系鍋外的大佬公眾號(hào)。


分享標(biāo)題：配置SpringBatch批處理失敗重試
網(wǎng)頁(yè)地址：http://www.dlmjj.cn/article/cdjhedg.html