建站
咨詢
售后
建站咨詢
新聞中心
一、需求背景
公司出于安全合規(guī)的考慮，需要對(duì)明文存儲(chǔ)在數(shù)據(jù)庫(kù)中的部分字段進(jìn)行加密，防止未經(jīng)授權(quán)的訪問(wèn)以及個(gè)人信息泄漏。
為道外等地區(qū)用戶提供了全套網(wǎng)頁(yè)設(shè)計(jì)制作服務(wù)，及道外網(wǎng)站建設(shè)行業(yè)解決方案。主營(yíng)業(yè)務(wù)為網(wǎng)站建設(shè)、網(wǎng)站制作、道外網(wǎng)站設(shè)計(jì)，以傳統(tǒng)方式定制建設(shè)網(wǎng)站，并提供域名空間備案等一條龍服務(wù)，秉承以專業(yè)、用心的態(tài)度為用戶提供真誠(chéng)的服務(wù)。我們深信只要達(dá)到每一位用戶的要求，就會(huì)得到認(rèn)可，從而選擇與我們長(zhǎng)期合作。這樣，我們也可以走得更遠(yuǎn)！
由于項(xiàng)目已停止迭代，改造的成本太大，因此我們選用了MyBatis插件來(lái)實(shí)現(xiàn)數(shù)據(jù)庫(kù)加解密，保證往數(shù)據(jù)庫(kù)寫(xiě)入數(shù)據(jù)時(shí)能對(duì)指定字段加密，讀取數(shù)據(jù)時(shí)能對(duì)指定字段解密。
二、思路解析
2.1 系統(tǒng)架構(gòu)
- 對(duì)每個(gè)需要加密的字段新增密文字段（對(duì)業(yè)務(wù)有侵入），修改數(shù)據(jù)庫(kù)、mapper.xml以及DO對(duì)象，通過(guò)插件的方式把針對(duì)明文/密文字段的加解密進(jìn)行收口。
- 自定義Executor對(duì)SELECT/UPDATE/INSERT
/DELETE等操作的明文字段進(jìn)行加密并設(shè)置到密文字段。
- 自定義插件ResultSetHandler負(fù)責(zé)針對(duì)查詢結(jié)果進(jìn)行解密，負(fù)責(zé)對(duì)SELECT等操作的密文字段進(jìn)行解密并設(shè)置到明文字段。
2.2 系統(tǒng)流程
- 新增加解密流程控制開(kāi)關(guān)，分別控制寫(xiě)入時(shí)是只寫(xiě)原字段/雙寫(xiě)/只寫(xiě)加密后的字段，以及讀取時(shí)是讀原字段還是加密后的字段。
- 新增歷史數(shù)據(jù)加密任務(wù)，對(duì)歷史數(shù)據(jù)批量進(jìn)行加密，寫(xiě)入到加密后字段。
- 出于安全上的考慮，流程里還會(huì)有一些校驗(yàn)/補(bǔ)償?shù)娜蝿?wù)，這里不再贅述。
三、方案制定
3.1 MyBatis插件簡(jiǎn)介
MyBatis 預(yù)留了 org.apache.ibatis.plugin
.Interceptor 接口，通過(guò)實(shí)現(xiàn)該接口，我們能對(duì)MyBatis的執(zhí)行流程進(jìn)行攔截，接口的定義如下:
public interface Interceptor {
Object intercept(Invocation invocation) throws Throwable;
Object plugin(Object target);
void setProperties(Properties properties);
}其中有三個(gè)方法:
- 【intercept】：插件執(zhí)行的具體流程，傳入的Invocation是MyBatis對(duì)被代理的方法的封裝。
- 【plugin】：使用當(dāng)前的Interceptor創(chuàng)建代理，通常的實(shí)現(xiàn)都是 Plugin.wrap(target, this)，wrap方法內(nèi)使用 jdk 創(chuàng)建動(dòng)態(tài)代理對(duì)象。
- 【setProperties】：參考下方代碼，在MyBatis配置文件中配置插件時(shí)可以設(shè)置參數(shù)，在setProperties函數(shù)中調(diào)用 Properties.getProperty
("param1") 方法可以得到配置的值。
在實(shí)現(xiàn)intercept函數(shù)對(duì)MyBatis的執(zhí)行流程進(jìn)行攔截前，我們需要使用@Intercepts注解指定攔截的方法。
@Intercepts({ @Signature(type = Executor.class, method = "update", args = { MappedStatement.class, Object.class }),
@Signature(type = Executor.class, method = "query", args = { MappedStatement.class, Object.class, RowBounds.class, ResultHandler.class }) })參考上方代碼，我們可以指定需要攔截的類(lèi)和方法。當(dāng)然我們不能對(duì)任意的對(duì)象做攔截，MyBatis件可攔截的類(lèi)為以下四個(gè)。
- Executor
- StatementHandler
- ParameterHandler
- ResultSetHandler
回到數(shù)據(jù)庫(kù)加密的需求，我們需要從上面四個(gè)類(lèi)里選擇能用來(lái)實(shí)現(xiàn)入?yún)⒓用芎统鰠⒔饷艿念?lèi)。在介紹這四個(gè)類(lèi)之前，需要對(duì)MyBatis的執(zhí)行流程有一定的了解。
3.2 Spring-MyBatis執(zhí)行流程
（1）Spring通過(guò)sqlSessionFactoryBean創(chuàng)建sqlSessionFactory，在使用sqlSessionFactoryBean時(shí)，我們通常會(huì)指定configLocation和mapperLocations，來(lái)告訴sqlSessionFactoryBean去哪里讀取配置文件以及去哪里讀取mapper文件。
（2）得到配置文件和mapper文件的位置后，分別調(diào)用XmlConfigBuilder.parse()和XmlMapperBuilde
r.parse()創(chuàng)建Configuration和MappedStatement，Configuration類(lèi)顧名思義，存放的是MyBatis所有的配置，而MappedStatement類(lèi)存放的是每條SQL語(yǔ)句的封裝，MappedStatement以map的形式存放到Configuration對(duì)象中，key為對(duì)應(yīng)方法的全路徑。
（3）Spring通過(guò)ClassPathMapperScanner掃描所有的Mapper接口，為其創(chuàng)建BeanDefinition對(duì)象，但由于他們本質(zhì)上都是沒(méi)有被實(shí)現(xiàn)的接口，所以Spring會(huì)將他們的BeanDefinition的beanClass屬性修改為MapperFactorybean。
（4）MapperFactoryBean也實(shí)現(xiàn)了FactoryBean接口，Spring在創(chuàng)建Bean時(shí)會(huì)調(diào)用FactoryBean.getObject()方法獲取Bean，最終是通過(guò)mapperProxyFactory的newInstance方法為mapper接口創(chuàng)建代理，創(chuàng)建代理的方式是JDK，最終生成的代理對(duì)象是MapperProxy。
（5）調(diào)用mapper的所有接口本質(zhì)上調(diào)用的都是MapperProxy.invoke方法，內(nèi)部調(diào)用sqlSession的insert/update/delete等各種方法。
MapperMethod.java
public Object execute(SqlSession sqlSession, Object[] args) {
Object result;
if (SqlCommandType.INSERT == command.getType()) {
Object param = method.convertArgsToSqlCommandParam(args);
result = rowCountResult(sqlSession.insert(command.getName(), param));
} else if (SqlCommandType.UPDATE == command.getType()) {
Object param = method.convertArgsToSqlCommandParam(args);
result = rowCountResult(sqlSession.update(command.getName(), param));
} else if (SqlCommandType.DELETE == command.getType()) {
Object param = method.convertArgsToSqlCommandParam(args);
result = rowCountResult(sqlSession.delete(command.getName(), param));
} else if (SqlCommandType.SELECT == command.getType()) {
if (method.returnsVoid() && method.hasResultHandler()) {
executeWithResultHandler(sqlSession, args);
result = null;
} else if (method.returnsMany()) {
result = executeForMany(sqlSession, args);
} else if (method.returnsMap()) {
result = executeForMap(sqlSession, args);
} else {
Object param = method.convertArgsToSqlCommandParam(args);
result = sqlSession.selectOne(command.getName(), param);
}
} else if (SqlCommandType.FLUSH == command.getType()) {
result = sqlSession.flushStatements();
} else {
throw new BindingException("Unknown execution method for: " + command.getName());
}
if (result == null && method.getReturnType().isPrimitive() && !method.returnsVoid()) {
throw new BindingException("Mapper method '" + command.getName()
+ " attempted to return null from a method with a primitive return type (" + method.getReturnType() + ").");
}
return result;
}
（6）SqlSession可以理解為一次會(huì)話，SqlSession會(huì)從Configuration中獲取對(duì)應(yīng)的MappedStatement，交給Executor執(zhí)行。
DefaultSqlSession.java
@Override
public selectList(String statement, Object parameter, RowBounds rowBounds) {
try {
// 從configuration對(duì)象中使用被調(diào)用方法的全路徑，獲取對(duì)應(yīng)的MappedStatement
MappedStatement ms = configuration.getMappedStatement(statement);
return executor.query(ms, wrapCollection(parameter), rowBounds, Executor.NO_RESULT_HANDLER);
} catch (Exception e) {
throw ExceptionFactory.wrapException("Error querying database. Cause: " + e, e);
} finally {
ErrorContext.instance().reset();
}
}
（7）Executor會(huì)先創(chuàng)建StatementHandler，StatementHandler可以理解為是一次語(yǔ)句的執(zhí)行。
（8）然后Executor會(huì)獲取連接，具體獲取連接的方式取決于Datasource的實(shí)現(xiàn)，可以使用連接池等方式獲取連接。
（9）之后調(diào)用StatementHandler.prepare方法，對(duì)應(yīng)到JDBC執(zhí)行流程中的Connection
.prepareStatement這一步。
（10）Executor再調(diào)用StatementHandler的parameterize方法，設(shè)置參數(shù)，對(duì)應(yīng)到
JDBC執(zhí)行流程的StatementHandler.setXXX()設(shè)置參數(shù)，內(nèi)部會(huì)創(chuàng)建ParameterHandler方法。
SimpleExecutor.java
@Override
public query(stmt, resultHandler);
} finally {
closeStatement(stmt);
}
}
（11）再由ResultSetHandler處理返回結(jié)果，處理JDBC的返回值，將其轉(zhuǎn)換為Java的對(duì)象。
3.3 MyBatis插件的創(chuàng)建時(shí)機(jī)
在Configuration類(lèi)中，我們能看到newExecutor、newStatementHandler、newParameterHandler、newResultSetHandler這四個(gè)方法，插件的代理類(lèi)就是在這四個(gè)方法中創(chuàng)建的，我以StatementHandeler的創(chuàng)建為例：
Configuration.java
public StatementHandler newStatementHandler(Executor executor, MappedStatement mappedStatement, Object parameterObject, RowBounds rowBounds, ResultHandler resultHandler, BoundSql boundSql) {
StatementHandler statementHandler = new RoutingStatementHandler(executor, mappedStatement, parameterObject, rowBounds, resultHandler, boundSql);
// 使用責(zé)任鏈的形式創(chuàng)建代理
statementHandler = (StatementHandler) interceptorChain.pluginAll(statementHandler);
return statementHandler;
}
InterceptorChain.java
public Object pluginAll(Object target) {
for (Interceptor interceptor : interceptors) {
target = interceptor.plugin(target);
}
return target;
}
interceptor.plugin對(duì)應(yīng)到我們自己實(shí)現(xiàn)的interceptor里的方法，通常的實(shí)現(xiàn)是 Plugin.wrap(target, this); ，該方法內(nèi)部創(chuàng)建代理的方式為JDK。
3.4 MyBatis插件可攔截類(lèi)選擇
Mybatis本質(zhì)上是對(duì)JDBC執(zhí)行流程的封裝。結(jié)合上圖我們簡(jiǎn)要概括下Mybatis這幾個(gè)可被代理類(lèi)的職能。
- 【Executor】: 真正執(zhí)行SQL語(yǔ)句的對(duì)象，調(diào)用sqlSession的方法時(shí)，本質(zhì)上都是調(diào)用executor的方法，還負(fù)責(zé)獲取connection，創(chuàng)建StatementHandler。
- 【StatementHandler】: 創(chuàng)建并持有ParameterHandler和ResultSetHandler對(duì)象，操作JDBC的statement與進(jìn)行數(shù)據(jù)庫(kù)操作。
- 【ParameterHandler】: 處理入?yún)?，將Java方法上的參數(shù)設(shè)置到被執(zhí)行語(yǔ)句中。
- 【ResultSetHandler】: 處理SQL語(yǔ)句的執(zhí)行結(jié)果，將返回值轉(zhuǎn)換為Java對(duì)象。
對(duì)于入?yún)⒌募用埽覀冃枰赑arameterHandler調(diào)用prepareStatement.setXXX()方法設(shè)置參數(shù)前，將參數(shù)值修改為加密后的參數(shù)，這樣一看好像攔截Executor/StatementHandler/ParameterHandler都可以。
但實(shí)際上呢？由于我們的并不是在原始字段上做加密，而是新增了一個(gè)加密后字段，這會(huì)帶來(lái)什么問(wèn)題？請(qǐng)看下面這條mapper.xml文件中加了加密后字段的動(dòng)態(tài)SQL：
可以看到這條語(yǔ)句帶了動(dòng)態(tài)標(biāo)簽，那肯定不能直接交給JDBC創(chuàng)建prepareStatement，需要先將其解析成靜態(tài)SQL，而這一步是在Executor在調(diào)用StatementHandler.parameterize()前做的，由MappedStatementHandler.getBoundSql(Object parameterObject)函數(shù)解析動(dòng)態(tài)標(biāo)簽，生成靜態(tài)SQL語(yǔ)句，這里的parameterObject我們可以暫時(shí)先將其看成一個(gè)Map，鍵值分別為參數(shù)名和參數(shù)值。
那么我們來(lái)看下用StatementHandler和ParameterHandler做參數(shù)加密會(huì)有什么問(wèn)題，在執(zhí)行MappedStatementHandler.getBoundSql時(shí)，parameterObject中并沒(méi)有寫(xiě)入加密后的參數(shù)，在判斷標(biāo)簽時(shí)必定為否，最后生成的靜態(tài)SQL必然不包含加密后的字段，后續(xù)不管我們?cè)赟tatementHandler和ParameterHandler中怎么處理parameterObject，都無(wú)法實(shí)現(xiàn)入?yún)⒌募用堋?/p>
因此，在入?yún)⒌募用苌衔覀冎荒苓x擇攔截Executor的update和query方法。
那么返回值的解密呢？參考流程圖，我們能對(duì)ResultSetHandler和Executor做攔截，事實(shí)也確實(shí)如此，在處理返回值這一點(diǎn)上，這兩者是等價(jià)的，ResultSetHandler.handleResultSet()的返回值直接透?jìng)鹘oExecutor，再由Executor透?jìng)鹘oSqlSession，所以兩者任選其一就可以。
四、方案實(shí)施
在知道需要攔截的對(duì)象后，就可以開(kāi)始實(shí)現(xiàn)加解密插件了。首先定義一個(gè)方法維度的注解。
/**
? 通過(guò)注解來(lái)表明，我們需要對(duì)那個(gè)字段進(jìn)行加密/
@Target({ ElementType.METHOD })
@Retention(RetentionPolicy.RUNTIME)
@Inherited
@Documented
public @interface TEncrypt {
/*
? 加密時(shí)從srcKey到destKey
? @return
*/
String[] srcKey() default {};
/**
? 解密時(shí)從destKey到srcKey
? @return
*/
String[] destKey() default {};
}
將該注解打在需要加解密的DAO層方法上。
UserMapper.java
public interface UserMapper {
@TEncrypt(srcKey = {"secret"}, destKey = {"secretCiper"})
List selectUserList(UserInfo userInfo);
}
修改xxxMapper.xml文件
做完上面的修改，我們就可以編寫(xiě)加密插件了。
@Intercepts({ @Signature(type = Executor.class, method = "update", args = { MappedStatement.class, Object.class }),
@Signature(type = Executor.class, method = "query", args = { MappedStatement.class, Object.class, RowBounds.class, ResultHandler.class }) })
public class ExecutorEncryptInterceptor implements Interceptor {
private static final ObjectFactory DEFAULT_OBJECT_FACTORY = new DefaultObjectFactory();
private static final ObjectWrapperFactory DEFAULT_OBJECT_WRAPPER_FACTORY = new DefaultObjectWrapperFactory();
private static final ReflectorFactory REFLECTOR_FACTORY = new DefaultReflectorFactory();
private static final List COLLECTION_NAME = Arrays.asList("list");
private static final String COUNT_SUFFIX = "_COUNT";
@Override
public Object intercept(Invocation invocation) throws Throwable {
// 獲取攔截器攔截的設(shè)置參數(shù)對(duì)象DefaultParameterHandler
final Object[] args = invocation.getArgs();
MappedStatement mappedStatement = (MappedStatement) args[0];
Object parameterObject = args[1];
// id字段對(duì)應(yīng)執(zhí)行的SQL的方法的全路徑，包含類(lèi)名和方法名
String id = mappedStatement.getId();
String className = id.substring(0, id.lastIndexOf("."));
String methodName = id.substring(id.lastIndexOf(".") + 1);
// 分頁(yè)插件會(huì)生成一個(gè)count語(yǔ)句，這個(gè)語(yǔ)句的參數(shù)也要做處理
if (methodName.endsWith(COUNT_SUFFIX)) {
methodName = methodName.substring(0, methodName.lastIndexOf(COUNT_SUFFIX));
}
// 動(dòng)態(tài)加載類(lèi)并獲取類(lèi)中的方法
final Method[] methods = Class.forName(className).getMethods();
// 遍歷類(lèi)的所有方法并找到此次調(diào)用的方法
for (Method method : methods) {
if (method.getName().equalsIgnoreCase(methodName) && method.isAnnotationPresent(TEncrypt.class)) {
// 獲取方法上的注解以及注解對(duì)應(yīng)的參數(shù)
TEncrypt paramAnnotation = method.getAnnotation(TEncrypt.class);
// 支持加密的操作，這里只修改參數(shù)
if (parameterObject instanceof Map) {
List paramAnnotations = findParams(method);
parameterMapHandler((Map) parameterObject, paramAnnotation, mappedStatement.getSqlCommandType(), paramAnnotations);
} else {
encryptParam(parameterObject, paramAnnotation, mappedStatement.getSqlCommandType());
}
}
}
return invocation.proceed();
}
} 加密的主體流程如下：
- 判斷本次調(diào)用的方法上是否注解了@TEncrypt。
- 獲取注解以及在注解上配置的參數(shù)。
- 遍歷parameterObject，找到需要加密的字段。
- 調(diào)用加密方法，得到加密后的值。
- 將加密后的字段和值寫(xiě)入parameterObject。
難點(diǎn)主要在parameterObject的解析，到了Executor這一層，parameterObject已經(jīng)不再是簡(jiǎn)單的Object[]，而是由MapperMethod
.convertArgsToSqlCommandParam(Object[] args)方法創(chuàng)建的一個(gè)對(duì)象，既然要對(duì)這個(gè)對(duì)象做處理，我們肯定得先知道它的創(chuàng)建過(guò)程。
參考上圖parameterObject的創(chuàng)建過(guò)程，加密插件對(duì)parameterObject的處理本質(zhì)上是一個(gè)逆向的過(guò)程。如果是list，我們就遍歷list里的每一個(gè)值，如果是map，我們就遍歷map里的每一個(gè)值。
得到需要處理的Object后，再遍歷Object里的每個(gè)屬性，判斷是否在@TEncrypt注解的srcKeys參數(shù)中，如果是，則加密再設(shè)置到Object中。
解密插件的邏輯和加密插件基本一致，這里不再贅述。
五、問(wèn)題挑戰(zhàn)
5.1 分頁(yè)插件自動(dòng)生成count語(yǔ)句
業(yè)務(wù)代碼里很多地方都用了 com.github.pagehelper 進(jìn)行物理分頁(yè)，參考下面的demo，在使用PageRowBounds時(shí)，pagehelper插件會(huì)幫我們獲取符合條件的數(shù)據(jù)總數(shù)并設(shè)置到rowBounds對(duì)象的total屬性中。
PageRowBounds rowBounds = new PageRowBounds(0, 10);
List list = userMapper.selectIf(1, rowBounds);
long total = rowBounds.getTotal();
那么問(wèn)題來(lái)了，表面上看，我們只執(zhí)行了userMapper.selectIf(1, rowBounds)這一條語(yǔ)句，而pagehelper是通過(guò)改寫(xiě)SQL增加limit、offset實(shí)現(xiàn)的物理分頁(yè)，在整個(gè)語(yǔ)句的執(zhí)行過(guò)程中沒(méi)有從數(shù)據(jù)庫(kù)里把所有符合條件的數(shù)據(jù)讀出來(lái)，那么pagehelper是怎么得到數(shù)據(jù)的總數(shù)的呢？
答案是pagehelper會(huì)再執(zhí)行一條count語(yǔ)句。先不說(shuō)額外一條執(zhí)行count語(yǔ)句的原理，我們先看看加了一條count語(yǔ)句會(huì)導(dǎo)致什么問(wèn)題。
參考之前的selectUserList接口，假設(shè)我們想選擇secret為某個(gè)值的數(shù)據(jù)，那么經(jīng)過(guò)加密插件的處理后最終執(zhí)行的大致是這樣一條語(yǔ)句 "select * from t_user_info where secret_ciper = ? order by update_time limit ?, ?"。
但由于pagehelper還會(huì)再執(zhí)行一條語(yǔ)句，而由于該語(yǔ)句并沒(méi)有 @TEncrypt 注解，所以是不會(huì)被加密插件攔截的，最終執(zhí)行的count語(yǔ)句是類(lèi)似這樣的: "select count(*) from t_user_info where secret = ? order by update_time"。
可以明顯的看到第一條語(yǔ)句是使用secret_ciper作為查詢條件，而count語(yǔ)句是使用secret作為查詢條件，會(huì)導(dǎo)致最終得到的數(shù)據(jù)總量和實(shí)際的數(shù)據(jù)總量不一致。
因此我們?cè)诩用懿寮拇a里對(duì)count語(yǔ)句做了特殊處理，由于pagehelper新增的count語(yǔ)句對(duì)應(yīng)的mappedStatement的id固定以"_COUNT"結(jié)尾，而這個(gè)id就是對(duì)應(yīng)的mapper里的方法的全路徑，舉例來(lái)說(shuō)原始語(yǔ)句的id是"com.xxx.internet.demo.entity
.UserInfo.selectUserList"，那么count語(yǔ)句的id就是"com.xxx.internet.demo.entity.UserInfo.selectUserList_COUNT"，去掉"_COUNT"后我們?cè)倥袛鄬?duì)應(yīng)的方法上有沒(méi)有注解就可以了。
六、總結(jié)
本文介紹了使用 MyBatis 插件實(shí)現(xiàn)數(shù)據(jù)庫(kù)字段加解密的探索過(guò)程，實(shí)際開(kāi)發(fā)過(guò)程中需要注意的細(xì)節(jié)比較多，整個(gè)流程下來(lái)我對(duì) MyBatis 的理解也加深了?？偟膩?lái)說(shuō)，這個(gè)方案比較輕量，雖然對(duì)業(yè)務(wù)代碼有侵入，但能把影響面控制到最小。
文章標(biāo)題：從零開(kāi)始實(shí)現(xiàn)一個(gè)MyBatis加解密插件
瀏覽路徑：http://www.dlmjj.cn/article/djdosis.html
