建站
咨詢
售后
建站咨詢
新聞中心
作者：熊唯，黃飛 ，騰訊 PCG/QQ研發(fā)中心/CV應(yīng)用研究組
創(chuàng)新互聯(lián)公司致力于互聯(lián)網(wǎng)品牌建設(shè)與網(wǎng)絡(luò)營(yíng)銷(xiāo)，包括網(wǎng)站建設(shè)、成都網(wǎng)站制作、SEO優(yōu)化、網(wǎng)絡(luò)推廣、整站優(yōu)化營(yíng)銷(xiāo)策劃推廣、電子商務(wù)、移動(dòng)互聯(lián)網(wǎng)營(yíng)銷(xiāo)等。創(chuàng)新互聯(lián)公司為不同類(lèi)型的客戶提供良好的互聯(lián)網(wǎng)應(yīng)用定制及解決方案，創(chuàng)新互聯(lián)公司核心團(tuán)隊(duì)10多年專(zhuān)注互聯(lián)網(wǎng)開(kāi)發(fā)，積累了豐富的網(wǎng)站經(jīng)驗(yàn)，為廣大企業(yè)客戶提供一站式企業(yè)網(wǎng)站建設(shè)服務(wù)，在網(wǎng)站建設(shè)行業(yè)內(nèi)樹(shù)立了良好口碑。
AI 如果真的可以寫(xiě)代碼了，程序員將何去何從?近幾年，NLP 領(lǐng)域的生成式任務(wù)有明顯的提升，那通過(guò) AI 我們可以讓代碼自動(dòng)完成后續(xù)補(bǔ)全嗎?本文主要介紹了如何使用 GPT2 框架實(shí)現(xiàn)代碼自動(dòng)補(bǔ)全的功能。
如果 AI 真的可以自己寫(xiě)代碼了，程序員將何去何從?
我去年做過(guò)一個(gè)代碼補(bǔ)全的小功能，打包為 androidStudio 插件，使用效果如下：
代碼補(bǔ)全模型預(yù)測(cè)出的結(jié)果有時(shí)的確會(huì)驚嚇到我，這也能學(xué)到~? 那如果給它見(jiàn)識(shí)了全世界的優(yōu)秀代碼，再給足夠量級(jí)參數(shù)和優(yōu)秀的模型框架，真的可以實(shí)現(xiàn)需求作為輸入，直接輸出代碼嗎?
"我的需求講完了，你的代碼呢?" 希望可以看到這一天。
代碼補(bǔ)齊功能有其他優(yōu)秀插件也已實(shí)現(xiàn)，比如 tabnine，Kite 和國(guó)產(chǎn)的 aixcoder。本文主要介紹下代碼補(bǔ)全功能需要實(shí)現(xiàn)的整套流程。主要包括數(shù)據(jù)，算法和工程。
數(shù)據(jù)
眾所周知，算法工程師大部分時(shí)間都在處理數(shù)據(jù)。
深度學(xué)習(xí)是使用大數(shù)據(jù)訓(xùn)練模型的一個(gè)過(guò)程，數(shù)據(jù)是很重要的一個(gè)模塊。人是會(huì)累的，休息不好還導(dǎo)致記憶不好。AI 是你給多少數(shù)據(jù)它就能存儲(chǔ)接收多少數(shù)據(jù)，學(xué)不到信息那是人的錯(cuò)，給的數(shù)據(jù)不好或者算法設(shè)計(jì)不好。所以我們先盡可能多的準(zhǔn)備好訓(xùn)練數(shù)據(jù)。
1、數(shù)據(jù)采集
本文的目的是代碼補(bǔ)全，訓(xùn)練數(shù)據(jù)就是代碼段?？紤]到每種語(yǔ)言風(fēng)格和語(yǔ)法都不一致，所以單個(gè)模型只針對(duì)一種代碼語(yǔ)言。
我使用的訓(xùn)練數(shù)據(jù)主要來(lái)源于 GitHub，編寫(xiě)了一個(gè)簡(jiǎn)單的爬蟲(chóng)代碼，指定語(yǔ)言后根據(jù) stars 的排序下載工程。
Github 的 search API 官方地址：
https://developer.github.com/v3/search/
2、數(shù)據(jù)清理
直接下載的數(shù)據(jù)肯定是不能直接用的，我們還需要對(duì)數(shù)據(jù)進(jìn)行清理。
首先，我們的訓(xùn)練數(shù)據(jù)只需要工程中的代碼文件，以 java 工程為例，我們只保留.java 結(jié)尾的文件，其他文件可剔除。
其次，我的代碼補(bǔ)全目標(biāo)是代碼段，不針對(duì)注釋功能。而且對(duì)于代碼補(bǔ)全訓(xùn)練時(shí)，我們是會(huì)給定一定范圍的上文，如果存在注釋段會(huì)占用有效代碼信息。另外注釋除英文外其他字符不在我的訓(xùn)練 vocab 范圍內(nèi)，所以需要對(duì)代碼中注釋和日志進(jìn)行清理。
1.刪除代碼行中存在除符號(hào)和英文外的字符
2.刪除日志行
3.刪除注釋行，主要針對(duì)以下格式
- /* 注釋文本*/
- /**
- 注釋段落
- */
- // 注釋文本
- code //注釋
經(jīng)過(guò)以上數(shù)據(jù)清理后，得到純代碼數(shù)據(jù)。
3、數(shù)據(jù)編碼
得到了訓(xùn)練數(shù)據(jù)后還需要把代碼文本進(jìn)行編碼。本文使用的是 bpe(byte pair encoder)字節(jié)對(duì)編碼，主要為了數(shù)據(jù)壓縮。bpe 簡(jiǎn)單理解為將一個(gè)單詞再拆分為多個(gè)字母組合，比如 tencent 拆分為 ten-cent，這些組合方式則是根據(jù)大量數(shù)據(jù)，統(tǒng)計(jì)頻率得到。由于我們期待的代碼補(bǔ)全功能是在行首輸入幾個(gè)字母，根據(jù)上文預(yù)期出本行內(nèi)容。
假設(shè) tensorflow 這個(gè) token 被編碼對(duì)應(yīng)到一個(gè) id，那我希望輸入 ten 就輸出 tensorflow 是無(wú)法實(shí)現(xiàn)的。所以在訓(xùn)練過(guò)程中，我會(huì)隨機(jī)把 token 打斷，比如將 tensorflow 打斷為 t-en-sor-flow 進(jìn)行編碼，打斷原則是被切分的部分一定要在詞匯表中。數(shù)據(jù)編碼后，代碼的每個(gè) token 被編碼為 1~N 個(gè) id。模型預(yù)測(cè)到的 id 反編碼為 token 即可?；剀?chē)符認(rèn)為是預(yù)測(cè)的終止符。經(jīng)過(guò)以上處理，我們就準(zhǔn)備好了訓(xùn)練數(shù)據(jù)，下面就可以進(jìn)行算法部分了。
模型算法
眾所周知，算法工程師大部分時(shí)間都在研究算法。
在騰訊文檔的錯(cuò)別字糾錯(cuò)需求中，我們采用了基于 LSTM 的 seq2seq 以及 facebook 提出的基于 CNN 的 seq2seq，可以得到不錯(cuò)的糾錯(cuò)效果。直到 NLP 出現(xiàn)了一個(gè)"網(wǎng)紅"--BERT，采用后精度直接提升 8 個(gè)點(diǎn)左右，不虧是 google。下面先簡(jiǎn)單介紹下 bert 和 gpt2。
BERT 和 GPT2
2017 年中 google 提出了 Transformer 結(jié)構(gòu)。不用 rnn，不用 cnn，提出 attention is all you need。2018 年 openAI 采用了 transformers 結(jié)構(gòu)在 18 年發(fā)布了 GPT。同年 google AI Language 發(fā)布了 bert 論文，提出的 BERT 模型在 11 個(gè) NLP 任務(wù)上刷新了記錄。2019 年 openAI 又推出了 GPT-2 模型。。
BERT(Bidirectional Encoder Representation from Transformers)是基于 transformers 框架的 encoder 部分，自編碼語(yǔ)言模型，適合 N-1(比如句子分類(lèi))，N-N(比如詞性標(biāo)注)的任務(wù)，但是它并不適合做生成任務(wù)。
GPT(Generative Pre-Training)基于 transformers 的 decoder 部分，自回歸語(yǔ)言模型，適合生成式任務(wù)。
Transformer框架圖
GPT2和BTER框架示意圖
代碼補(bǔ)全功能就是基于 GPT2 框架，OPenAI 官方提供了多套 GPT2 預(yù)訓(xùn)練模型：
官方提供GPT2參數(shù)
作為一個(gè)經(jīng)常要把模型部署到移動(dòng)端的 CVer，看到這個(gè)參數(shù)級(jí)別，我選擇最小的模型進(jìn)行 finetune。
對(duì)于 GPT 算法，下面這篇文章講的很好，感興趣同學(xué)可以看看：
https://zhuanlan.zhihu.com/p/137350403
GPT2的預(yù)測(cè)過(guò)程
本文在訓(xùn)練中使用 512 個(gè)上文，預(yù)測(cè)到回車(chē)符為終止。模型網(wǎng)絡(luò)使用超參:12 個(gè)層，768 個(gè)隱藏節(jié)點(diǎn)，12 個(gè) heads，采用了 uber 的 Horovod 分布式框架進(jìn)行訓(xùn)練。
infer 階段采用 beam-search 會(huì)導(dǎo)致整個(gè)預(yù)測(cè)過(guò)程特別耗時(shí)，所以參考了https://arxiv.org/abs/1904.09751論文，采用 top-k sampling，每次預(yù)測(cè) top3 的結(jié)果再通過(guò)概率閾值過(guò)濾后作為最終候選輸出。
最終 infer 效果：
輸入一段代碼，預(yù)測(cè)出后續(xù)代碼，以回車(chē)符截止。
工程
眾所周知，算法工程師大部分時(shí)間都在做工程。
訓(xùn)練出模型后，還要把模型應(yīng)用起來(lái)，所以還需要一些工程工作需要實(shí)現(xiàn)。代碼補(bǔ)全功能，最合適的應(yīng)用場(chǎng)景就是上 IDE。nlp 模型不太適合在本機(jī)部署，最終選擇了在 GPU 機(jī)器上部署模型，然后終端通過(guò) http 請(qǐng)求獲取預(yù)測(cè)文本顯示的方案。
后臺(tái)部署
Flask 是一個(gè) Web 應(yīng)用程序框架，靈活，輕便，容易上手。本文簡(jiǎn)單介紹如何利用 flask 啟動(dòng)一個(gè) web 服務(wù)，以及如何訪問(wèn)和調(diào)用我們的功能接口。首先我們創(chuàng)建一個(gè) conda 環(huán)境：
- conda create -n flask python=3.6
- source activate flask
- pip install flask
代碼中增加一個(gè)接口函數(shù)：
- from flask import Flask
- from flask import request
- app = Flask()
- # route把一個(gè)函數(shù)綁定到對(duì)應(yīng)的 url 上
- @app.route("/plugin",methods=['GET',])
- def send():
- data = request.args.get('data')
- # 模型預(yù)測(cè)邏輯
- out = model_infer(data)
- return out
- if __name__ == '__main__':
- app.run(host='0.0.0.0',port=8080, debug=False)
執(zhí)行 run.py 代碼，后臺(tái)服務(wù)開(kāi)啟運(yùn)行：
客戶端請(qǐng)求：
- url = http://ip:8080/plugin?data="輸入"
其中 model_infer 函數(shù)需要實(shí)現(xiàn)模型的 infer 前向計(jì)算邏輯，從請(qǐng)求中獲取 data 字段作為輸入，infer 預(yù)測(cè)的結(jié)果列表作為輸出返回給調(diào)用方。
經(jīng)過(guò)上面的工作，我們已經(jīng)提供了一個(gè)服務(wù)接口，返回我們代碼補(bǔ)全的預(yù)測(cè)結(jié)果。
插件編寫(xiě)
最后一步就是如何在 IDE 上使用功能了。我們要開(kāi)發(fā) AS 的插件，需要使用 IntelliJ，首先需要在本機(jī)安裝配置 IntelliJ IDEA
下載地址:
https://www.jetbrains.com/idea/download/
社區(qū)版源碼:
https://github.com/JetBrains/intellij-community
好用的插件可以節(jié)省程序員很多時(shí)間，在插件實(shí)現(xiàn)時(shí)，我還添加了一個(gè)小的 git-blame 功能，實(shí)時(shí)查看指定行的 git 提交人，對(duì)于手 Q 這種多人合作的工作，比較實(shí)用。大家也可以通過(guò) IntelliJ 自己開(kāi)發(fā)一些常用功能。
gitBlame 的主要代碼：
- public class GitBlame extends AnAction {
- private void showPopupBalloon(final Editor editor, final String result) {
- ApplicationManager.getApplication().invokeLater(new Runnable() {
- public void run() {
- JBPopupFactory factory = JBPopupFactory.getInstance();
- factory.createHtmlTextBalloonBuilder(result, null, new JBColor(new Color(186, 238, 186), new Color(73, 117, 73)), null)
- .setFadeoutTime(5000)
- .createBalloon()
- .show(factory.guessBestPopupLocation(editor), Balloon.Position.below);
- }
- });
- }
- @Override
- public void actionPerformed(AnActionEvent e) {
- // TODO: insert action logic here
- //獲得當(dāng)前本地代碼根目錄
- String base_path = e.getProject().getBasePath();
- String file_path = e.getProject().getProjectFilePath();
- //獲取編輯mEditor
- final Editor mEditor = e.getData(PlatformDataKeys.EDITOR);
- if (null == mEditor) {
- return;
- }
- SelectionModel model = mEditor.getSelectionModel();
- final String selectedText = model.getSelectedText();
- if (TextUtils.isEmpty(selectedText)) {
- return;
- }
- //獲取當(dāng)前編輯文檔的目錄
- PsiFile mPsifile = e.getData(PlatformDataKeys.PSI_FILE);
- VirtualFile file = mPsifile.getContainingFile().getOriginalFile().getVirtualFile();
- if (file != null && file.isInLocalFileSystem()) {
- file_path = file.getCanonicalPath();
- }
- //gitkit工具
- JGitUtil gitKit = new JGitUtil();
- String filename = file_path.replace(base_path+"/","");
- //得到blame信息
- int line_index = mEditor.getSelectionModel().getSelectionStartPosition().getLine();
- String blame_log = gitKit.git_blame(base_path,filename,line_index);
- //展示
- if (!blame_log.isEmpty()){
- showPopupBalloon(mEditor, blame_log);
- }
- }
- }
本文的代碼補(bǔ)全插件主要代碼邏輯為調(diào)用上一步后臺(tái)部署的請(qǐng)求。
- // 請(qǐng)求url格式（和flask接口一致）
- String baseUrl = "http://ip:8080/plugin?data=";
- // 獲取當(dāng)前編輯位置文本
- PsiFile str = position.getContainingFile();
- // 根據(jù)模型上文限制獲取代碼端
- String data = getContentCode();
- String url = baseUrl+data;
- // 發(fā)送請(qǐng)求
- String result = HttpUtils.doGet(url);
- // 后處理邏輯，在提示框顯示預(yù)測(cè)結(jié)果
- show()
最終呈現(xiàn)形式：
可以看出，模型的預(yù)計(jì)結(jié)果還是不錯(cuò)的~
以上為代碼補(bǔ)全功能的實(shí)現(xiàn)和應(yīng)用，算是 AI 自動(dòng)寫(xiě)代碼的一小步。
AI 能否自己寫(xiě)代碼，達(dá)到疑犯追蹤里 TM 那種水平，我不敢說(shuō)一定不可能，但以我目前的認(rèn)知是實(shí)現(xiàn)不了，畢竟寫(xiě)代碼的是程序員，給算法喂數(shù)據(jù)的是程序員，算法設(shè)計(jì)還是程序員，AI 連幫人類(lèi)解 bug 的功能都還不出現(xiàn)!\
參考資料：
[1] https://arxiv.org/abs/1706.03762
[2] https://arxiv.org/abs/1810.04805
[3] https://github.com/openai/gpt-2
[4] https://arxiv.org/abs/1904.09751
分享名稱(chēng)：讓代碼自動(dòng)補(bǔ)全的全套流程
路徑分享：http://www.dlmjj.cn/article/coeeepc.html
