建站
咨詢
售后
建站咨詢
新聞中心
輕松實現Linux文件按行數分割
Linux作為一款優(yōu)秀的操作系統(tǒng)，其強大的命令行工具使得一個普通的文本文件可以快速處理、轉換和分割。在現今的大數據時代，文件大小已經可以達到幾個G甚至更多，擁有一個自動分割文件的工具可以讓我們的工作變得更加高效和便利。下面我們將介紹如何在Linux系統(tǒng)上使用命令行工具來實現文件按行數分割。
我們需要明確分割文件的目的。一般來說，我們希望把一個超大文件分割成若干個小文件，每個小文件的行數固定。比如我們有一個大小為1GB的log文件，我們希望把它分割成1000個小文件，每個小文件的行數為1000行?；蛘呶覀兿Ｍ岩粋€超大的CSV文件按行數分割成若干個小的CSV文件，以便我們可以在其他工具中使用這些小文件而不是加載整個原始文件。
假設我們有一個日志文件`log.txt`，行數為10萬行，我們希望把它分割成100個小文件，每個小文件的行數為1000行。 那么我們可以使用以下的方法來達到目的。
我們需要計算出每個小文件所包含的行數，這個數值可以利用數學算式計算得出：總行數 ÷ 小文件數量 = 每個小文件的行數，即 10^5 ÷ 100 = 1000，每個小文件的行數為1000行。
我們需要使用`split`命令來實現文件的分割。`split`命令可以通過指定要分割的文件名和每個小文件的前綴、后綴名稱和大小來實現文件分割。我們可以使用以下的命令來生成100個小文件：
“`shell
$ split –lines=1000 –numeric-suffixes=1 –additional-suffix=’.txt’ log.txt log_part_
“`
其中，`–lines`參數用于指定每個小文件所包含的行數，`–numeric-suffixes=1`參數用于指定每個小文件名稱的數字序號從1開始遞增，`–additional-suffix=’.txt’`參數用于指定每個小文件的后綴名為`.txt`，`log.txt`是原始的需要分割的文件名，`log_part_`是每個小文件的前綴名。
執(zhí)行完以上命令之后，就會在當前目錄下生成100個名為`log_part_1.txt`至`log_part_100.txt`的小文件，每個小文件包含1000行日志數據。
如果我們希望在每個小文件的開頭添加一個可能有用的注釋信息，比如文件名和分割的時間等等，可以使用以下的命令來實現：
“`shell
$ split –lines=1000 –numeric-suffixes=1 –additional-suffix=’.txt’ –filter=’echo “File Name: log_part_”$FILE_NUMBER_” Created at: $(date)” > $FILE’ log.txt
“`
其中，`–filter`參數用于指定一個shell命令來處理每個小文件。在這里，我們使用了`echo`命令來生成一個包含文件名和創(chuàng)建時間的注釋信息，并將其重定向到每個小文件中去。`$FILE_NUMBER`變量用于指代當前小文件的序號，`$(date)`命令用于獲取當前時間。執(zhí)行完以上命令之后，每個小文件的開頭都會添加上一個形如“File Name: log_part_1 Created at: Mon Jun 7 21:59:46 CST 2023”的注釋信息。
通過這種方法，我們可以很輕松地將一個大文件分割成若干個小文件，以滿足我們的使用需求。當然，這種方法并不是萬能的，也有其一些限制，比如每個小文件的行數需要提前計算好，并且每個小文件的大小也需要事先確定。但在大多數情況下，這種方法已經足夠方便和實用了。
相關問題拓展閱讀：
- Linux環(huán)境下，怎么拆分一個30多萬條數據的文件，每個文件10萬條數據，并且之一條是文件筆數
- 求linux基本命令
Linux環(huán)境下，怎么拆分一個30多萬條數據的文件，每個文件10萬條數據，并且之一條是文件筆數
文件筆裂桐數是怎么定義的凳豎
每10w行取出：肆粗坦
cat a|head -n
cat a|head -n|tail -n
cat a|tail -n
求linux基本命令
看看鳥哥的私房菜吧，學linux必看書
常用系統(tǒng)服務
============
acpi-support 高級電源管理支持
acpid acpi守護程序.這兩個用于電源管理，非常重要
alsa 聲音子系統(tǒng)
alsa-utils
anacron cron的子系統(tǒng)，將系統(tǒng)關閉期間的計劃任務，在下一次系統(tǒng)運行時執(zhí)行。
apmd acpi的擴展
atd 類似于cron的任務調度系統(tǒng)。建議關閉
binfmt-support 核心支持其他二進制的文件格式。建議開啟
bluez-utiles 藍牙設備支持
bootlogd 啟動日志。開啟它
cron 任務調度系統(tǒng)，建議開啟
cupsys 打印機子系統(tǒng)。
dbus 消息總線系統(tǒng)(message bus system)。非常重要
dns-clean 使用撥號連接時，清除dns信息。
evms 企業(yè)卷管理系統(tǒng)（Enterprise Volumn Management system）
fetchmail 郵件用戶代理，用于收取郵件
gdm gnome登錄和桌面管理器。
gdomap
gpm 終端中的鼠標支持。
halt 別動它。
hdparm 調整硬盤的腳本，配置文件為“/etc/hdparm.conf”。
hibernate 系統(tǒng)休眠
hotkey-setup 筆記本功能鍵支持。支持類型包括： HP, Acer, ASUS, Sony, Dell,和IBM。
hotplug and hotplug-net 即插即用支持，比較復雜，建議不要動它。
hplip HP打印機和圖形子系統(tǒng)
ifrename 網絡接口重命名腳本。如果您有十塊網卡，您應該開啟它
inetd在文件“/etc/inetd.conf”中，注釋掉所有你不需要的服務。如果該文件不包含任何服務，那關閉它是很安全的。
klogd 重要。
linux-restricted-modules-common受限模塊支持。“/lib/linux-restricted-modules/”文件夾中的模塊為受限模塊。例如某些驅動程序，如果您沒有使用受限模塊，就不需要開啟它。
lvm 邏輯卷管理系統(tǒng)支持。
makedev 創(chuàng)建設備文件，非常重要。
mdamd 磁盤陣列
module-init-tools 從/做模etc/modules加載擴展模塊，建議開啟。
networking 網絡支持。按“/etc/network/interfaces”文件預設激活網絡，非常重要。
ntpdate 時間同步服務，建議關閉。
pcmcia pcmcia設備支持。
powernowd 移動CPU節(jié)能支持
ppp and ppp-dns 撥號連接
readahead 預加載庫文件。
reboot 別動它。
resolvconf 自動配置DNS
rmnologin 清除nologin
rsync rsync守護程序
sendsigs 在重啟和關機期間發(fā)送信號
single 激活單用戶模式
ssh ssh守護程序。建議開啟
stop-bootlogd 在2，3，4，5運行級別中停止bootlogd服務
sudo 檢查sudo狀態(tài)。重要
sysklogd 系統(tǒng)日志
udev & udev-mab 用戶空間dev文件系統(tǒng)（userspace devfilesystem）。重要
umountfs 卸載文件祥族系統(tǒng)
urandom 隨機數生成器
usplash 開機畫面支持
vbesave 顯卡BIOS配置工具。保存顯卡的狀態(tài)
xorg-common 設置X服務ICE socket。
adjtimex 調整核心時鐘的工具
dirmngr 證書列表管理工具,和gnupg一起工作。
hwtools irqs優(yōu)化工具
libpam-devperm 系統(tǒng)崩潰之后，用于修理設備文件許可的守護程序。
lm-sensors 板載傳感器支持
mdadm-raid 磁盤陳列管理器
screen-cleanup 清除開機屏幕的腳本
xinetd 管理其他守護進程的一個inetd超級守護程序
系統(tǒng)管理
========
一些細節(jié)
Linux是大小寫敏感的系統(tǒng)，所有的命令、路徑、參數、變量……都區(qū)分大小寫
您可以使謹胡弊用TAB鍵補全您的命令，無論任何時候，多按幾次TAB總會有所幫助
Shell的功能鍵能夠協助您更高效的編輯命令，請熟悉其鍵綁定，盡量使用它
命令由命令名、分隔符、參數、操作對象構成
命令名標識命令的功能，例如cp(copy)、mv(move)、rm(remove)……
有些命令包含一些子命令，您可以認為它的命令名由兩個單詞構成，例如“apt”軟件包管理系統(tǒng)：
apt-get install 安裝一個軟件
apt-get remove 刪除一個軟件
分隔符為空格，多個連續(xù)的空格視為一個空格，下面兩個命令相同：
cp a b
cp a b
有一些特殊符號也屬于分隔符，例如管道（“|”）、重定向（“>”、“>>”、“”表示必需項，實際輸入為尖括號中的內容
使用“|”表示“或”，以“|”分隔的項目不能同時使用，例如
tar
參數通常緊跟命令名，除非必要，在命令格式中，我們通常省略它們
系統(tǒng)信息
uptime
聯機信息-時間，顯示如下
11:27pm up 9 days, 7:12, 3 user, load average: 0.07, 0.12,0.14
當前系統(tǒng)時間 系統(tǒng)運行時間 當前在線用戶數 系統(tǒng)負荷 1分鐘前 5分鐘前 15分鐘前
w
聯機信息-已登錄用戶，顯示如下
01:04:10 up 1:34, 2 users, load average: 0.25, 0.16, 0.11
uptime 信息
USER TTY FROM LOGIN@ IDLE JCPU PCPU WHAT
user tty1 192.168.0.1 23:30 1:33 0.14s 0.12s -bash
用戶名 登錄方式 來源地址 登錄時間 發(fā)呆時間 資源占用 當前任務
Tips：w : 顯示某一用戶相關信息
who
聯機信息，常用參數
-r 運行級別
whoami
顯示當前用戶名
last
最近用戶登錄信息
– 使用數字作為參數，控制顯示條目。例如
last -10 顯示10條紀錄
uname
系統(tǒng)信息
-s 內核名稱（默認參數）
-a 全部
-p CPU信息
-n 主機名
-r 內核發(fā)行信息（版本號）
-v 內核版本信息
date
顯示、設定系統(tǒng)時間
-u 顯示格林尼洛時間（UTC）
MMDDhhmmYY> 設定時間，需要管理員權限。例如： date
MM 月份 DD 天數 hh 小時 mm 分鐘 CC 年份前兩位 YY 年份后兩位 ss 秒鐘
秒鐘、年份為可選，例如： date.59
+設定顯示格式，以下為date默認輸出格式：
date +%Y年\ %m月\ %d日\ %A\ %H:%M:%S\ %Z
格式控制
%n 換行
%t 制表符
小時
%H(00~23) %I(01~12) %k(0~23) %l(1~12) %p(AM|PM)
分、秒
%M分鐘(00~59)
%S秒(00..61)
%T(hh:mm:ss) %r(hh:mm:ss )
%s 從1970年1月1日00:00:00 UTC到目前為止的秒數
%X(%H:%M:%S)
%Z時區(qū)
星期
%a(Sun~Sat) %A(Sunday~Saturday) %w : 一周中的第幾天 (0..6)
年份
%Y(0000~9999) %y(00~99)
月份
%m(01~12) %b %h(Jan~Dec) %B(January~December)
日期
%d(01~31) %j(001~366)
%x(本地格式mm/dd/yy) %D(mm/dd/yy) %c
一年中的第幾周
%U(00~53)以Sunday為一周的之一天 %W(00~53)以Monday為一周的之一天
cal
顯示日歷
文件管理
鏈接
為當前文件建立在其它路徑中的訪問方法。例如將系統(tǒng)中其它位置的可執(zhí)行文件，鏈接到“/usr/local/bin”目錄下，使用命令調用。
ls
顯示當前目錄文件列表
–color 不同屬性以不同顏色顯示（默認參數）
-a 全部顯示
-i 顯示inode值
-l 詳細信息
-F 顯示文件類型后綴 目錄/ 鏈接@ 可執(zhí)行文件* 端口文件= 管道文件| >
-A 顯示隱藏文件
-R 遞歸顯示子目錄文件列表
-S 按文件大小排序
-t 按修改時間排序
-u 按訪問時間排序
-d 只顯示目錄，不遞歸顯示目錄下的文件
cd |
切換目錄
目錄路徑可以使用絕對路徑或者相對路徑
特殊路徑：
~ $HOME目錄（默認值）
– 上一次目錄
.. 上一級目錄
. 當前目錄
Tips:您可以通過修改“/etc/environment”文件，來定義$CDPATH變量，設定“cd”命令的搜索路徑。
pwd
顯示當前路徑
file
顯示文件類型
-i 顯示mime類型
du
計算文件或目錄空間占用
-h 人性化顯示。自動以G、M、K為單位顯示占用空間大小
-l 重復計算硬鏈接文件大小
-L 計算符號鏈接文件大小
-a 顯示當前目錄子目錄中的文件
-c 顯示文件數
less
瀏覽文件，使用VI和Emacs兩種風格的鍵綁定。以下為VI風格鍵綁定
Ctrl+f(orward) 向下翻一頁 Ctrl+d(own) 向下翻半頁
Ctrl+b(ackward) 向上翻一頁 Ctrl+u(p) 向上翻半頁
/ 查找 q(uit) 退出
touch
創(chuàng)建一個空文件
cp
將源文件復制為目錄文件，或者將源文件復制到目標目錄。多個源文件使用空格分隔
cp
將源目錄復制到目標目錄中，如果復制多個源目錄，需要使用“-R”參數
-a 相當于-dpr參數
-d 保留鏈接
-f 強制復制，覆蓋目標文件
-i 覆蓋時詢問用戶
-p 保留修改時間和訪問權限
-r -R 遞歸復制（目錄=>目錄）
-l 創(chuàng)建鏈接
-v 顯示過程
rm
-r -R 遞歸刪除
-f 強制刪除（無需確認，直接刪除。慎用！）
-i 交互式刪除（詢問用戶）
rmdir
刪除目錄時，建議您使用“rm -r”命令
mv
相當于cp后刪除源文件，也可以作為“重命名”使用。
mv
-r -R 遞歸
ln
-s 符號鏈接
-f 強制鏈接，覆蓋目標文件
-i 覆蓋前詢問用戶
文件操作
nano
一個簡單輕便的文本編輯器，使用Emacs風格的鍵綁定。
split
將源文件按一定規(guī)則分割成若干個目標文件。默認文件名前綴為“x”
– 按行數分割文件
-l 同上
-b 按大小分割文件?？梢允褂胋、k、m作單位，不指定單位的情況下，默認單位為b
-C 按大小分割文件，并盡量保持每行的完整
示例：
split -C 100k file.split x
cat
輸出文件內容。用空格分隔多個文件名，可以將多個文件內容連接到一起輸出。使用重定向合并為一個文件
-n 在輸出中添加行號
-b 在輸出中添加行號，空行不編號
-s 將兩行或以上的空行，合并為一個空行
示例：
cat xaa xab xac > file.split
sort
對文本內容排序
-m 合并文件
-c 檢查文件是否已按規(guī)則排序
-b 忽略行首空格字符
-u 忽略內容重復行
-f 忽略大小寫
-l 忽略非打印字符
-M 作為月份比較
-d 按字典順序排序，按照字母、數字、空格、制表符排序
-r 逆序輸出
more
查看文件內容，我們建議您使用“l(fā)ess”
diff
比較文件
cksum
計算文件的CRC值。不指定文件名則從標準輸入設備讀入數據，例如：
echo xxx | cksum
md5sum
計算文件的md5值。同上
權限管理
一個文件主要包含下列屬性，“l(fā)s -l”
– rwx rwx rwx user group date filename
其中，之一組為歸屬用戶的權限，第二組為歸屬群組的權限，第三組為其它用戶群組的權限。user為文件的歸屬用戶，group為文件的歸屬群組，date為日期信息，filename為文件名。
可以使用3位的二進制數字來描述一組權限，某一權限對應的數字為1,則表示具有該種權限，為0,則不具有該種權限。
對于文件夾，必須擁有它的可執(zhí)行權限，才能夠使用“cd”命令進入該文件夾；擁有可讀權限，才能夠使用“l(fā)s”命令查看該文件夾的文件列表。
root用戶擁有更高權限。
使用二進制數字來描述一組權限，雖然非常直觀，但是3組權限需要用9位數來表示，使用不夠方便。因此我們將三組權限使用3位8進制數字來表示。它們的對應關系為：
r 100 4
w 010 2
x 001 1
將這三位8進制數字相加的結果，就可以表示該組權限的具體內容，例如：
7=4+2+1=rwx
5=4+1=rx
755=4+2+1 4+1 4+1=rwx r-x r-x
我們還可以使用“a、u、g、o”表示歸屬關系，使用“=、+、-”表示權限變化，使用“r、w、x”表示權限內容，
a 所有用戶 u 歸屬用戶 g 歸屬群組 o 其它用戶
= 具有權限 + 增加權限 – 去除權限
r 可讀權限 w 可寫權限 x 可執(zhí)行權限
例如：
a+x 給所有用戶增加可執(zhí)行權限
go-wx 將歸屬群組和其它用戶的可寫、可執(zhí)行權限去掉
u=rwx 歸屬用戶具有可讀、可寫、可執(zhí)行權限
chmod
改變文件的權限。權限的表達式可以使用三位8進制數字表示，或者使用+-=來表示
-R 遞歸
-v 顯示過程
-c 類似“-v”，僅顯示更改部分
–reference=以指定文件為參考改變權限
示例：
chmod -R a+x path
chmod -Rv 755 path
chown
改變文件的歸屬用戶?？梢允褂糜脩裘蛘遀ID
-R 遞歸
-v 顯示過程
-c 類似“-v”，僅顯示更改部分
–reference=以指定文件為參考改變權限
示例：
chown user:admin path
chown -R user.admin path
chown user path
chgrp
改變文件的歸屬群組?？梢允褂萌航M名或者GID
參數同上
SUID、SGID、Sticky bit
某些情況下，需要以可執(zhí)行文件歸屬用戶的身份執(zhí)行該文件，可以為該文件設置SUID。同樣，設置SGID能夠以該文件歸屬群組的身份執(zhí)行它。
例如：用戶自行設定密碼。
出于安全方面的考慮，“/etc/shadow”只能由root用戶直接修改。
-rwroot root /etc/shadow
這個時候，可以為程序“/usr/bin/passwd”設置SUID，當普通用戶執(zhí)行“passwd”命令時，便能夠以該程序歸屬用戶root的身份修改“/etc/shadow”文件。而“passwd”程序自身帶有身份驗證機制，不能通過驗證時拒絕執(zhí)行，從而保證了安全。
ls -l /usr/bin/passwd
-r-s–x–x root root /usr/bin/passwd
我們發(fā)現，歸屬用戶的可執(zhí)行權限位使用“s”，表示SUID。同樣，歸屬群組的可執(zhí)行權限位使用“s”，表示SGID。
任何用戶或群組都擁有“其它用戶”的權限，所以不需要以“其它用戶”身份執(zhí)行文件，其它用戶的可執(zhí)行權限位便不會出現“s”。該權限位可能出現的屬性為“t”，也就是粘著位Stickybit。
ls -ld /tmp
drwxrwxrwt root root /tmp
粘著位表示任何用戶都可能具有寫權限，但只有該歸屬用戶或root用戶才能夠刪除
SUID、SGID、Sticky bit也可以像權限一樣，使用一個八位數表示，如下：
4 SUID
2 SGID
1 Sticky bit
通過在“chmod”命令中使用四個八位數的表達式，如“4755”，用之一位表示SUID、SGID、或Stickybit，便能夠為文件設置這些特殊權限。
示例：
chmod -R 4755 path
lsattr
查看文件的特殊屬性
-a 全部顯示
-d 只顯示目錄
-R 遞歸
特殊屬性包括：
a：僅供附加用途
b：不更新最后存取時間
c：壓縮后存放
d：排除在傾倒操作之外
i：不得任意更動文件或目錄
s：保密性刪除文件或目錄
S：即時更新文件或目錄
u：預防以外刪除
chattr
-R 遞歸
-V 顯示過程
我加你Q給你發(fā)
香港服務器選創(chuàng)新互聯，2H2G首月10元開通。
創(chuàng)新互聯（www.cdcxhl.com）互聯網服務提供商,擁有超過10年的服務器租用、服務器托管、云服務器、虛擬主機、網站系統(tǒng)開發(fā)經驗。專業(yè)提供云主機、虛擬主機、域名注冊、VPS主機、云服務器、香港云服務器、免備案服務器等。
分享題目：「輕松實現」Linux文件按行數分割(linux按數據行數分割)
文章鏈接：http://www.dlmjj.cn/article/cdipjep.html
