1、文件切割-split在Linux系统下使用split命令切割大文件非常方便[1]命令语法#-a:指定输出文件名的后缀长度(默认为2:aa,ab。..)#-d:指定输出文件名的后缀用数字代替#-l:分行方式(指定分多少行分割成一个小文件;默认行号为1000行)#-b:二进制分割方式(支持单位:k/m)#-C:文件大小分割方式(分割时尽量保持每一行的完整性)split[-a][-d][-l<行数>][-b][-C][要切割的文件][输出文件名][2]使用例子#linecutfile$split-l300000users.sql/data/users_#使用数字后缀$split-d-l300000users.sql/data/users_#按字节大小拆分$split-d-b100musers.sql/data/users_[3]帮助信息#帮助信息$split--helpUsage:split[OPTION]...[FILE[PREFIX]]FILE到PREFIXaa、PREFIXab的输出片段。..;defaultsizeis1000lines,anddefaultPREFIXis'x'.WithnoFILE,orwhenFILEis-,readstandardinput.Mandatoryargumentstolonoptionsaremandatoryforshortoptionstoo.-a,--suffix-length=NgeneratesuffixesoflengthN(default2)后缀名的长度(默认2),--bytes=SIZEputSIZEbytesperoutputfilebytesize每个输出文件-C,--line-bytes=SIZEputatmostSIZEbytesofrecordsperoutputfile每个输出文件的最大字节大小-dusenumericsuffixesstartingat0,notalphabetic用数字后缀替换字母后缀--numeric-suffixes[=FROM]同-d,但允许设置起始值-e,--elide-empty-files不生成空输出文件,带'-n'不生成空输出文件--filter=COMMANDwritetoshellCOMMAND;filenameis$FILEwrite进入shell命令行-l,--lines=NUMBERputNUMBERlines/recordsperoutputfile设置每个输出文件的行数-n,--number=CHUNKSgenerateCHUNKSoutputfiles;请参阅下面的解释以生成块文件-t,--separator=SEPuseSEPinsteadofnewlineastherecordseparator;usenewcharacterstoseparate'\0'(zero)指定NUL字符-u,--unbufferedimmediatelycopyinputtooutputwith'-nr/...'不需要缓存--verboseprintadiagnosticjustbeforeeachdisplaysplitprogressoutputfileisopened--helpdisplaythishelpandexit显示帮助信息--versionoutputversioninformationandexit显示版本信息SIZEargument是整数和可选的)。单位是K、M、G、T、P、E、Z、Y(1024的幂)或KB、MB、...(1000的幂)。CHUNKS可能是:NsplitintoNfilesbasedonsizeofinputK/NoutputKthofNtostdoutl/NsplitintoNfileswithoutsplittinglines/recordsl/K/NoutputdsKthoutofs/Nndrobindistributionr/K/NlikewisebutonlyoutputKthofNtostdoutGNUcoreutilsonlinehelp:完整文档位于:或可在本地通过:info'(coreutils)splitinvocation'2.文件合并-cat在Linux系统下使用cat命令合并多个小文件也很方便[1]命令语法#-n:显示行号#-e:使用$字符作为结束每行#-t:显示TAB字符(^I)cat[-n][-e][-t][输出文件名][2]Example#Mergefiles$cat/data/users_*>users.sql[3]帮助信息#Helpinfo$cat--hUsage:cat[OPTION]...[FILE]...ConcatenateFILE(s)tostandardoutput.WithnoFILE,orwhenFILEis-,readstandardinput.-A,--show-alequvalentto-vET-b,--number-nonblanknumbernonemptyoutputlines,overrides-n-equivalentto-vE-E,--show-endsdisplay$atendofeachline-n,--numbernumberalloutputlines-s,--squeeze-blanksuppressrepeatedemptyoutputlines-equivalentto-vT-T,--show-复制代码tabs显示TAB字符sas^I-u(忽略)-v,--show-nonprintinguse^andM-notation,exceptforLDFandTAB--helpdisplaythishelpandexit--versionoutputversioninformationandexitExamples:catf-gOutputf'scontents,thenstandardinput,then'scontents.catCopystandardinputtostandardoutput.GNUcoreutilsonlinehelp:完整文档在:oravailablelocallyvia:info'(coreutils)catinvocation'3.参考文档Linux大文件分割与合并Linux学习-文件分割与合并