FFMPEG详解

fudyou

认识FFMPEG

0 s( C$ ?: {  S7 H; P9 s6 Z" _FFMPEG堪称自由软件中最完备的一套多媒体支持库，它几乎实现了所有当下常见的数据封装格式、多媒体传输协议以及音视频编解码器，堪称多媒体业界的瑞士军刀。因此，对于从事多媒体技术开发的工程师来说，深入研究FFMPEG成为一门必不可少的工作，可以这样说，FFMPEG之于多媒体开发工程师的重要性正如kernel之于嵌入式系统工程师一般。
2 \' X& j; b& l0 ]" R7 q
几个小知识：

    FFMPEG项目是由法国人Fabrice Bellard发起的，此人也是著名的CPU模拟器项目QEMU的发起者，同时还是圆周率算法纪录的保持者。
5 N) E! ]  F( a1 c& Y, Y2 X
; Y" s" V/ K5 D    FF是Fast Forward的意思，翻译成中文是“快进”。
5 K  x0 `& k7 S' O2 ~* z. v  R
  |) H5 b- a1 l  z+ L8 w    FFMPEG的LOGO是一个”Z字扫描”示意图，Z字扫描用于将图像的二维频域数据一维化，同时保证了一维化的数据具备良好的统计特性，从而提高其后要进行的一维熵编码的效率。

关于耻辱厅（Hall of Shame）：FFMPEG大部分代码遵循LGPL许可证，如果使用者对FFMpeg进行了修改，要求公布修改的源代码；有少部分代码遵循GPL许可证，要求使用者同时公开使用FFMpeg的软件的源代码。实际上，除去部分具备系统软件开发能力的大型公司（Microsoft、Apple等）以及某些著名的音视频技术提供商（Divx、Real等）提供的自有播放器之外，绝大部分第三方开发的播放器都离不开FFMpeg的支持，像Linux桌面环境中的开源播放器VLC、MPlayer，Windows下的KMPlayer、暴风影音以及Android下几乎全部第三方播放器都是基于FFMPEG的。也有许多看似具备自主技术的播放器，其实也都不声不响地使用了FFMPEG，这种行为被称为“盗窃”，参与“盗窃”的公司则被请入耻辱厅，如于2009年上榜的国产播放器暴风影音、QQ影音。

" _0 K- E1 _& r" `关于FFMPEG的商业应用：与其他开源软件不同的是，FFMPEG所触及的多媒体编解码算法中有相当一部分处于大量的专利涵盖范围之内，因此，在商业软件中使用FFMPEG必须考虑可能造成的对专利所有者的权利侵犯，这一点在FFMPEG的官方网站也有所提及，所涉及的风险需使用者自行评估应对。

FFMPEG从功能上划分为几个模块，分别为核心工具（libutils）、媒体格式（libavformat）、编解码（libavcodec）、设备（libavdevice）和后处理（libavfilter, libswscale, libpostproc），分别负责提供公用的功能函数、实现多媒体文件的读包和写包、完成音视频的编解码、管理音视频设备的操作以及进行音视频后处理。
* \$ {6 H& _$ c4 y8 [) V3 f使用FFMPEG

这里指FFMPEG提供的命令行（CLI）工具ffmpeg，其使用方法如下（方括号表示可选项，花括号表示必选项目）：
$ j2 r( V% h. Q  Y/ ?- Q7 g& f. K) U
3 C% t' S. T$ `9 ^, D; {ffmpeg [global options] {[infile options]['-i' 'infile'] ...} {[outfile options] 'outfile' ...}

参数选项由三部分组成：可选的一组全局参数、一组或多组输入文件参数、一组或多组输出文件参数，其中，每组输入文件参数以‘-i’为结束标记；每组输出文件参数以输出文件名为结束标记。
, B- J* J$ l8 V# |! [6 ]# k" P6 H/ l基本选项
5 Q  B) Q  v5 w! {4 b) c+ Y& x
  s4 g: m3 @: j5 Y( G' b4 N能力集列表

    -formats：列出支持的文件格式。

    -codecs：列出支持的编解码器。
; j& v5 d  s9 i" e7 e1 a
- g# K4 k3 @. Z- u! |. ^! ^    -decoders：列出支持的解码器。
  }6 L: T" X4 K
    -encoders：列出支持的编码器。

    -protocols：列出支持的协议。

$ U* H/ i4 q- S/ q$ c4 r+ ~' A    -bsfs：列出支持的比特流过滤器。
$ P+ |8 k/ g" u  v
. C7 o- {: E" i/ o; N! H* f3 E5 F    -filters：列出支持的滤镜。

# q1 m: Z5 V4 O' U    -pix_fmts：列出支持的图像采样格式。
& Z6 j% ^* Z- z0 p. y+ t
    -sample_fmts：列出支持的声音采样格式。
0 g, J' w$ R& T; I) l
常用输入选项
5 z( _+ j" u- w7 J: q+ a9 }& J
0 b" ?8 z4 D. v! `$ H* j9 m    -i filename：指定输入文件名。
- l# N' z% ]0 w: n$ A( \2 a
    -f fmt：强制设定文件格式，需使用能力集列表中的名称（缺省是根据扩展名选择的）。
4 d5 a2 P0 U) B+ A* c. ~
4 {' B" u; i' ^2 j2 X( x    -ss hh:mm:ss[.xxx]：设定输入文件的起始时间点，启动后将跳转到此时间点然后开始读取数据。
8 ?) G  U/ P5 N' D4 k
0 M7 p6 V1 m$ a. R1 H3 |对于输入，以下选项通常是自动识别的，但也可以强制设定。

& }$ E; I. b9 ?' ^0 I. Q    -c codec：指定解码器，需使用能力集列表中的名称。
/ ?* Q3 h& Z/ x! s" ?' }4 W8 X
    -acodec codec：指定声音的解码器，需使用能力集列表中的名称。
' c2 N" N+ l7 q  R/ I
* Y: V/ y. X4 }0 @& A; y+ \    -vcodec codec：指定视频的解码器，需使用能力集列表中的名称。

    -b:v bitrate：设定视频流的比特率，整数，单位bps。
4 Z1 M1 z. g. O+ e4 W/ r& j
    -r fps：设定视频流的帧率，整数，单位fps。

    -s WxH : 设定视频的画面大小。也可以通过挂载画面缩放滤镜实现。

% _& v4 C8 C6 F% @7 j1 w: i- K# P    -pix_fmt format：设定视频流的图像格式（如RGB还是YUV）。

    -ar sample rate：设定音频流的采样率，整数，单位Hz。
/ h, }5 B& W/ C4 I+ H) T
0 N. ]& A6 z+ D6 k  y    -ab bitrate：设定音频流的比特率，整数，单位bps。

( K% U5 g/ S3 M' O/ E: K    -ac channels：设置音频流的声道数目。

. S- D5 f0 G9 p, v0 P9 w7 f; s常用输出选项

    -f fmt：强制设定文件格式，需使用能力集列表中的名称（缺省是根据扩展名选择的）。

    -c codec：指定编码器，需使用能力集列表中的名称（编码器设定为”copy“表示不进行编解码）。
- x8 t3 h& y& R
4 ]/ Q) o( I7 W    -acodec codec：指定声音的编码器，需使用能力集列表中的名称（编码器设定为”copy“表示不进行编解码）。
1 m. \4 |7 A# C0 E( n# u8 c
    -vcodec codec：指定视频的编码器，需使用能力集列表中的名称（编解码器设定为”copy“表示不进行编解码）。
$ E$ Q* Y" _  ~( U; S$ s0 Y! i
& ]) a1 w/ c6 Q* `: r4 K0 o    -r fps：设定视频编码器的帧率，整数，单位fps。
7 q' H8 ~1 G3 ~, W, a7 Z
- [/ [8 A4 X- a    -pix_fmt format：设置视频编码器使用的图像格式（如RGB还是YUV）。
! M4 n9 B! C  G2 U0 Q" z& V% D) ~
    -ar sample rate：设定音频编码器的采样率，整数，单位Hz。

    -b bitrate：设定音视频编码器输出的比特率，整数，单位bps。
& y9 j6 |6 _/ s4 a- M; W5 o3 @2 M
    -ab bitrate：设定音频编码器输出的比特率，整数，单位bps。
2 e5 @% S. J$ X3 g( R. ?; t  f
( v$ z# q/ F4 c3 l0 ?% g# Q5 |    -ac channels：设置音频编码器的声道数目。
3 N2 a; A, n- f) h8 E* v/ P
    -an 忽略任何音频流。

    -vn 忽略任何视频流。

9 t# T+ \! t# U1 A    -t hh:mm:ss[.xxx]：设定输出文件的时间长度。
9 i- U$ ^& l, [3 ~" d
    -to hh:mm:ss[.xxx]：如果没有设定输出文件的时间长度的画可以设定终止时间点。

流标识

8 ]" E' b$ U5 l& r% i# RFFMPEG的某些选项可以对一个特定的媒体流起作用，这种情况下需要在选项后面增加一个流标识。流标识允许以下几种格式：
! g" u4 |; m! @& D& |% G2 F7 B6 K
/ q8 o, Z/ _/ W6 x% N. z    流序号。譬如“:1”表示第二个流。

% V4 w9 o" n; ~6 P, r; ]    流类型。譬如“:a“表示音频流，流类型可以和流序号合并使用，譬如“:a:1”表示第二个音频流。

* P% [' Y2 M9 T; Q8 B! t, `    节目。节目和流序号可以合并使用。

    流标识。流标识是一个内部标识号。
- [3 r$ l0 l) ?. J  Q* d
# I3 t$ B) e' y' D/ t# T( g# v8 f假如要设定第二个音频流为copy，则需要指定-codec:a:1 copy
$ W% S, b6 H' x  z* a4 H# n音频选项

& n+ ^) Q7 e* C* {: ~    -aframes：等价于frames:a，输出选项，用于指定输出的音频帧数目。

    -aq：等价于q:a，老版本为qscale:a，用于设定音频质量。
# ?3 a0 E3 q: D2 B7 {4 B6 N) i
    -atag：等价于tag:a，用于设定音频流的标签。

    -af：等价于filter:a，用于设定一个声音的后处理过滤链，其参数为一个描述声音后处理链的字符串。
+ t+ \0 U# V( `7 P6 \
5 Z+ K- q7 s- \* K, r4 U, K视频选项

) x! V& M/ N! ], A% u* ]4 F% S7 ^" Z    -vframes：等价于frames:v，输出选项，用于指定输出的视频帧数目。

    -aspect：设置宽高比，如4:3、16:9、1.3333、1.7777等。
$ C2 M( J  ?$ S) S) R
; l& [( t, Y% F/ C    -bits_per_raw_sample：设置每个像素点的比特数。
" L8 J$ Q+ p. T# b# {4 \2 E* R% f
    -vstats：产生video统计信息。
  V3 ]9 r. t/ H  W( X$ Z7 P
    -vf：等价于filter:v，用于设定一个图像的后处理过滤链，其参数为一个描述图像后处理链的字符串。
$ K4 p% w! K) i* p
    -vtag：等价于tag:v，用于设定视频流的标签。
+ Y  t5 b1 u' ^, X1 B/ k
8 Q6 `& p7 ~  _# p+ y; ~    -force_fps：强制设定视频帧率。

- }, A" h, s% ?4 q& \6 N    -force_key_frames：显式控制关键帧的插入，参数为字符串，可以是一个时间戳，也可以是一个“expr:”前缀的表达式。如“-force_key_frames 0:05:00”、“-force_key_frames expr:gte(t,n_forced*5)”

- x1 N' j1 H: O! q7 s8 ~4 k. C滤镜选项
( V4 C1 R' F; }" l$ z# T高级选项
9 p- L) n0 y1 J# n1 J( ?) }* \
    -re：要求按照既定速率处理输入数据，这个速率即是输入文件的帧率。

    -map：指定输出文件的流映射关系。例如 “-map 1:0 -map 1:1”要求将第二个输入文件的第一个流和第二个流写入到输出文件。如果没有-map选项，ffmpeg采用缺省的映射关系。

用例

+ D1 l/ S) O# L; y7 g8 y0 P4 n9 ^1、将一个老式的avi文件转成mp4

ffmpeg -i final.avi -acodec copy -vcodec copy final.mp4

2、从一个视频文件中抽取一帧图像：
8 ~/ h' G: n5 X7 a, d8 A0 i3 W
ffmpeg -y -i test.mp4 -ss 00:03:22.000 -vframes 1 -an test.jpg

  ^4 f5 ~$ u% ], e4 y, E3

. v( G( T" a$ c- A" s& Offmpeg -i final.avi -vf scale=640:640 square.avi  
% V; \3 ]- i3 H: a1 t  C/ q
4、使用alsa接口录制一段音频存放到某个wav文件中
# i" o# a1 r1 L
ffmpeg -f alsa -i hw:0 -t 100 alsaout.wav
* H+ j4 [- _) l$ _3 H
5、使用alsa接口搭建一个个人网络电台
4 D- ^- Z" V. f, z8 M
) R9 v1 Z$ n% O; _8 c( pffmpeg -f alsa -i default -acodec aac -strict -2 -b:a 128k -r 44100 /var/www/data/main.m3u8
/ p& {" t) V3 Q7 |, @* E# G  u
5 x) T- ~" ?4 l" \6 c6、将一个mp4文件的音视频流实时转码之后发送给某个远程设备，远程设备可以通过http获取的sdp文件来接收rtp媒体数据。
- a6 [1 {! t+ H$ Q' G
ffmpeg -re -i example.mp4 -acodec copy -vcodec libx264 -s 480x270 -map 0:0 -f rtp rtp://10.131.202.62:1234 -map 0:1 -f rtp rtp://10.131.202.62:1238 > /var/www/live.sdp
- d6 e! |- R8 x  i" A/ x, x& ]8 P
6 \& P/ P  [+ N! @' @  j! `5 n编译和裁剪
* ?( \) L  D' ~5 ]
! K1 `4 e* Y) u- L! H: KFFMpeg与大部分GNU软件的编译方式类似，是通过configure脚本来实现编译前定制的。这种途径允许用户在编译前对软件进行裁剪，同时通过对宿主系统和目标系统的自动检测来筛选参与编译的模块并为其设定合适的配置。但是，FFMpeg的configure脚本并非如通常的GNU软件一样通过配置工具自动生成，而是完全由人工编写的。configure脚本生成的config.mak和config.h分别在Makefile和源代码的层次上实现编译的控制。
/ m% h+ n4 G6 R' k5 j
2 S1 O& c) L1 ]7 V9 }" u8 s1 \! A通过运行“./configure –help”可以了解到脚本支持的参数，这些参数大体分为下面几类：

    标准选项——GNU软件例行配置项目如安装路径等。例：–prefix=…,……
' q2 D' D4 r# Q+ ?0 Z
3 o: H, V5 G8 U    列出当前源代码支持的能力集，如编解码器，解复用器，输入输出设备，文件系统等。例：–list-decoders，–list-encoders，……
0 E8 J! d+ b$ A; |  J
2 Y5 _: [- Y2 A" i- O4 k0 l    授权选项：–enable-version3，–enable-gpl，–enable-nofree。代码的缺省授权是LGPL v2，如果要使用以LGPL v3、GPL授权的模块或者某些不遵循自有软件授权协议的模块，必须在运行configure时显式使能相应的选项。
# p; H  ~6 @/ O. ^$ X8 U; B
5 Y  ^3 x' o$ u+ w4 \1 b! `    编译、链接选项。例：–disable-static，–enable-shared，…… 缺省配置是生成静态库而不生成动态库，如果希望禁止静态库、生成动态库都需要显式指定。
5 r& D8 O/ v' J" a
% T  ?: b" n! A4 _) j/ o+ [    可执行程序控制选项，决定是否生成ffmpeg、ffplay、ffprobe和ffserver。

    模块控制选项，筛选参与编译的模块，包括整个库的筛选，例如：–disable-avdevice；一组模块的筛选，例如：–disable-decoders，单个模块的筛选，如：–disable-decoder=… 等。
% n! W9 ?' `3 H# S/ b0 G( ?& ]
    专家级选项，允许开发者进行深度定制，如交叉编译环境的配置、自定义编译器参数的设定、指令级优化、debug控制等。

& p; {4 Z5 x4 I6 q9 y6 D: d. j对于–disable、–enable类的控制选项，如果以–disable为前缀，则缺省是enable的，反之亦然。
7 l9 C0 j; C6 N4 P) Z: c' i
- w1 v8 C% K  q) h- m: A* f% a总之，无论从商业角度还是技术角度出发，使用configure脚本对FFMpeg进行裁剪是最安全的方式，只有针对于某些configure无法满足的定制要求，才需要考虑修改configure脚本——甚至修改configure生成的配置文件。
- @/ h0 O. H& m2 ]5 v7 ?
8 d$ ]- ~+ l. D1 G8 Q. K5 y& h以下是一个配置实例，实现运行与Android系统中的ffmpeg库的编译：

./configure --prefix=. --cross-prefix=$NDK_TOOLCHAIN_PREFIX --enable-cross-compile --arch=arm --target-os=linux --cpu=cortex-a8 \
3 L3 G, I$ C# p3 Q' y* [+ t# X--disable-static --enable-shared --enable-pic --disable-ffmpeg --disable-ffplay --disable-ffserver --disable-ffprobe \
--extra-cflags="-I$NDK_PLATFORM/usr/include" \
# i: {2 E# D8 g+ Q# D9 b, W--extra-ldflags="-nostdlib -Wl,-T,$NDK_PREBUILT/arm-linux-androideabi/lib/ldscripts/armelf_linux_eabi.x \
-L$NDK_PLATFORM/usr/lib \
, J1 B$ i' i" u% l( @" s1 d$NDK_PREBUILT/lib/gcc/arm-linux-androideabi/4.4.3/crtbegin.o $NDK_PREBUILT/lib/gcc/arm-linux-androideabi/4.4.3/crtend.o \
-lc -lm -ldl"
& N+ `- i4 z& F# y
6 x; g( _& _, u# P9 F  j: M4 W缺省的编译会生成4个可执行文件和9个库：可执行文件包括用于转码的ffmpeg、用于获取媒体信息的ffprobe、用于播放媒体的ffplay和用于推送媒体流的ffserver；库包括avutil、avformat、avcodec、avfilter、avdevice、swresample、swscale、postproc及avresample，其中，核心库有5个，分别为基础库avutil、文件格式及协议库avformat、编解码库avcodec、输入输出设备库avdevice和过滤器avfilter。