混流布局

功能介绍

混流指通过服务器，将同房间或不同房间的多路音视频流混合成一路流（即多个视频画面混合成一个视频画面，或是多路音频合成一路音频），并将混合流推送到CDN或进行云端录制。布局是指设定视频画面的大小、显示位置、叠放关系等。

通过RESTful API开启混流时，可通过 选择预设画面布局 或 自定义画面布局 方式，设置用户视频画面的大小、显示位置、水印、背景和SEI，实现最佳的画面显示效果。

• 选择预设画面布局：默认提供 5 种预设画面布局模板，任选一种来设定用户视频画面的大小和显示位置，预设布局方式包括 水平布局、垂直布局、平铺布局 、角落布局 和 5人水平布局。

• 自定义画面布局：按照实际需求，自定义用户视频画面的大小和显示位置，自由组合画面布局。

说明：

• 跨房间混流时，不支持使用预设画面布局。
• 如需定制其它布局模板，请联系与您对接的技术支持人员。

选择预设画面布局

实现方法

1. 通过RESTful API 调用 startrecord 启动任务，通过 mixconfig 参数，传入 templateid（预设布局模板）和 output （混流输出参数）的相应字段来选择预设布局，并支持设置画布水印（时间戳、文本或图片）、背景或 SEI 。

2. （可选）调用 updatemixrecord 并设置 mixconfig 参数，更改画面布局。

水平布局

首用户在上方显示大窗画面，其他用户在下方排列显示小窗画面，小窗画面悬浮于大窗画面之上。小窗最多两行，一行最多8个画面，最多支持1个大画面，16个小画面。

• 对于大画面，如果设置输出画面的宽高比与实际视频流的宽高比不一致，则输出会对实际视频流采用缩放不裁剪以保证画面的完整性。
• 对于小画面，如果输出画面的宽高比与实际视频流的宽高比不一致，则会对实际视频流采用裁剪以填满小画面。
• 如果某用户只发送音频，不会占据布局位。

布局效果如下：

垂直布局

首用户在左侧显示大窗画面，其他用户在右侧排列显示小窗画面，小窗最多两列，小视窗不会覆盖大视窗。一列最多8个画面，最多支持1个大画面，16个小画面。

• 对于大画面，如果设置输出画面的宽高比与实际视频流的宽高比不一致，则输出会对实际视频流采用缩放不裁剪以保证画面的完整性。
• 对于小画面，如果输出画面的宽高比与实际视频流的宽高比不一致，则会对实际视频流采用裁剪以填满小画面。
• 如果某用户只发送音频，不会占据布局位。

布局效果如下：

平铺布局

根据用户数量自动调整每个画面的大小，每个用户的画面大小一致，最多支持16个画面（4×4）。

• 如果输出画面的宽高比与实际视频流的宽高比不一致，输出画面会对实际视频流采用裁剪以填满画面。
• 如果某用户只发送音频，不会占据布局位。

布局效果如下：

角落布局

根据用户数量自动调整每个画面的大小，每个用户的画面大小一致，最多支持16个画面（4×4）。

• 如果输出画面的宽高比与实际视频流的宽高比不一致，输出画面会对实际视频流采用裁剪以填满画面。
• 如果某用户只发送音频，不会占据布局位。

布局效果如下：

5人水平布局

首用户在上方显示大窗画面，其他用户在下方排列显示小窗画面，最多支持4个小窗一共5个画面，小窗画面悬浮于大窗画面之上。目前仅支持一个固定布局，画布大小为1280*720，每个小窗大小为300*300，小窗与大窗边框距离16个像素点，小窗边框之间距离16个像素点。

• 对于大画面，如果设置输出画面的宽高比与实际视频流的宽高比不一致，则输出会对实际视频流采用缩放不裁剪以保证画面的完整性。
• 对于小画面，如果输出画面的宽高比与实际视频流的宽高比不一致，则会对实际视频流采用裁剪以填满小画面。
• 如果某用户只发送音频，不会占据布局位。

布局效果如下：

自定义画面布局

实现方法

1. 通过RESTful API 调用 startrecord 启动任务，通过 mixconfig 参数，传入 intput（自定义布局参数） 和 output（混流输出编码参数）自定义用户画面布局，并支持截取视频、设置画布水印（时间戳、文本或图片）、背景或SEI。

2. （可选）调用 updatemixrecord 并设置 mixconfig 参数，更改画面布局。

布局坐标体系

/ Canvas为画布，Video是单个用户输出画面

 |                   videowidth                  |
 |-----------------------------------------------|---
 | (0,0)                                         |
 |                                               |
 |                     (layoutX, layoutY)        |
 |                          |----layoutW-----|   |
 |                          |                |   |  videoheight
 |                  layoutH |                |   |
 |                          |    Video       |   |
 |  Canvas                  |                |   |
 |                          |----------------|   |
 |-----------------------------------------------|---

视频裁剪坐标体系

/ original为单个用户原视频画面，crop为截取的用户视频画面
 |---------------------------------------------|---
 | (0,0)                                       |
 |                                             |
 |                    (cropX,cropY)            |
 |                          |------cropW-----| |
 |                          |                | |
 |                    cropH |                | |
 |                          |     crop       | |
 |  original                |                | |
 |                          |----------------| |
 |---------------------------------------------|---