当前位置： 首页 > news >正文

Qt/C++开发监控GB28181系统/公网对讲/代码实现28181语音对讲/采集本地麦克风数据/支持udp和tcp模式

news 2025/9/14 8:26:56

一、前言说明

按照国标的文档，语音对讲这块，并没有强制要求支持公网对讲，所以当初设备厂家做的都是支持的udp对讲，而且按照国标协议要求，对讲是先发一个语音对讲广播到设备，设备收到后，主动发起对讲到服务端，和视频点播是反着来的，这样的话数据的传输模式只能设备控制，默认一般都是udp，也就是设备端打开udp端口，服务端主动往这个端口发送数据。这个机制在局域网没有问题的，但是在公网上，就存在严重的缺陷了，服务端的IP是固定的，设备端不是固定的，而且服务端也无法正常连到设备端，除非对讲的sdp中约定tcp主动模式，也就是服务端这边监听端口，设备端主动连接，然后在这个连接上发送语音数据，所以新的海康的设备，在28181设置的地方，有个TCP广播的开关，开启后，就表示采用tcp方式传输语音对讲数据。

大华的设备目前为止没有看到类似的机制，而是采用拓展的sip协议，和类似视频点播的模式一样，sdp中对应play关键字改成talk，这样的话语音对讲的方式也是和视频点播一样，就可以由服务端任意控制何种方式了，也就肯定支持公网对讲了，也不知道后续国标文档会不会也改成这个方法，不然目前都是没有统一，这就很难办。

语音对讲大致流程：

  • 1，发送语音广播Broadcast指令到设备。
  • 2，设备发送invite点播指令，里面带的sdp数据指定了何种方式哪个端口。
  • 3，服务端绑定或打开对应的端口，打开成功后，组织sdp数据通过sip指令发给设备。
  • 4，设备应答ack指令，服务端打开麦克风采集数据。
  • 5，数据默认是pcm格式的，转成pcma格式，rtp打包发出去。

特别说明：

  1. 打开通道视频，在视频控件悬浮条上单击语音对讲按钮开始对讲，再次单击关闭对讲，同一时刻只允许一个通道处于对讲状态。
  2. 先发送语音广播通知，通过MESSAGE指令，xml数据对应cmdtype=Broadcast，信息带上SourceID和TargetID。
  3. 设备端收到语音广播通知后，会主动发起INVITE点播请求到服务端，请求中带了sdp信息。
  4. 服务端解析sdp信息，应答点播请求，同样带上自己这边的sdp信息。
  5. 服务端绑定端口，根据sdp内容选择是被动接收还是主动发起连接到设备端。
  6. 设备端应答ack，开启语音对讲，服务端采集语音pcm数据，转成pcma，再通过rtp打包发给对应设备端口。
  7. 默认设备支持的是局域网对讲，如果要公网对讲，需要支持tcp主动模式，也就是设备主动连接服务端，然后服务端对对应的连接发送语音数据。
  8. 测试发现海康大华的设备，音频播放那边要设置成g711a，才能正常播放语音。查阅了下资料，好像如果要支持28181语音对讲，必须设置成这个，其他28181平台也是这个规范。
  9. 海康的语音对讲默认是udp模式，如果要支持广域网对讲，也就是让设备端主动连接服务端，让后语音通信，必须要新版的设备才支持，后台28181设置的地方有个启用tcp广播，这个开关必须开启。
  10. 大华的语音对讲如果要支持公网，必须采用非国标的sip交互，详情见 https://zhuanlan.zhihu.com/p/649434585 。

二、效果图

Snipaste_2025-09-14_08-16-39

三、相关地址

  1. 国内站点：https://gitee.com/feiyangqingyun
  2. 国际站点：https://github.com/feiyangqingyun
  3. 个人作品：https://blog.csdn.net/feiyangqingyun/article/details/97565652
  4. 文件地址：https://pan.baidu.com/s/1d7TH_GEYl5nOecuNlWJJ7g 提取码：01jf 文件名：bin_video_gb28181。

四、功能特点

  1. 支持设备注册、注销、心跳、校时、注册认证、注销认证等。
  2. 设备上线后可以手动获取设备状态、设备信息、配置信息、预置位信息等。
  3. 设备上线后自动获取设备通道信息，包括中文通道名称。识别到通道上线离线变化，会重新获取该设备的所有通道信息。
  4. 支持视频点播，可以分别点播主码流和子码流，内置rtp解包线程，解包后发给视频播放组件解码播放。
  5. 每个设备每个通道支持点播多个视频，通过ssrc区分，支持共用端口和不同端口收流。
  6. 支持对某个设备下面所有通道、某个通道、某个通道对应的某个流分别关闭。
  7. 支持录像文件查询和回放，回放控制支持暂停播放、继续播放、倍速播放、切换播放进度。
  8. 支持录像文件下载，支持倍速比如8倍速下载，可同时多线程批量下载。
  9. 回放和下载同时支持IPC和NVR，比如摄像头自带的SD存储卡录像文件回放，NVR上的硬盘录像文件回放。
  10. 支持云台控制，向上、向下、向左、向右、左上、右上、左下、右下方位移动，镜头放大缩小，光圈放大缩小，镜头聚焦放焦。
  11. 支持预置位信息的查询、调用、添加、修改、删除等操作。
  12. 自动目录订阅功能，通道上线下线都有对应的信号通知。
  13. 内置定时读取通道信息机制，以保证通道信息是最新的，比如有些NVR是不断更新的通道信息。
  14. 内置订阅警情和位置移动功能，订阅后各种警情事件比如运动目标检测报警、入侵检测报警、徘徊检测报警等自动上报。
  15. 支持语音对讲功能，可以直接在视频窗体的悬浮条上单击语音对讲按钮，再次单击关闭对讲，对讲期间悬浮条常驻显示。
  16. 支持设备布防撤防，布防后警情信息会主动上报。
  17. 国标服务同时支持udp和tcp方式，可选只监听一种或者两种都监听，tcp方式自动处理粘包问题。
  18. 国标拉流同时支持udp、tcp被动、tcp主动三种方式，每个通道都可以自由选择何种拉流方式。
  19. 内置拉流端口池，每次拉流从中取出一个，关闭流自动回收端口号，重复利用。
  20. 收流端口自动纠错，自动跳过被占用的端口，不会出现端口占用导致收流失败的情况。
  21. 支持三种取流方式自动检测离线重连，检测到离线后，自动重启点播拉流整个流程。
  22. 录像文件回放，上一个完成后自动切换到下一个继续回放，直到所有回放完成。支持高达8倍速回放。
  23. 视频播放自适应硬解码，极低资源占用，实时性极好，带悬浮条显示视频流信息，可以直接在悬浮条单击按钮保存录像文件到本地。
  24. 支持几千路国标消息交互并发，实时视频流支持64路同时显示，可以拓展更多路数。
  25. 支持阿里云等云服务器，可以分别设置内网监听地址和外网访问地址，一般云服务器上是监听地址用内网，对外访问用外网地址。
  26. 支持视频分发，也就是推流，视频通道打开后可以自动推流到流媒体服务器，其他需要的地方拉流即可，支持rtsp、rtmp、hls、webrtc等方式拉流。
  27. 支持注册重定向，方便做负载均衡和区域化部署，这样可以支持几十万个设备连接都没问题。
  28. 支持图像抓拍，可以设置抓拍最多10张图片，可设置抓拍间隔，抓拍到的图片会通过信号通知。
  29. 实时预览和录像回放都支持推流，推流支持叠加文字和图片水印以及各种ffmpeg支持的滤镜效果，支持多个水印同时叠加。
  30. 同时支持gb28181-2011、gb28181-2016、gb28181-2022以及后续可能的所有协议版本。
  31. SIP解析和交互采用纯Qt底层代码实现，udp/tcp通信交互，祖传原创代码解析，不依赖任何第三方。
  32. 代码量少，gb28181交互部分共几千行代码，注释详细，接口友好，使用极其简单，提供非常详细的使用示例。
  33. 支持海康、大华、宇视、华为、天地伟业等所有国标设备，包括一些没有ssrc的设备。
  34. 支持所有Qt版本和编译器以及操作系统，包括但不限于win、linux、mac、android、嵌入式linux、树莓派香橙派、国产os等。

五、相关代码

//语音广播：服务端-》设备端
MESSAGE sip:34020000001320000001@192.168.0.100:5061 SIP/2.0
Via: SIP/2.0/UDP 192.168.0.110:15060;branch=z3hG9bK9085c93b7778426c805f0f000f31e2b6
From: <sip:34020000002000000001@192.168.0.110:15060>;tag=1017
To: <sip:34020000001320000001@192.168.0.100:5061>
Call-ID: 3a10b0f450f0499a95c61c3948522546
CSeq: 18 MESSAGE
User-Agent: wx_feiyangqingyun
Max-Forwards: 70
Content-Length: 200
Content-Type: application/MANSCDP+xml
Contact: <sip:34020000002000000001@192.168.0.110:15060><?xml version="1.0" encoding="GB2312"?>
<Notify><CmdType>Broadcast</CmdType><SN>10017</SN><SourceID>34020000002000000001</SourceID><TargetID>34020000001310000001</TargetID>
</Notify>//广播应答：设备端-》服务端
MESSAGE sip:34020000002000000001@192.168.0.110:15060 SIP/2.0
Call-ID: e78acda839fea196d5a4867db0ffe585
Content-Length: 180
Content-Type: Application/MANSCDP+xml
CSeq: 8 MESSAGE
From: <sip:34020000001320000001@192.168.0.100:5061>;tag=49b96ab2783ae380cd1f39848c0cf0de
Max-Forwards: 70
To: <sip:34020000002000000001@192.168.0.110:15060>
User-Agent: SIP UAS V.2016.xxxx
Via: SIP/2.0/UDP 192.168.0.100:5061;rport;branch=z9hG4bK09c5c9872f1eaeeb2f753672bbcac574<?xml version="1.0" encoding="GB2312" standalone="yes" ?><Response><CmdType>Broadcast</CmdType><SN>10017</SN><DeviceID>34020000001310000001</DeviceID><Result>OK</Result></Response>//对讲请求：设备端-》服务端
INVITE sip:34020000002000000001@192.168.0.110:15060 SIP/2.0
Call-ID: fd514e34c2a7e40940437ac0272afd44
Contact: <sip:34020000001320000001@192.168.0.100:5061>
Content-Length: 240
Content-Type: application/sdp
CSeq: 1 INVITE
Expires: 120
From: <sip:34020000001320000001@192.168.0.100:5061>;tag=44088339578db934ef88a6a85534964b
Max-Forwards: 70
Subject: 34020000002000000001:03d7a8ef3276a8ef327,34020000001310000001:0552354c54f3354c54f
To: <sip:34020000002000000001@192.168.0.110:15060>
User-Agent: SIP UAS V.2016.xxxx
Via: SIP/2.0/UDP 192.168.0.100:5061;rport;branch=z9hG4bK57f191fc39457eb7ed729b95c4f8a7bfv=0
o=34020000001320000001 0 0 IN IP4 192.168.0.100
s=Play
i=VCam BroadCast Session
c=IN IP4 192.168.0.100
t=0 0
m=audio 9776 RTP/AVP 8 96
a=recvonly
a=rtpmap:8 PCMA/8000/1
a=rtpmap:96 PS/90000
y=0022440333
f=v/0/0/0/0/0a/1/8/1//请求应答：服务端-》设备端
SIP/2.0 200 OK
Via: SIP/2.0/UDP 192.168.0.100:5061;rport;branch=z9hG4bK57f191fc39457eb7ed729b95c4f8a7bf
From: <sip:34020000001320000001@192.168.0.100:5061>;tag=44088339578db934ef88a6a85534964b
To: <sip:34020000002000000001@192.168.0.110:15060>;tag=fd514e34c2a7e40940437ac0272afd44
Call-ID: fd514e34c2a7e40940437ac0272afd44
CSeq: 1 INVITE
User-Agent: wx_feiyangqingyun
Date: 2025-05-05T17:12:49.401
Content-Length: 166
Content-Type: application/sdpv=0
o=34020000002000000001 0 0 IN IP4 192.168.0.110
s=Play
c=IN IP4 192.168.0.110
t=0 0
m=audio 15060 RTP/AVP 8
a=sendonly
a=rtpmap:8 PCMA/8000
y=0022440333//开始对讲：设备端-》服务端
ACK sip:34020000002000000001@192.168.0.110:15060 SIP/2.0
Call-ID: 2136e2263aa41b1c846a318586303f8e
Contact: <sip:34020000001320000001@192.168.0.100:5061>
Content-Length: 0
CSeq: 1 ACK
From: <sip:34020000001320000001@192.168.0.100:5061>;tag=9cc9d4a2600e325f8fd545d2bd753e84
Max-Forwards: 70
To: <sip:34020000002000000001@192.168.0.110:15060>;tag=2136e2263aa41b1c846a318586303f8e
User-Agent: SIP UAS V.2016.xxxx
Via: SIP/2.0/UDP 192.168.0.100:5061;rport;branch=z9hG4bKd8aa8116cdee11c14a382f1fa6e5693e//结束对讲：服务端-》设备端
BYE sip:34020000002000000001@192.168.0.110:15060 SIP/2.0
Via: SIP/2.0/UDP 192.168.0.110:15060;branch=z3hG9bKd2ed4e36330b418d80fa0873c72732f9
From: <sip:34020000002000000001@192.168.0.110:15060>;tag=fd514e34c2a7e40940437ac0272afd44
To: <sip:34020000001320000001@192.168.0.100:5061>;tag=44088339578db934ef88a6a85534964b
Call-ID: fd514e34c2a7e40940437ac0272afd44
CSeq: 19 BYE
Contact: <sip:34020000002000000001@192.168.0.110:15060>//下面是tcp方式的/在对应的sdp文件的m=audio行有区别
//对讲请求：设备端-》服务端
NVITE sip:34020000002000000001@192.168.0.110:15060 SIP/2.0
Via: SIP/2.0/TCP 192.168.0.65:57527;rport;branch=z9hG4bK1273429191
From: <sip:34020000001320000099@192.168.0.65:5060>;tag=1812579261
To: <sip:34020000002000000001@192.168.0.110:15060>
Call-ID: 696755539
CSeq: 20 INVITE
Contact: <sip:34020000001320000099@192.168.0.65:57527;transport=TCP>
Content-Type: application/sdp
Max-Forwards: 70
User-Agent: IP Camera
Subject: 34020000002000000001:1,34020000001320000099:2
Content-Length:   250v=0
o=34020000001320000099 601 601 IN IP4 192.168.0.65
s=Play
c=IN IP4 192.168.0.65
t=0 0
m=audio 15066 TCP/RTP/AVP 8 96
a=setup:active
a=connection:new
a=recvonly
a=rtpmap:8 PCMA/8000
a=rtpmap:96 PS/90000
y=0200000017
f=v/////a/1/8/1//对讲应答：服务端-》设备端
SIP/2.0 200 OK
Via: SIP/2.0/TCP 192.168.0.65:57527;rport=57527;received=192.168.0.65;branch=z9hG4bK1273429191
From: <sip:34020000001320000099@192.168.0.65:5060>;tag=1812579261
To: <sip:34020000002000000001@192.168.0.110:15060>;tag=864237224
CSeq: 20 INVITE
Call-ID: 696755539
Contact: <sip:34020000002000000001@192.168.0.110:15060>
Content-Length: 226
Content-Type: APPLICATION/SDPv=0
o=34020000002000000001 601 601 IN IP4 192.168.0.110
s=Play
c=IN IP4 192.168.0.110
t=0 0
m=audio 30004 TCP/RTP/AVP 8
a=sendonly
a=rtpmap:8 PCMA/8000
a=setup:passive
a=connection:new
y=0200000017
f=v/////a/1/8/1
http://www.wxhsa.cn/company.asp?id=3287

相关文章：

  • P3195 [HNOI2008] 玩具装箱 （斜率优化）
  • DBeaver使用指南
  • sh-2025模拟赛
  • C++ day7 - 指南
  • 读人形机器人11娱乐领域
  • Java 注解机制全解析：原理、用途与框架中的实战
  • 模板集
  • 暑假
  • 做题记录
  • 课程助教工作总结
  • 6G 驱动的智慧城市新格局
  • SHA-1 证书淘汰警告：网站管理员需紧急验证TLS安全性
  • 数字孪生在制造业中的应用
  • device第一周个人作业
  • Java 在移动开发与跨平台应用中的应用
  • 5G 技术与远程教育
  • 5G 技术在工业互联网的应用
  • 一键部署ftp脚本
  • PySimpleGUI安装4.60.5老版本安装教程！
  • PySimpleGUI－免注册版本
  • 高三闲话 #1
  • 三大免费CDN推荐：安全防护强、稳定性卓越、加载飞速，长期使用超安心
  • PySimpleGUI 开始注册了，怎样能免注册使用早期版本？
  • 全屏与退出全屏功能
  • 二十多年.NET老兵重返技术博客
  • 5月杂题
  • uv，下一代Python包管理工具
  • 阅读 |《虚空》观后感以及一些想法——万物简史
  • Python进阶必看：深入解析yield的强大功能
  • polyglot，一个有趣的 Python 库！