Alby's blog

一、概述

pyannote.audio 直接能够进行 Speaker Verification、Speaker Diarization 等任务，但尚未提供 Speaker Identification。 本文简述如何基于 pyannote.audio 进行 Speaker Identification。

一、概述

在有 CPU 和 GPU 参与的一种运算中，比如深度学习推理，CPU 需要预处理数据，然后交给 GPU 处理，最后 CPU 对 GPU 的运算结果进行后处理。
在整个过程中都是 FIFO，即数据 ABC 按顺序输入，也需要按 A’B’C’ 顺序输出。
如果采用同步阻塞的方式，在 CPU 预处理时 GPU 处于空闲状态，GPU 运算时 CPU 后处理处于空闲状态并且也不能进行后续数据的预处理。这样影响整体的吞吐。
期望是 GPU 运算时，CPU 可以同时进行数据预处理和后处理。这是典型的单生产者单消费者模式。

在两个线程之间传递数据时，为确保线程安全，可以在一个线程每次 malloc 或 new 申请内存，在另一个线程 free 或 delete。为了避免频繁的内存分配和释放，需要使用到内存池。

本文描述采用有界队列实现内存池，适用场景和限制：

1. 需要把内存使用控制在一定范围内。
2. 整个过程不允许丢弃数据。
3. 单生产者和单消费者。即不会(也不允许)同时生产，不会(也不允许)同时消费。如果确实要多线程生产或多线程消费，本代码并不适用。
4. 生产和消费之间线程安全。

一、准备工作

1、安装 node

1

brew install node

可以不预先安装 meson(ninjia), make 时会自动使用 pip 安装。故需确保安装了 python3 。

2、获取源码并安装 node 包

1
2
3
4

# 当前目录：/Users/alby/Workspace/OpenSource/Multimedia/versatica
git clone https://github.com/versatica/mediasoup
cd mediasoup
npm i

一、概述

Mediasoup 主要提供了 3 个库和 1 个 demo。

网络上对 mediasoup 的 Node.js 层——准确说是对官方的 mediasoup-demo 的源码分析比较多，对于 mediasoup-client 和 mediasoup-worker (之后简 worker) 等的源码详细分析相对较少。本人之前有将 GB28281 集成进 mediasoup 的想法并验证了可行性，以及使用 .Net 重新实现过 Node.js 层（含 mediasoup-client 和 mediasoup-demo），对 worker 的源码进行过比较粗略地浏览。最近基于想要弥补一些比较模糊的认知，并且 mediaoup 本身也在进化，故就再做了一次源码的梳理。

至于 mediasoup 是什么、能做什么、与其他 SFU 相较而言的优缺点、Demo 如何运行、为什么不用单一语言来实现等等讨论不是本系列关注的重点。

一、代理设置

1
2

export http_proxy=http://127.0.0.1:8001
export https_proxy=http://127.0.0.1:8001

export ALL_PROXY=socks5://127.0.0.1:1080 好像不行。另，没试过 export ALL_PROXY=http://127.0.0.1:8001。

一、概述

有如下两种情况的 Nginx 端口映射：一是比如将 8001-8010 这 10 个端口映射到本机的 18001-18010 这 10 个 HTTP/HTTPS 服务上；二是反过来，比如将 10080，18001-18010 这 11 个端口映射到本机的 80，8001-8010 这 11 个HTTP/HTTPS 服务上。

当然，对于 HTTP 服务，用 iptables 也是能够实现的。但是要做同一个域名下的批量端口的 SSL 反向代理的话，最直接的方式是在 nginx.conf 中写多个 server 配置块。这样会导致 nginx.conf 的内容过多。

如果批量端口如上面描述的那样有规律可循，则可以通过 server_port 变量来简化 nginx.conf。

一、概述

基于电视节目的特征，包括视觉特征、音频特征、文本特征、压缩域特征等，对新闻节目进行结构化分析，然后采用视频分割技术将连续的视频流分割为具有特定语义的多个小视频，这就是电视新闻拆条。经过拆条后的电视新闻节目，可以用于互动电视、OTT、互联网视频等多种应用场景，满足了新媒体行业对视听节目碎片化的要求。

如果仅有音频数据需对其拆条，就只能主要通过音频特征和通过语音识别出来的文本特征了。

拆条需求是能够拆节目，也能够拆节目里的片段。比如新闻联播和新闻联播里每一条新闻。对应命名为整档拆条和片段拆条。

一、概述

听说端到端语音识别工具包 WeNet 效果还不错，但在测试电脑上用 Docker 进行测试并不成功。在使用源码编译的过程中也遇见些问题，遂记录备忘。

一、概述

本文主要测试在 FFmpeg 命令中使用 silenceremove filter 进行音频静音的修剪。

一、概述

本文分析 FFmpeg af_silencedetect 的实现。