VideoCaptureStreamRT is stuck when reading streams

[QZL12138]

import cv2
import ffmpegcv
from ultralytics import YOLO

model = YOLO("yolo11n.pt")
STREAM_URL = "rtmp://192.168.1.100/live/test"
with ffmpegcv.ReadLiveLast(ffmpegcv.VideoCaptureStreamRT,
                           stream_url=STREAM_URL,
                           gpu=0,
                           resize=(1280, 720),
                           timeout=10,
                           resize_keepratio=False,
                           ) as cap:
    for frame in cap:  # After running for a long time, it will get stuck here. If it doesn't enter the "for" section, it will keep getting stuck here
        results = model(frame, stream=True)
        for result in results:
            annotated_frame = result.plot()
            cv2.imshow("YOLO Inference", annotated_frame)
            if cv2.waitKey(1) & 0xFF == ord('q'):
                break

In the project, I used VideoCaptureStreamRT to pull the RTSP stream from the camera. After running for some time, I found that the program did not enter the for loop normally

[QZL12138]

 with ffmpegcv.ReadLiveLast(ffmpegcv.VideoCaptureStreamRT,
                                           stream_url=params.source,
                                           gpu=0,
                                           resize=(1280, 720),
                                           timeout=10,
                                           resize_keepratio=False,
                                           ) as cap:

                    logger.info(f"视频流信息: {cap.width}x{cap.height}@{cap.fps}fps")

The frame rates obtained by the same RTSP stream in VLC are inconsistent. The frame rate of my RTSP stream is 30FPS, but why is it 60FPS obtained in the code

[chenxinfeng4]

你给的错误反馈很清晰。这应该是视频流帧率获取出问题，推测是调用 ffprobe 读取RTMP流的meta信息有误。我只测试过RTSP，没测试过RTMP。

请你在 CMD 输入下面命令，查看返回结果。应该返回1440x1080分辨率，30FPS。如果不是，则确认是 ffprobe 读取RTMP的问题。

ffprobe -v quiet -print_format json=compact=1  -analyzeduration 100000 -select_streams v:0 -show_format -show_streams "rtmp://192.168.1.100/live/test"

[chenxinfeng4]

你的反馈意见对代码改进很宝贵。我手上没有 RTMP 的测试样例，还麻烦你反馈。

[QZL12138]

我使用ffmpeg将同一个mp4视频转成 rtmp和rtsp 方便使用您提供的命令 和VLC查看视频信息结果如下
我的rtsp推流命令: ffmpeg -re -i "123.mp4" -vcodec h264 -acodec aac -f rtsp -rtsp_transport tcp rtsp://127.0.0.1:554/live/test

我的rtmp推流命令:ffmpeg -re -i "123.mp4" -vcodec h264 -acodec aac -f flv rtmp://127.0.0.1:1935/live/test

[chenxinfeng4]

OK，你使用 rtsp://127.0.0.1:554/live/test 这个地址，用 这个代码试试。删掉GPU的配置和resize

vid = ffmpegcv.ReadLiveLast(ffmpegcv.VideoCaptureStreamRT,
                           stream_url=STREAM_URL,
                           timeout=10,
                           )
print(vid)
# for loop reading vid frame

[QZL12138]

[chenxinfeng4]

啊，怎么会这样。ffprobe get的信息没有问题，那么就是ffmpegcv 解析ffprobe 过程出问题。你再试试这个？？如果出问题，请帮忙定位具体的原因。

import subprocess
from collections import namedtuple
import json
import shlex


def get_info(stream_url, timeout=None, duration_ms: int = 100):
    rtsp_opt = '' if not stream_url.startswith('rtsp://') else '-rtsp_flags prefer_tcp -pkt_size 736 '
    analyze_duration = f'-analyzeduration {duration_ms * 1000}'
    cmd = (f'ffprobe -v quiet -print_format json=compact=1 {rtsp_opt} {analyze_duration} '
           f'-select_streams v:0 -show_format -show_streams "{stream_url}"')
    output = subprocess.check_output(shlex.split(cmd), shell=False, timeout=timeout)
    data: dict = json.loads(output)
    vinfo: dict = data['streams'][0]

    StreamInfo = namedtuple(
        "StreamInfo", ["width", "height", "fps", "count", "codec", "duration"]
    )
    outinfo = dict()
    outinfo["width"] = int(vinfo["width"])
    outinfo["height"] = int(vinfo["height"])
    outinfo["fps"] = eval(vinfo["r_frame_rate"])
    outinfo["count"] = None
    outinfo["codec"] = vinfo["codec_name"]
    outinfo["duration"] = None
    streaminfo = StreamInfo(**outinfo)

    return streaminfo

print(get_info(stream_url =STREAM_URL, duration_ms = 100))

[QZL12138]

r_frame_rate：表示流头部声明的理论帧率（可能不准确）应该使用 avg_frame_rate：实际通过总帧数/总时长计算的真实平均帧率

[chenxinfeng4]

谢谢你帮忙找到了原因。你可以在手动修改 ffmpegcv/stream_info.py 里面的相关代码，重启 python 进程生效。然后检查 vid read 是否正常

In [4]: import ffmpegcv.stream_info

In [5]: ffmpegcv.stream_info
Out[5]: <module 'ffmpegcv.stream_info' from '/home/liying_lab/chenxinfeng/ml-project/ffmpegcv/ffmpegcv/stream_info.py'>

[chenxinfeng4]

你的 r_frame_rate 和 avg_frame_rate 都是 "30/1"，为什么会出来 60 ？能找找具体 get_info 代码原因吗？

[QZL12138]

好的，不过现在有一个比较麻烦的问题 就是我的第一个问题他会卡在某一帧不动了

我的程序现在是通过ffmpegcv gpu 进行rtsp拉流 YOLO推理 ffmpeg pipe 推流 但是运行一段时间后 我看进程 ffmpegcv 创建的ffmpeg拉流进程是在运行的 但是似乎没有返回正确的帧 导致程序一直在等待

with ffmpegcv.ReadLiveLast(ffmpegcv.VideoCaptureStreamRT,
                                          stream_url=params.source,
                                          gpu=0,
                                          resize=(1280, 720),
                                          timeout=10,
                                          resize_keepratio=False,
                                          ) as cap:

                   logger.info(f"视频流信息: {cap.width}x{cap.height}@{cap.fps}fps")
                   detector.set_video_info(cap.width, cap.height, cap.fps)
                   detector.initialize_model(model_path)
                   _update_status("init", "初始化")

                   # 创建新的推流管道
                   current_pipe = create_ffmpeg_pipe(
                       cap.width,
                       cap.height,
                       cap.fps,
                       config.get_live_zlm_url().format(params.task_id)
                   )
                   logger.info("成功创建新的推流管道")

                   _update_status("running", "运行中")

                   for frame in cap:  #一直在这里等待

                       if stop_event.is_set():
                           raise KeyboardInterrupt("手动停止")

                       # 处理帧数据
                       results = detector.model(
                           frame,
                           stream=True,
                           conf=params.conf,
                           classes=params.classes or None,
                           device="cuda:0",
                           half=True,
                           verbose=False,
                       )

                       for result in results:
                           annotated_frame, detections = detector.process_result(result)

                           # 推流处理
                           try:
                               current_pipe.stdin.write(annotated_frame.tobytes())
                           except BrokenPipeError:
                               logger.error("推流管道中断，触发重试")
                               raise

[chenxinfeng4]

根据你的回复。你可能需要从最简单的代码入手debug。

• 先不要使用ffmpegcv 的 GPU。因为NVIDIA 的decoder有上限，可能会干扰。
• 先不要用 resize, ReadLiveLast 等ffmpegcv 高级选项。

先测试这个代码是否可以稳定运行。然后一点点加参数。

vid = ffmpegcv.VideoCaptureStreamRT(stream_url=params.source)
for _ in tqdm.trange(10000000):
    ret, frame = vid.read()
    if not ret: break

[QZL12138]

根据你的回复。你可能需要从最简单的代码入手debug。

• 先不要使用ffmpegcv 的 GPU。因为NVIDIA 的decoder有上限，可能会干扰。
• 先不要用 resize, ReadLiveLast 等ffmpegcv 高级选项。

先测试这个代码是否可以稳定运行。然后一点点加参数。

vid = ffmpegcv.VideoCaptureStreamRT(stream_url=params.source)
for _ in tqdm.trange(10000000):
ret, frame = vid.read()
if not ret: break

我的rtsp流为2k分辨率，所以我不得不使用高级选项来缩小分辨率，但我在1080分辨率下不使用缩放等高级选项 他还是运行一段时间后 程序不动了，ffmpeg也没释放，我查看源码是不是从队列中获取针需要加一个超时时间，防止程序无止境的等待？

[chenxinfeng4]

我在实验室场景下，参数稳定，能够稳定测 30 分钟，1-2小时。都没有问题。也有用户反馈了 在正式场景中，IP CAM 视频流可能会有些动态参数变化的时候（白天、黑夜切换），或者网络波动，导致 ffmpegcv 崩溃。目前还没有很好的办法。你可能需要锁定错误的来源。

你说的加入超时是一个很好的建议。你可以手动改一版，测试一下，提交PR。我当前没有很好的测试环境。

[chenxinfeng4]

帧率的问题，我已经根据你的建议解决了。你可以更新这个版本试试。PYPI的我推测一段时间再释放。

pip install -U https://github.com/chenxinfeng4/ffmpegcv.git