目录
介绍
应用布局
捕获相机反馈
相机反馈预览
完成相机预览配置
结论
总目录
将ONNX对象检测模型转换为iOS Core ML（一）
- 解码Core ML YOLO对象检测器（二）
- 使用数组操作解码YOLO Core ML对象检测（三）
- 使用解码逻辑创建YOLO Core ML对象检测器（四）
- 为iOS Vision盒子架构建Core ML管道（五）
- 使用实时摄像头预览的iOS对象检测（六）
- 使用YOLO Core ML模型构建对象检测iOS应用（七）
在这里，我们将开始在我们的iOS应用程序上工作。在此应用中实施对象检测之前，我们需要处理视频捕获。
- 下载iOS预览-64.1 KB
介绍
本系列假定您熟悉Python、Conda和ONNX，并且具有使用Xcode开发iOS应用程序的经验。我们将使用macOS 10.15 +、Xcode 11.7+和iOS 13+运行代码。
在iOS应用程序中处理实时摄像头可能有点让人不知所措。我们将尝试使事情变得尽可能简单，更多地关注代码的可读性而不是性能。另外，为了减少要考虑的缩放选项的数量，我们将使用固定的纵向方向。
本文的代码最初是受此应用程序启发的。
该演示应用程序是使用Xcode 11.7编写的，应该可以在iOS 7或更高版本，iOS 13或更高版本的任何iPhone上正常运行。
应用布局
从故事板的角度来看，我们的应用程序非常简单。它包含一个视图控制器，上面只有一个预览视图控件。我们将使用此视图作为实时摄像机馈送。
捕获相机反馈
负责处理摄像机输入和视频预览的所有代码都在Controllers/VideoCapture类中，它实现了AVCaptureVideoDataOutputSampleBufferDelegate。
以下成员存储其设置：
private let captureSession = AVCaptureSession()
private var videoPreviewLayer: AVCaptureVideoPreviewLayer! = nil
private let videoDataOutput = AVCaptureVideoDataOutput()
private let videoDataOutputQueue = DispatchQueue(label: "VideoDataOutput", qos: .userInitiated, attributes: [], autoreleaseFrequency: .workItem)
private var videoFrameSize: CGSize = .zero
由类构造函数调用的setupPreview方法将所有元素绑定在一起。
首先，它获得第一个可用的后置摄像头作为输入设备：
var deviceInput: AVCaptureDeviceInput!
let videoDevice = AVCaptureDevice.DiscoverySession(deviceTypes: [.builtInWideAngleCamera], mediaType: .video, position: .back).devices.first
do {
接下来，它开始配置过程，从相机强制640 x 480帧。对于我们的YOLO v2模型而言，这样的分辨率就足够了，因为它始终使用缩放为416 x 416像素的图像。请注意，由于固定的纵向方向，我们将48 x 640作为输入尺寸存储在videoFrameSize 变量中，以备将来使用：
captureSession.beginConfiguration()
captureSession.sessionPreset = .vga640x480
self.videoFrameSize = CGSize(width: 480, height: 640)
配置继续为要处理的帧建立单个元素队列（alwaysDiscardLateVideoFrames标志）。这意味着在完成当前帧的处理之前，后续帧将被丢弃。
captureSession.addInput(deviceInput)
if captureSession.canAddOutput(videoDataOutput) {
captureSession.addOutput(videoDataOutput)
videoDataOutput.alwaysDiscardsLateVideoFrames = true
videoDataOutput.videoSettings = [kCVPixelBufferPixelFormatTypeKey as String: Int(kCVPixelFormatType_420YpCbCr8BiPlanarFullRange)]
videoDataOutput.setSampleBufferDelegate(self, queue: videoDataOutputQueue)
} else {
print("Could not add video data output to the session")
captureSession.commitConfiguration()
return
}
let captureConnection = videoDataOutput.connection(with: .video)
captureConnection?.isEnabled = true
captureConnection?.videoOrientation = .portrait
captureSession.commitConfiguration()
固定的肖像方向将使处理和绘制对象检测的预测更加容易。
相机反馈预览
在接下来的步骤中，setup方法将创建一个videoPreviewLayer实例并将其作为子层添加到我们的应用程序视图中（如下viewLayer所示）：
self.videoPreviewLayer = AVCaptureVideoPreviewLayer(session: captureSession)
self.videoPreviewLayer.videoGravity = .resizeAspectFill
videoPreviewLayer.frame = viewLayer.bounds
viewLayer.addSublayer(videoPreviewLayer)
为videoGravity使用.resizeAspectFill值可确保视频填满整个可用屏幕。由于没有iPhone的屏幕比例等于1,33：1（由640 x 480分辨率推断），因此在纵向视图中，每一帧都将在两侧被裁剪。如果我们改用.resizeAspect，整个框架将是可见的，但在其上方和下方都带有空条。
完成相机预览配置
在VideoCapture类中，我们还需要三种方法：
public func captureOutput(_ output: AVCaptureOutput, didOutput sampleBuffer: CMSampleBuffer, from connection: AVCaptureConnection) {
// We will handle frame(s) here
}
public func captureOutput(_ captureOutput: AVCaptureOutput, didDrop didDropSampleBuffer: CMSampleBuffer, from connection: AVCaptureConnection) {
// Dropped frame(s) can be handled here
}
public func startCapture() {
if !captureSession.isRunning {
captureSession.startRunning()
}
}
前两种方法是必须的，因为它们在AVCaptureVideoDataOutputSampleBufferDelegate中定义，而我们的VideoCapture 类实现了它。现在，空的实现是可以的。我们需要最后一种方法，startCapture，开始处理视频反馈。
使用完整的VideoCapture实现从我们的Main.storyboard链接到cameraView，并用实例变量来存储所创建的VideoCapture实例，我们在主ViewController的viewDidLoad方法中创建一个新的VideoCapture实例：
self.videoCapture = VideoCapture(self.cameraView.layer)
self.videoCapture.startCapture()
结论
现在，我们有一个简单的iOS应用程序，该应用程序配置为捕获和预览实时摄像机流。在本系列的下一篇中，我们将扩展应用程序以使用我们的YOLO v2模型进行对象检测。
https://www.codeproject.com/Articles/5286804/iOS-Object-Detection-with-Live-Camera-Preview
