Android14 屏幕录制(屏幕投影)和音频播放采集

  Android 5开始支持屏幕采集,  Android 10支持音频播放采集，不过Android 14用前台服务做屏幕录制时要增加一些处理.

  1. app manifest 需要增加:

<manifest>
    <uses-permission android:name="android.permission.FOREGROUND_SERVICE" />
    <uses-permission android:name="android.permission.FOREGROUND_SERVICE_MEDIA_PROJECTION" />
    <application android:resizeableActivity="true">
        <service
            android:name="xxx.yyy.MyTestService"
            android:foregroundServiceType="mediaProjection"
            android:exported="false">
        </service>
    </application>
</manifest>

  2.需要用户先授权投影权限(投影 token), 然后在前台服务中调用:

startForeground(id, notification, ServiceInfo.FOREGROUND_SERVICE_TYPE_MEDIA_PROJECTION);

  3. 在前台服务中调用MediaProjectionManager.getMediaProjection之前, 需要先调用上面的代码。

  4. 用户授权的投影token只能使用一次，就是说只能拿来调用MediaProjectionManager.getMediaProjection一次，也只能调用MediaProjection.createVirtualDisplay一次.

  音频播放采集从 Android 10就有了，需要 RECORD_AUDIO 权限和MediaProjection对象. 音频播放采集是依赖屏幕投影的，如果屏幕投影关闭了，音频播放也就采不到了.

  具体实现时用到的Android接口不多，不过遇到的各种问题很磨人，为方便项目使用，对实现代码做了封装，支持屏幕采集、音频播放和麦克风采集，同时能输出RTMP流和RTSP流，也支持写录像文件(MP4文件), 接口如下：

/*
* Copyright (C) [e-mail]. All rights reserved. 
* 问题沟通微信: ldxevt
*/
 
public interface NTStreamMediaEngine {
    void register_callback(Callback callback);
 
    void unregister_callback(Callback callback);
 
    void set_resolution_level(int level);
 
    int get_resolution_level();
 
    /*
    * 启动媒体投影
     */
    boolean start_video_capture(int token_code, android.content.Intent token_data);
 
    boolean is_video_capture_running();
 
    void stop_video_capture();
 
    /*
    * 启动麦克风
     */
    boolean start_audio_record(int sample_rate, int channels);
 
    boolean is_audio_record_running();
 
    void stop_audio_record();
 
    /*
     *  Android 10及以上支持, Android10以下设备调用直接返回false
     *  需要有RECORD_AUDIO权限
     *  要开启媒体投影
     */
    boolean start_audio_playback_capture(int sample_rate, int channels);
 
    boolean is_audio_playback_capture_running();
 
    void stop_audio_playback_capture();
 
    /*
     * 输出的音频类型
     *  0: 不输出音频
     *  1: 输出麦克风
     *  2: 输出audio playback(Android 10及以上支持)
     */
    boolean set_audio_output_type(int type);
 
    int get_audio_output_type();
 
    void set_fps(int fps);
 
    void set_gop(int gop);
 
    boolean set_video_encoder_type(int video_encoder_type);
 
    int get_video_encoder_type();
 
    /*
    * 推送RTMP
     */
    boolean start_rtmp_stream(String url);
 
    boolean is_rtmp_stream_running();
 
    String get_rtmp_stream_url();
 
    void stop_rtmp_stream();
 
    /*
    * 启动RTSP Server, 需要设置端口，用户名和密码可选
     */
    boolean start_rtsp_server(int port, String user_name, String password);
 
    boolean is_rtsp_server_running();
 
    void stop_rtsp_server();
 
    /*
    * 发布RTSP流
     */
    boolean start_rtsp_stream(String stream_name);
 
    boolean is_rtsp_stream_running();
 
    String get_rtsp_stream_url();
 
    void stop_rtsp_stream();
 
    /*
    * 启动本地录像
     */
    boolean start_stream_record(String record_directory, int file_max_size);
 
    boolean is_stream_recording();
 
    void stop_stream_record();
 
    boolean is_stream_running();
 
    interface Callback {
        void on_nt_video_capture_stop();
        void on_nt_rtsp_stream_url(String url);
    }
}

  安卓Demo测试界面:

  Windows播放效果截图:

  测试时先开启安卓屏幕录制Demo, 在电脑上开个计数器，再打开安卓相机拍摄屏幕上的计数器，录制程序采集安卓相机预览界面，并输出RTMP流和RTSP流,  电脑上播放这两个流并截图, 就可以看延时了，测下来延时很低(安卓后置摄像头拍摄到预览也有延时)。