目标

      GStreamer有一系列把音频转换成视频的element。他们可以用于科学的目的或者增加音乐播放器的趣味性。本教程展示：

      如何允许音频的可视化

      如何选择可视化element


介绍

      在playbin2里面运行音频可视化是非常容易的。当遇到一个只有音频的流时，只需要正确地设置playbin2的一些标志就行了。它会自己创建必要的element然后显示的。

      如果你想要增加实际的element的趣味性，你要自己实例化它然后通过vis-plug属性来告诉playbin2。

      本教程GStreamer注册的所有关于可视化的element，选择了goom并传给了playbin2


一个有趣的音乐播放器




[objc] ​​view plain​ ​ ​​copy​​



  2. <span style="font-size:14px;">#include <gst/gst.h>  
  3.     
  4. /* playbin2 flags */  
  5. typedef enum {  
  6.   GST_PLAY_FLAG_VIS           = (1 << 3) /* Enable rendering of visualizations when there is no video stream. */  
  7. } GstPlayFlags;  
  8.     
  9. /* Return TRUE if this is a Visualization element */  
  10. static gboolean filter_vis_features (GstPluginFeature *feature, gpointer data) {  
  11.   GstElementFactory *factory;  
  12.     
  13.   if (!GST_IS_ELEMENT_FACTORY (feature))  
  14.     return FALSE;  
  15.   factory = GST_ELEMENT_FACTORY (feature);  
  16.   if (!g_strrstr (gst_element_factory_get_klass (factory), "Visualization"))  
  17.     return FALSE;  
  18.     
  19.   return TRUE;  
  20. }  
  21.     
  22. int main(int argc, charchar *argv[]) {  
  23.   GstElement *pipeline, *vis_plugin;  
  24.   GstBus *bus;  
  25.   GstMessage *msg;  
  26.   GList *list, *walk;  
  27.   GstElementFactory *selected_factory = NULL;  
  28.   guint flags;  
  29.     
  30.   /* Initialize GStreamer */  
  31.   gst_init (&argc, &argv);  
  32.     
  33.   /* Get a list of all visualization plugins */  
  34.   list = gst_registry_feature_filter (gst_registry_get_default (), filter_vis_features, FALSE, NULL);  
  35.     
  36.   /* Print their names */  
  37.   g_print("Available visualization plugins:\n");  
  38.   for (walk = list; walk != NULL; walk = g_list_next (walk)) {  
  39.     const gchar *name;  
  40.     GstElementFactory *factory;  
  41.       
  42.     factory = GST_ELEMENT_FACTORY (walk->data);  
  43.     name = gst_element_factory_get_longname (factory);  
  44.     g_print("  %s\n", name);  
  45.       
  46.     if (selected_factory == NULL || g_str_has_prefix (name, "GOOM")) {  
  47.       selected_factory = factory;  
  48.     }  
  49.   }  
  50.     
  51.   /* Don't use the factory if it's still empty */  
  52.   /* e.g. no visualization plugins found */  
  53.   if (!selected_factory) {  
  54.     g_print ("No visualization plugins found!\n");  
  55.     return -1;  
  56.   }  
  57.     
  58.   /* We have now selected a factory for the visualization element */  
  59.   g_print ("Selected '%s'\n", gst_element_factory_get_longname (selected_factory));  
  60.   vis_plugin = gst_element_factory_create (selected_factory, NULL);  
  61.   if (!vis_plugin)  
  62.     return -1;  
  63.     
  64.   /* Build the pipeline */  
  65.   pipeline = gst_parse_launch ("playbin2 uri=http://radio.hbr1.com:19800/ambient.ogg", NULL);  
  66.     
  67.   /* Set the visualization flag */  
  68.   g_object_get (pipeline, "flags", &flags, NULL);  
  69.   flags |= GST_PLAY_FLAG_VIS;  
  70.   g_object_set (pipeline, "flags", flags, NULL);  
  71.     
  72.   /* set vis plugin for playbin2 */  
  73.   g_object_set (pipeline, "vis-plugin", vis_plugin, NULL);  
  74.     
  75.   /* Start playing */  
  76.   gst_element_set_state (pipeline, GST_STATE_PLAYING);  
  77.     
  78.   /* Wait until error or EOS */  
  79.   bus = gst_element_get_bus (pipeline);  
  80.   msg = gst_bus_timed_pop_filtered (bus, GST_CLOCK_TIME_NONE, GST_MESSAGE_ERROR | GST_MESSAGE_EOS);  
  81.     
  82.   /* Free resources */  
  83.   if (msg != NULL)  
  84.     gst_message_unref (msg);  
  85.   gst_plugin_feature_list_free (list);  
  86.   gst_object_unref (bus);  
  87.   gst_element_set_state (pipeline, GST_STATE_NULL);  
  88.   gst_object_unref (pipeline);  
  89.   return 0;  
  90. }  
  91. </span>  


工作流程

      首先，我们都知道通过设置GST_PLAY_FLAG_VIS标志可以让playbin2的音频可视化。如果媒体文件里面已经包含了视频，那么这个标志就不起作用。



​​

  2. /* Set the visualization flag */  
  3. g_object_get (pipeline, "flags", &flags, NULL);  
  4. flags |= GST_PLAY_FLAG_VIS;  
  5. g_object_set (pipeline, "flags", flags, NULL);  


      如果用户没有指定可视化插件，playbin2会使用goom来做（如果没有这个element就不能进行音频可视化）。本教程剩下的部分会显示如何来发现一个可用的可视化element并指定playbin2使用。




​​

  2. /* Get a list of all visualization plugins */  
  3. list = gst_registry_feature_filter (gst_registry_get_default (), filter_vis_features, FALSE, NULL);  


      gst_registry_feature_filter()检查GStreamer当前所有注册的element并选择那些filter_vis_features函数返回TRUE的element。




[objc] ​​view plain​ ​ ​​copy​​


 ​​​​​​​​

  2. /* Return TRUE if this is a Visualization element */  
  3. static gboolean filter_vis_features (GstPluginFeature *feature, gpointer data) {  
  4.   GstElementFactory *factory;  
  5.     
  6.   if (!GST_IS_ELEMENT_FACTORY (feature))  
  7.     return FALSE;  
  8.   factory = GST_ELEMENT_FACTORY (feature);  
  9.   if (!g_strrstr (gst_element_factory_get_klass (factory), "Visualization"))  
  10.     return FALSE;  
  11.     
  12.   return TRUE;  
  13. }  


      这里牵涉到一点关于GStreamer element的理论：每一个GStreamer在运行时加载的文件都被认为是插件。一个插件可以有多个功能，不同种类的功能。

      这个函数简单的丢弃了所有不能批量复现的功能以及不包含“可视化”这个功能的插件。




​​

  2. /* Print their names */  
  3. g_print("Available visualization plugins:\n");  
  4. for (walk = list; walk != NULL; walk = g_list_next (walk)) {  
  5.   const gchar *name;  
  6.   GstElementFactory *factory;  
  7.     
  8.   factory = GST_ELEMENT_FACTORY (walk->data);  
  9.   name = gst_element_factory_get_longname (factory);  
  10.   g_print("  %s\n", name);  
  11.     
  12.   if (selected_factory == NULL || g_str_has_prefix (name, "GOOM")) {  
  13.     selected_factory = factory;  
  14.   }  
  15. }  


      一旦我们有了可视化插件的列表，我们会打印出它们的名字（gst_element_factory_get_longname()）并选择一个（比如：GOOM）。




​​

  2. /* We have now selected a factory for the visualization element */  
  3. g_print ("Selected '%s'\n", gst_element_factory_get_longname (selected_factory));  
  4. vis_plugin = gst_element_factory_create (selected_factory, NULL);  
  5. if (!vis_plugin)  
  6.   return -1;  


      选中的工厂用来生成一个GstElement，通过vis-plugin属性来传给playbin2。




​​

  2. /* set vis plugin for playbin2 */  
  3. g_object_set (pipeline, "vis-plugin", vis_plugin, NULL);  


      Bingo，就这么简单。