目录
①R语言生物群落(生态)数据统计分析与绘图
②R语言多元数据统计分析在生态环境中的实践应用
①R语言生物群落(生态)数据统计分析与绘图
暨融合《R语言基础》、《tidyverse数据清洗》、《多元统计分析》、《随机森林模型》、《回归及混合效应模型》、《结构方程模型》、《统计结果作图》七合一版本教学方案
R 语言作的开源、自由、免费等特点使其广泛应用于生物群落数据统计分析。生物群落数据多样而复杂,涉及众多统计分析方法。本课程以生物群落数据分析中的最常用的统计方法回归和混合效应模型、多元统计分析技术及结构方程等数量分析方法为主线,通过多个来自经典研究中的实例,详细讲述各方法的R语言实现途径(详见教学内容)。课程的主要特点为聚焦生态学研究领域,从R语言基础操作和作图、数据准备整理,到各种数量分析方法的应用情景分析,实现从数据整理到分析结果展示的完整科学研究数据分析过程,将《R语言基础》、《tidyverse数据清洗》、《多元统计分析》、《随机森林模型》、《回归及混合效应模型》、《结构方程模型》及《统计结果作图》进行了组合(7合1)。
第一单元 R基础及数据准备
专题一:R和Rstudio简介及入门和作图基础
1) R及Rstudio介绍:背景、软件及程序包安装、基本设置等
2) R语言基本操作,包括向量、矩阵、数据框及数据列表等生成和数据提取等
3) R语言数据文件读取、整理及存储等
4) R语言基础绘图(含ggplot):基本绘图、排版、发表质量绘图输出存储
专题二:R语言数据清洗-tidyverse包应用
1)tidyvese简介:tidyr、dplyr、readr、%>%等
2)文件操作:不同格式文件读取、多文件同时读取等
3)数据筛选:行筛选、列筛选、条件筛选(字符操作)等
4)数据生成:数据合并、数据拆分、新数据生成(字符操作)等
5)长宽数据转换、空值(NA)等填充及删除、分组、排序及汇总等
专题三:群落数据准备及探索分析
1) 生物群落数据准备:物种组成、环境变量、物种功能属性、系统发育树等
2) 生物群落数据检查:缺失值和离群值(outliers)等-避免模型错进错出(GIGO)
3) 物种多样性计算:物种多样性(TD)、功能多样性(FD)和系统发育多样性(PD)
4) 物种相似/相异矩阵关联测度介绍
第二单元 多元统计分析
专题四:群落数据非约束排序-PCA、CA、PCoA、NMDS
1)生物群落数据非约束排序分析简介
2)案例1鱼类生境数据排序:PCA
3)案例2鸟类物种组成数据的排序:CA、PCoA和NMDS比较
专题五:群落数据约束排序-RDA、dbRDA、CCA、4th Corner
1) 生物群落数据约束排序简介:非对称约束排序VS对称约束排序
2) 案例1景观、斑块及生境因子蛾类群落分布的解释:RDA、dbRDA或CCA选择+变差分解
3) 案例2物种有无(0,1)数据约束排序:dbRDA
4) 案例3物种组成、物种属性及环境因子的相关分析-第四角分析(4th Corner)
专题六:群落数据分组分析: 等级/非等级聚类(HC/NHC)、PERMANOVA等
1) 生物群落数据的聚类及差异分析概述
2) 案例1鸟类生境数据的等级和非等级聚类:KMEANS和HCLUST
3) 案例2乌龟适宜生境差异检验(2组比较)及解释:PERMANOVA、MRPP、ANOSIM及Dispersion test
4) 案例3环境梯度下微生物组成差异分析(多组比较)及解释:MRPP及Dispersion Test
5)案例4 药物对肠道微生物群落影响:PCoA+PERMANOVA
第三单元 机器学习
专题七:群落数据随机森林(Random Forest)模型-分类VS回归
1) 随机森林(Random Forest)模型简介
2) 随机森林模型分析基本流程-分类VS回归
3)案例1 随机森林分类及重要变量选择:RFM-classification
4)案例2 随机森林回归模型及变量重要性评估:RFM-regression
5)案例3 物种多维形态属性与生态属性的关联关系:PCA+PCoA+LDA+RFM综合案例
第四单元 回归及混合效应模型
专题八:一般线性模型(lm)
1)基本形式、基本假设、估计方法、参数检验、模型检验
2) 案例1不同鱼类游速的回归、方差及协方差分析
3) 案例2决定海洋植食性鱼类多样性的决定因子-模型验证
4) 案例3淡水鱼丰度的环境因子的筛选-逐步回归(model selection)
专题九:广义线性模型(glm)
1) 广义线性混合效应模型基本原理、建模步骤及流程
2)案例1有无(0,1)数据的逻辑斯蒂模型-二项分布
3)案例2海豹年龄与攻击行为的关系-0,1数据转化为比率数据分析
4)案例3 物种多度分布环境解释-计数数据泊松、负二项、零膨胀、零截断模型
专题十:线性混合效应模型(lmm)
1) 混合效应的基本原理及分析基本流程、步骤及实现
2)案例1分层数据物种多样性决定因素-模型构建流程、模型预测及诊断
3)案例2:多因素实验(分层数据)的多重比较
专题十一:广义线性混合效应模型(glmm)
1)广义线性混合效应模型基本原理、建模步骤及流程
2)案例1蝌蚪“变态”与否(0,1)的多因素分析-逻辑斯蒂混合效应模型
3)案例2虫食种子多度影响因素的多变量分析-泊松混合效应模型
4)广义线性混合效应模型分析计数数据及模型选择:泊松、伪泊松、负二项、零膨胀泊松、零膨胀负二项、零截断泊松及零截断负二项模型
专题十二:空间、时间及系统发育相关回归-数据自相关(autocorrelation)分析
1) 数据自相关问题简介:时间、空间和系统发育相关介绍
2) 案例1森林植物多样性分布格局的空间自相关修正
3) 案例2不同年份鸟类多度的时间自相关修正
4) 案例3系统发育相关在虾类多度分布分析中作用
第五单元 结构方程模型
专题十三:结构方程模型(SEM):lavaan和piecewiseSEM-多变量直接和间接效应及因果关系
1)结构方程模型简介:定义、历史、应用、估计方法、模型可识别规则及样本量要求等
2)案例1群落物种丰富度恢复的直接及间接效应(direct and indirect effects):SEM分析基本流程-lavaan vs piecwiseSEM
3)案例2环境异质性和资源可获得性对不同演替阶段林下维管植物多样性的影响:模型调整、比较、评估及结果展示
4)案例3人类活动、环境条件、物种属性对动物领域大小相对贡献(relative roles):混合模型、嵌套结构、分组分析及分类变量SEM实现
第六单元 统计结果作图
专题十四:群落数据及统计分析结果作图(ggplot)、排版及发表质量图输出
- 群落数据及统计分析结果作图数据准备:结果提取与作图数据整理
- 聚类分析及分组差异检验图:聚类结果图、热图(heatmap)、分组差异检验结果图
- PCA、CA、PCoA及NMDS等非约束排序图:排序图和双序图(biplot)
- RDA、db-RDA及CCA等约束排序图:三序图(triplot)和韦恩图(venn)
- 回归和混合效应模型分析结果图:散点图、箱线图、柱状图及提琴图等
- 结构方程模型结果图表达方式
②R语言多元数据统计分析在生态环境中的实践应用
生态环境领域研究中常常面对众多的不同类型的数据或变量,当要同时分析多个因变量(y)时需要用到多元统计分析(multivariate statistical analysis)。多元统计分析内容丰富,应用广泛,是非常重要和实用的多元数据分析方法和统计工具,其中分类(classification)/分组(grouping)和梯度(gradient)/排序(ordination)分析是多元统计分析的核心内容。分类/分组分析主要包括聚类(如层次聚类和k-means聚类等)和辨别分析(如线性辨别分析和mental检验等);梯度/排序分析分为非约束排序(如PCA和CA等)和约束排序(如RDA和CCA等)两大类(详见课程介绍)。但初学者在应用多元统计分析方法时往往非常困惑,这种困惑主要来自几个方面:首先,多元统计方法众多,分类还是排序?约束排序还是非约束排序?哪种方法或技术更适合我的研究目的或数据?其次,在多元分析中很多术语都有别称,如非约束排序也叫间接梯度分析;再次,多元数据类型包括连续型数据、计数数据、分类数据及混合类型数据,不同数据类型如何选择合适的方法?等等等等。本次将梳理多元统计中分类/分组和排序/梯度分析各方法不同应用情境,包括生态环境多元数据分析概述、R基础及数据探索、多元数据梯度分析、多元数据分组分析及统计结果作图。将通过大量具体案例,利用R语言相关包示范各种方法实现途径,使大家面对多元数据分析时能够驾轻就熟,从容面对。不仅适合R语言和生态环境数据多元统计分析的初学者,同样适合有高阶应用需求的研究生和科研人员。
第一篇(基础篇课前预习,提供预习资料)生态环境多元数据分析概述(Working with multivariate data)
1、多元统计方法概念定义
2、纷繁的多元统计方法应用情景、异同点
3、多元统计方法数据或变量类型和结构
第二篇R基础及数据探索 (Working with R and Data screening)
专题一:R和Rstudio简介及入门和作图基础
1) R及Rstudio介绍:背景、软件及程序包安装、基本设置等
2) R语言基本操作,包括向量、矩阵、数据框及数据列表等生成和数据提取等
3) R语言数据文件读取、整理(清洗)、结果存储等(含tidverse)
4) R语言基础绘图(含ggplot):基本绘图、排版、发表质量绘图输出存储
专题二:群落数据准备及探索分析
1) 生物群落数据准备:物种组成、环境变量、物种功能属性、系统发育树等
2) 生物群落数据检查:缺失值和离群值(outliers)等-避免模型错进错出(GIGO)
3) 物种多样性计算:物种多样性(TD)、功能多样性(FD)和系统发育多样性(PD)
4) 物种相似/相异矩阵关联测度介绍
第三篇多元数据分组分析(Working with groups)
专题三:聚类(Cluster)分析上:非层次聚类(NHC)
1) 聚类及非层次聚类方法概述
2) 非层次聚类:K均值(K-means)聚类方法(kmeans;pam;clara)
3) 实例鸟类生境数据K均值聚类比较分析:聚类数确定、聚类稳定性、聚类结果评估、复合聚类值构建
专题四:聚类(Cluster)分析下:层次聚类(NHC)
1)层次聚类方法简介:多元聚合层次聚类(PAHC) VS 多元分化层次聚类(PDHC)
2)层次聚类方法(hcluster和agnes)分类结果比较分析:碎石图、轮廓宽度、同表型相关图等
3) 案例1鸟类生境数据的层次聚类分析;案例2鱼类生境数据的层次聚类分析
专题五:辨别(Discrimination)分析上:分组差异性检验(Group Difference Test)
1) 多元群落数据分组差异分析及检验简介
2)(非参数)多元方差分析(NP-MANOVA/ADONIS/PERMANOVA)、多元置换过程(MRPP)、多元相似分析(ANOSIM)、Mantel检验(MANTEL)在多元数据差异性检验的应用
3)多元差异性检验多组数据比较实现方法:MRPP、Mantel
4)Mental方法在群落生态学‘标准’应用:空间取样距离、环境因子及物种组成关系及其偏Mental分析
5) 案例1乌龟适生生境差异性检验;案例2微生物组成数据差异分析;案例3鱼类群落、空间距离及环境因子相互关析分析
专题六:辨别(Discrimination)分析中:线性辨别分析(LDA)
1) 辨别分析(DA)的多面性
2) 线性辨别(LDA)分析基本原理及流程:数据检查、评估假设、样本数量、变量选择、模型确定、结果解读及模型验证
3)其他辨别分析方法介绍(QDA,KNN等)
4) 案例乌龟适生生境辨别及预测
专题七:辨别(Discrimination)分析下:分类回归树(CART)及随机森林模型(RFM)
1) 生物群落数据的分类回归树简介
2) 分类回归树分析(CART)实现:分化准则、节点杂度、gini指数、先验概率效应、误分类代价、分类树裁剪、Monte Carlo检验、变量重要性评估、模型预测等
3) 随机森林模型(RFM)实现:算法流程、模型评估、变量重要性评估及模型分类与回归等
4) 案例1基于分类回归树的乌龟群落生境划分及预测
5)案例2基于随机森林模型的根际微生物群落与植物生长关系及变量重要性评估
第四篇多元数据梯度分析/(Working with gradients)
专题八:间接梯度分析-非约束排序(Unconstrained ordination)上:PCA
1)生物群落数据的非约束排序简介
2) 主成分分析(PCA)的基本原理:假设条件、数据要求等
3)案例:鱼类生境数据的PCA排序分析实现-数据准备、检查(离群值、多元正态性、线性关系、样本独立性等)、结果验证、排序轴选择(特征根准则、累计解释率、随机断棍准则等)、结果解读、双序图等
专题九:间接梯度分析-非约束排序(Unconstrained ordination)下:PCoA、CA、DCA 及NMDS
1) 其他非约束方法介绍及应用情景:CA、DCA 、PCOA及NMDS
2) 案例1鸟类群落组成数据的对应分析(CA)及去趋势对应分析(DCA):数据准备、假设条件、总惯量、特征根、排序轴选择、结果解读、偶见种效应/弓形效应等
3) 案例2 基于距离/相似度指数或矩阵的主坐标排序(PCoA):距离/相似度指数选择、模型假设、负特征根问题、结果解读、排序图等
4) 案例3 NMDS排序方法应用:假设条件、基本分析流程、排序效果评估(应力值)、排序图等
5)案例4 药物对肠道微生物群落影响:PCoA+PERMANOVA
6)案例5 基于随机森林模型的蚂蚁多维属性特征预测:RF+PCA+PCoA+PERMANOVA
专题十:直接梯度分析-约束排序(Constrained ordination)上:RDA
1) 生物群落数据的约束排序简介:非对称约束排序VS 对称约束排序
2)生物群落数据非对称约束排序的基本流程:响应变量/物种选择(矩阵Y)、响应变量数据预处理(转换或标准化)、分析方法选择(RDA/db-RDA/CCA)、解释变量/约束变量选择(矩阵X)及分析和结果解读、评估及展示
3) 案例景观、斑块及立地条件对森林景观中蛾类群落物种组成的影响
专题十一:直接梯度分析-约束排序(Constrained ordination)中:dbRDA、CCA及对称约束排序方法
1)案例1:基于距离矩阵的冗余分析(dbRDA):物种组成数据及0,1数据分析
2)案例2:群落物种多度数据的典范对应分析(CCA):单峰型环境梯度分析方法
3)案例3:对称约束排序方法介绍及物种组成、物种属性及环境变量相关关系第四角分析
专题十二:直接梯度分析-约束排序(Constrained ordination)下:变差分解(Variance Partitioning)
1) 群落数据多元统计分析变差分解简介
2) 偏回归分析与变差分解
3) 案例景观、斑块及立地条件及空间因素对森林景观蛾类群落物种组成变异的变差分解
第五篇统计结果作图ggplot (Plotting the results)
- 群落数据及统计分析结果作图数据准备:结果提取、整理
- PCA、CA、PCoA及NMDS等非约束排序图:排序图和双序图(biplot)
- PCoA+PERMANOVA结果图:排序图+分组+PERMANOVA差异显著性+多重比较
- RDA、db-RDA及CCA等约束排序图:三序图(triplot)和韦恩图(venn)