目录1. MergeTree简介2. MergeTree表引擎的创建3. 储存结构4. 数据分区5. 一级索引6. 二级索引7. 数据储存8. 数据标记9. 分区、索引、标记和压缩数据的协同总结 1. MergeTree简介数据写入时按partition by字段进行分区储存到磁盘，同一个分区的数据会定期合并成一个新的片段只有MergeTree有数据副本、数据分区(partition by)、主
“脱氧核糖核酸(DNA)是一种分子，其中包含每个物种独特的生物学指令。DNA及其包含的说明在繁殖过程中从成年生物传给其后代。“简介基因组是生物体中DNA的完整集合。所有生物物种都有一个基因组，但是它们的差异很大。例如，人类基因组被排列成23条染色体，这有点像百科全书被编辑成23卷。如果算上所有字符(单个DNA“碱基对”)，每个人类基因组中将有超过60亿个字符。所以这是一个巨大的工程。人类基因组大约
转载
2024-07-04 20:56:17
69阅读
芯片质量分析芯片数据预处理获取差异表达基因GO和KEGG分析聚类分析
(本文于2013.09.04更新）
基因芯片技术的特点是使用寡聚核苷酸探针检测基因。前一节使用ReadAffy函数读取CEL文件获得的数据是探针水平的（probe level），即杂交信号，而芯片数据预处理的目的是将杂交信号转成表达数据（即表达水平数据，expression level data）。存储探针水平数据的是AffyB
转载
2023-11-16 16:55:13
46阅读
Vord2Vec相关知识介绍
由于暂时不会深入接触NLP相关领域，所以本章的内容就不过多涉及了，以后会进行学习，应该。Word2Vec又称Word Embeddings，中文称为"词向量"、"词嵌入"等。One_Hot_Encoder图像和语音天然可以表示为稠密向量，自然语言处理领域在Word2Vec之前都是使用离散符号，如"中国"表示为5178，"北京
# Python分析泛基因数据的入门指南
泛基因组（Pangenomics）是研究某一物种的不同个体之间基因组差异的重要领域。在这个指南中，我们将带领一位刚入行的小白，通过 Python 实现泛基因数据分析的基本流程。以下是我们将要遵循的几个步骤。
## 泛基因数据分析流程
| 步骤 | 描述 |
|------|--------------
好久没写博客了，最近看了个东西，觉得不错，整理了一下：遗传算法遗传算法 ( GA , Genetic Algorithm ) ，也称进化算法 。 遗传算法是受达尔文的进化论的启发，借鉴生物进化过程而提出的一种启发式搜索算法。因此在介绍遗传算法前有必要简单的介绍生物进化知识。一.进化论知识作为遗传算法生物背景的介绍，下面内容了解即可：种群(Population)：生物的进化以群体的形式进行，这样的一
转载
2024-03-08 14:43:48
66阅读
一、ClickHouse简介1、基础简介Yandex开源的数据分析的数据库，名字叫做ClickHouse，适合流式或批次入库的时序数据。ClickHouse不应该被用作通用数据库，而是作为超高性能的海量数据快速查询的分布式实时处理平台，在数据汇总查询方面(如GROUP BY)，ClickHouse的查询速度非常快。2、数据分析能力· OLAP场景特征大多数是读请求数据总是以相当大的批(> 1
转载
2023-07-26 19:05:57
4阅读
Ted Talks环境：Python2.7 Anaconda Jupyter Notebook数据集: https://www.kaggle.com/rounakbanik/ted-talks导入相应的库
%matplotlib inline
import pandas as pd
import numpy as np
from scipy import stats
import matplotl
转载
2024-03-12 07:29:35
47阅读
目录一、引言二、富集分析2.1 富集分析的概念2.2 富集分析的原理2.3 富集分析的作用2.4 富集分析的步骤2.5 富集分析的类型2.5.1 GO term功能富集2.5.2 KEGG pathway通路富集2.5.3 MSigDB基因集富集2.5.4 单基因富集三、富集分析中涉及的基本概念3.1 细胞组分3.2 分子功能3.3 生物过程3.4
转载
2024-01-19 10:21:33
95阅读
基因组survey在组装基因组之前一定要先对要组装的物种有一个大致的了解，判断其复杂程度, 标准如下基因组大小：基因组越大，测序花的钱越多简单基因组: 杂合度低于0.5%, GC含量在35%~65%, 重复序列低于50%二倍体普通基因组: 杂合度在0.5%~1.2%中间，重复序列低于50%。或杂合度低于0.5%，重复序列低于65%高复杂基因组: 杂合度>1.2% 或 重复率大于65%k-me
基因数据库收集：1.千人基因组数据库：1092人基因库，250T左右介绍：http://www.1000genomes.org/下载地址：uk：ftp://ftp.1000genomes.ebi.ac.uk/vol1/ftp/NCBI FTP Site : ftp://ftp-trace.ncbi.nih.gov/1000genomes/ftpAmazon S3 :&nb
原创
2023-01-04 10:54:06
192阅读
基因融合指的是两个或者多个基因的部分序列结合到一起形成了一种新的基因。随着高通量测序的发展，我们可以利用二代测序的数据来鉴定出发生在不同疾病当中的融合基因，所以也就出现了很多来寻找融合基因的数据库。今天就来给大家介绍几个融合基因查询的数据库。 TumorFusions(https://www.tumorfusions.org/)提到高通量测序的数据，肯定是绕不开TCGA的数据库。那么庞大的测序量
转载
2024-07-08 20:16:16
67阅读
基因数据处理科学中的分析工具昨天我从学校回家经过高速公路时，Sapugaskanda公司的炼油厂引起了我的注意，看到炼油厂的塔楼在运行时会向天空发出巨大的火焰。炼油厂的这番景象让我想起了许多制造业和运输业用于改造或者运输材料的管道，管道的最后端将会得到最终的货物。一个常见的例子是用于长途运输的输油管道，它会在中间环节进行精炼油处理，并在最后生成各种石油产品。同样的，基因数据也可以通过各种软件处理P
原创
2021-05-27 12:52:15
940阅读
欢迎关注”生信修炼手册”!在进行融合基因的分析时，我们会想要知道哪些融合基因是别人已经发现并证实过的，对应的
原创
2022-06-21 09:12:12
404阅读
TCGA（The Cancer Genome Atlas）项目完成后，最终和其它的一些肿瘤医学项目一起归档在 GDC Portal网站，方便人们访问。网址是 https://portal.gdc.cancer.gov其中除了TCGA的数据还有其它一些医学项目产生的基因测序数据，以及临床信息数据。网站首页如下：左侧可以点击Projects 根据项目类型，实验类型，基因突变类型搜...
原创
2021-05-27 17:52:50
3249阅读
点赞
# R语言基因数据库简介及其应用案例
## 1. 引言
随着生物学和遗传学研究的深入，人们对基因组学数据的需求越来越大。基因数据库是存储和管理基因组学数据的重要工具，可以帮助研究人员获取、整理和分析基因数据。其中，R语言基因数据库是一种常用的工具，能够方便地进行生物信息学数据的处理和分析。本文将介绍R语言基因数据库的基本概念、使用方法，并通过一个具体的案例来展示其应用。
## 2. R语言基因
原创
2023-08-01 15:55:01
218阅读
GEO芯片数据下载和探针ID转换（保姆级教程）一、问题描述探针ID转换数据是否预处理过二、Rstudio的安装（建议阅读，避免后续转换时出错）安装包的下载安装步骤三、（正文）芯片数据下载和ID转换相关设置和包的加载数据下载 本文章主要参考了： ①R 语言的安装（详细教程） ②GEO芯片数据下载和探针ID转换一、问题描述探针ID转换我们需要的基因表达量信息在NCBI的GEO数据库中对应的编号为GS
转载
2024-04-04 15:09:19
596阅读
Clickhouse基础知识一.Clickhouse简介Clickhouse 是一个开源的面向联机分析处理（OLAP, On-Line Analytical Processing）的列式存储数据库管理系统。优点缺点写入快、查询快不支持事务SQL 支持不适合典型的 K/V 存储简单方便，不依赖 Hadoop 技术栈不适合 Blob/Document 存储支持线性扩展不支持完整的 Update/Del
转载
2023-08-07 00:10:35
1583阅读
欢迎关注”生信修炼手册”!驱动基因的识别是肿瘤基因组学研究中的一项重要内容，NCG是一个肿瘤驱动基因的数据库
原创
2022-06-21 09:58:21
248阅读
DNA损伤与修复是生命活动中的重要现象，据统计，每个体细胞每天会受到至少六万次的DNA损伤，正是由于DNA损伤修复机制的存在，才能够随时纠正和修复这些损伤，保证生命活动的正常进行。如果DNA损伤没有被正确修复，可能发生以下3种情况细胞衰老，加速细胞衰老进程细胞凋亡，DNA损伤过度无法修复时，会启动凋亡程序来清除损伤的细胞细胞癌变，DNA损伤部分修复的情况下，细胞会出现各种基因组变异，累积到一定程
原创
2022-06-21 10:10:04
311阅读
