源系统数据
源系统数据分析流程可以细化为以下几个步骤:
- 列出数据源:这个步骤主要是梳理整个系统中可能存在的数据源,这些数据源可以包括数据库、文件系统、API等等。需要对这些数据源进行识别、分类和标注,这样才能更好地进行管理和维护。
- 确定未来信息消费者的相关部门:在数据分析和应用的过程中,需要确定未来可能需要消费这些数据的相关部门或人员,以便为其制定合适的数据消费方案。这些部门可以包括业务部门、市场部门、研发部门等。
- 确认各个实体所属数据源:在系统中存在很多实体,需要确定他们所属的数据源,这要求对系统进行深入的分析和理解。只有正确确定实体所属的数据源,才能够更加精准地进行数据的提取和分析。
- 确定业务流程对应的数据流向:在整个数据分析的过程中,需要明确业务流程和数据流向的关系,这样才能更好地进行数据的分析和应用。需要确定数据的提取、处理、分析和应用的具体流程,以便系统中的数据能够被更好地利用和应用。
建议技巧
当你需要找专家时,以下是一些技巧和建议:
- 做好功课: 在寻找合适的专家之前,你需要对你所需要的领域进行深入的市场调查和研究。了解他们的工作经历,教育背景和专业知识等信息,并做好笔记。
- 第一次可以让他畅所欲言:一旦你找到一个合适的专家,可以安排一次第一次约见,建议在这一次约见中让专家畅所欲言。他们会想分享他们的知识和经验,这会给你带来很多新的见解和洞见。
- 后来尽可能提半封闭的问题:在后续的交流过程中,可以采用半封闭问题的方式进一步探讨专家的看法。这些问题启发专家思考,但同时又指向了特定话题或主题。
- 再后来多提封闭的问题:一旦你对该领域取得了一定的了解,可以开始向专家提出更多的封闭性问题。这些问题有助于你更好地确定专家的观点和见解。
- 注重私人关系:与专家建立私人关系非常重要。达成相互信任和理解,是个长期进程。要注意认真聆听专家的意见并尽量满足他们的需求。
- 别100%相信他,时不时得用数据验证:尽管专家通常具有大量的实际经验和知识,但仍然需要用数据进行验证。你需要尽可能收集足够的数据来验证他们的推断和结论是否成立。
当你需要查询文档时,以下是一些技巧和建议:
- 有数据库的设计文档、数据字典当然最好:如果你需要查找数据库的设计文档或数据字典,一般情况下,这些文档都应该是现有数据库的一部分。如果有这些文档的话,它们是非常有用的和权威的。
- 但要去库里反向生成表结构,进行比照,确认文档的质量。通常不甚乐观:虽然数据库的设计文档和数据字典是很有价值的,但是它们并不能保证它们的质量和完整性。因此,最好的方法是反向生成表结构,以确保文档的准确性。
- 对于如SAP、Oracle ERP、Microsoft Dynamic CRM这类Package类型的应用软件,在互联网上你能找到一些有用的信息:如果你需要查询的文档是一些Package类型的应用软件(如SAP、Oracle ERP、Microsoft Dynamic CRM),网上很可能有一些有用的信息。你可以浏览该软件的制造商网站或参考网上的帮助手册来找到更多有关的信息。
- 如果非常需要,可以去翻看一些程序设计文档,里面会有一些表之间的逻辑体现:如果你无法找到数据库设计文档或数据字典,那么程序设计文档也可能是有用的。这些文档中应该包括表之间的逻辑关系和数据流,虽然这些文档通常只被开发人员或技术团队所使用。
总之,查询文档时需要用心去找,有时需要深入到底层去查询,才能找到具体的解决方法,同时也需要不断试错,根据不同情况采取不同的文档查询方法。
猜测数据
当我们需要猜测数据时,以下是一些技巧和建议:
- Heat Map:使用热力图技术可以更直观地展示数据的分布情况。通过观察热力图,可以推断数据的特征和规律。
- 探索命名规范:仔细探索数据库或者系统的命名规范,可以推测出某些表或字段中所存储的数据类型,有助于猜测数据的含义。
- 检索系统表:不同的数据库中都有一些系统表,包含数据库中各种对象的信息。通过检索系统表,可以了解对象之间的关系以及表中存储的数据。
- 数据Profiling:数据分析工具可以帮助进行数据测量和分析,可以通过数据的分布、模式、异常值、重复值等特征分析数据的含义和用途。
- 反向生成表结构:通过反向生成表结构,可以了解表之间的关系和字段的数据类型,有助于推测数据类型和含义。
- 前台操作,后台跟踪:透过前台的操作可以推测出数据的输入格式及使用的方式,然后结合后台记录分析数据,进一步掌握数据的应用场景。
- 研究视图的逻辑:对于视图,通过研究它的查询语句或定义逻辑,可以猜测出相关数据表的名称以及视图所代表的数据。
- 研究存储过程的逻辑:存储过程可以包含数据的处理逻辑。通过研究存储过程的代码,可以推测出数据的处理流程和含义。
- 研究其他源代码:如有相关的程序代码,研究代码的功能以及采用的数据表和字段,有助于推测数据的含义和用途。
- 仍然需要相关方的确认和肯定:猜测数据的过程中,需要通过与相关方沟通交流,确认猜测的数据是否正确,以确保数据的准确性和可信度。
总之,猜测数据需要深入挖掘各种数据本身和相关信息,通过多种角度去理解数据的含义和使用前景,同时也需要通过与相关方交流来确保猜测的数据准确性和可信度。