学SQL还是Python,哪个好?

  • 1回答
  • 2浏览
  • 提问时间:2021-07-27
最佳答案 对于没有编程基础的初学者来说,建议先学习基本的SQL语言操作,再深入学习Python语言。因为在学习Python语言的过程中可以使用SQL语言,所以学习效果很好。当然没有绝对的学习顺序,SQL和Python是从业者必须掌握的知识。牢牢掌握编程语言及其学习方法是未来各个领域深造的基础。 首先介绍SQL和Python语言。SQL是一种结构化查询语言(StructuredQueryLanguage,简称SQL),是一种用于访问数据、查询、更新和管理关系数据库的特殊编程语言。 SQL作为一种直接处理数据的语言,是一种与各种前端和后端语言互动的中间语言。无论是前端工程师还是后端算法工程师,都必须处理好数据,知道如何快速准确地提取自己想要的数据。更不用说数据分析师了。他们的工作是处理数据,整理不同的报告,以指导业务决策。 Python是一种跨平台、面向对象的动态语言,是当今时代最受欢迎和必须掌握的编程语言。Python可用于数据处理、网络开发、人工智能等领域。其语言简洁,开发效率高,移植性强,可与其他编程语言(如C++)轻松无缝连接。 接下来是具体的学习。先说SQL语言的学习,可以制定一个学习路径: SQL基础知识->SQL高级知识->SQL高级知识->SQL语言实践。 基本知识:SQL的语法很简单,就像英语一样,但是它的功能非常强大,可以帮助我们实现索引,排序,分组等功能。 SQL高级知识:总结使用SQL时经常遇到的问题,分析如何使用工具,快速定位性能问题和解决方案。 SQL先进知识:在大数据时代,许多适合不同场景的数据库管理系统不仅出现了基于SQL的关系数据库,如Oracle、MySQL、SQLServer、Access、WebSQL、SQLite等。还有非关系数据库,如MongoDB、Redis等。 SQL语言实战前期的学习已经到了实战阶段,但是只有学会使用SQL系统进行项目实战,才能真正学以致用,让SQL帮你工作。 学习Python也可分为三个阶段: 基础知识->Python规范->Python实战。 基本知识:Python程序语法,基本数据类型(Number,Boolean,String,Tuple,List),程序控制结构(while,for),函数(format,range等),文件I/O处理等。 Python规范:这个阶段的目标是使程序写得更规范,更稳定。要学会运用具体的编程操作和技巧,提高代码质量。例如,如何合理分解代码,使用assert,如何写单元测试等。 Python实战:没有在战场上开枪的人,不可能成为主官;没有实战经验的语言学习者,不可能成为高手。通过前两个阶段的学习,相信你已经告别了小白阶段,走上了成为Python高手的道路。要真正掌握编程语言,仅仅学习分散的知识点是不够的,还要把知识点联系起来。因此,做一些中等规模的项目可以有更深的理解和提高。 < img class="cto- img" src="https://s2.51cto.com/images/20210727/1627376438122931.png" title="1627376438122931.png" style="display:block;margin:auto;" alt="image.png"/>
问答分类:数据库

将机器学习与社会科学研究相结合,有哪些可能的机遇与挑战?

  • 1回答
  • 5浏览
  • 提问时间:2021-07-27
最佳答案 机会很多,可以广泛使用。介绍一个我接触过的领域——社交网络分析。举个半监督学习的例子。假设我现在有一些人之间的网络关系,知道谁和谁是朋友。同时,我也知道每个人的属性,比如谁是好人,谁是坏人。但是,在这个数据集中,我不知道很多人的属性。我不知道他们是好人还是坏人。例如,我们想研究一个人校友圈的社会关系是否对一个人的职业发展有影响。我们可以用一些集中度指标来衡量这个人的影响力。计算出集中度后,我们可以放入一些其他的控制变量,控制其他因素,然后把描述职业发展的指标(比如工资)作为y,跑回来,然后分析回归结果。除了社会网络分析,机器学习还可以为社会学研究提供更丰富的指标。我记得有一篇经济学论文,研究颜值对求职的影响。当时,研究人员使用了一个代理变量,即一个人的身高。虽然这在一定程度上也能反映一个人的面值,但如果能进一步利用计算机视觉技术来评价人脸的面值,计算出面值分数这样的指标,效果可能会更好。有一篇论文很有趣,探讨了自然灾害对宗教信仰的影响。作者使用的数据是几千年前尼罗河水位的数据。这一点得感谢埃及人,他们真的很重视计量水位。用来衡量宗教信仰的指标是一些词语,比如“祈祷”在当时文献中出现的频率(按照年代来说,这些文献应该是用象形文字写出来的)。研究发现,当洪水来临时,宗教领袖的影响力会越强。< img class="cto- img" src="https://s2.51cto.com/images/20210727/1627367322437609.jpg" title="1627367322437609.jpg" style="display:block;margin:auto;" alt="5.jpg"/>作者的脑洞可以说是非常之大,这里也可以是看作是自然语言处理的技术在社会科学严重中的应用。当然了,这里用到的技术比较浅,只是统计了词频。在未来的研究中,研究者们可能会采用更加高深的计算机视觉、自然语言处理、机器学习等技术,去计算出有意义的指标,推动社会科学的研究。我个人认为,挑战主要在于同时懂得社会科学和计算机技术以及机器学习的交叉人才太少。需要各领域的人才组成团队通力合作。由于大家在知识背景上的差异,沟通起来可能也会有难度。
问答分类:数据库

数据挖掘还能火几年?

  • 1回答
  • 5浏览
  • 提问时间:2021-07-27
最佳答案 个人认为你有这种担心和危机感是很好的。说到底,大多数人辛辛苦苦读了十几二十年,最了找个好工作,让未来有更好的保障;而这一切的前提是选择一个好的行业。入错行的后果真的很严重。举个很简单的例子:我们村第一个大学生大概是2000年初。当时机械自动化比较流行。然后他去了国内一个排名40多的211学校,选择了这个专业。大四顺利读研,然后读了我们学校的研究生。毕业后至少工作五六年。结果去年过年回家问他现在工资多少,我很惊讶。更让人吃惊的是,我那个同村的师哥并不是个例。< img class="cto- img" src="https://s2.51cto.com/images/20210727/1627366839404940.jpg" title="1627366839404940.jpg" style="display:block;margin:auto;" alt="5.jpg"/>作为对比说下我自己这边的情况吧:目前在上海交大读研,现在研二,马上要参加校招了,自己做的是机器学习数据挖掘方向,从我上一届的师兄师姐的情况来看,我们课题组第一年入职年薪低于20万的几乎是个例,大部分还是24左右,硕士最高的一个32万(税前),几个个博士师兄最高的40万,另外两个37万。虽然可能交大的学历潜规则的占了一定优势,但从其他专业的同学来看,最本质的原因还是行业问题!所以你现在就开始思考这个行业的发展问题我觉得是比较明智的。
问答分类:数据库

做数据分析有前景吗?

  • 1回答
  • 3浏览
  • 提问时间:2021-07-27
最佳答案 随着我国经济决策从经验决策向数据决策的不断规范,越来越多的ZF和企业开始意识到数据决策的准确性和安全性,从而对数据分析专业人才的需求越来越大。(1)专职岗位获得项目数据分析师证书是进入数据分析领域的敲门砖。数据分析行业的专职岗位包括:(高级、高级、证券、运营等。)项目数据分析师、数据分析师、数据分析主管、工程师、数据挖掘人员等。大量企业都有自己的专职数据分析师,为企业长期收集、分析投资和运营数据,为决策层提供详细准确的数据依据。(2)提高工作绩效,科学决策,成功率。项目数据分析师证书代表了更高的就业能力和专业水平,有利于员工竞争更高的职位。与此同时,具备决策分析能力也是主管人员必备的素质。(3)建立项目数据分析师事务所。随着我国经济体制改革的深入发展,银行和企业对项目市场经济模式实施项目分析评估。< img class="cto- img" src="https://s2.51cto.com/images/20210727/1627366630998617.jpg" title="1627366630998617.jpg" style="display:block;margin:auto;" alt="4.jpg"/>因此,项目数据分析师专业人员组成的项目数据分析师事务所应运而生,填补了我国项目分析评估市场的空白。项目数据分析(师)事务所是服务于投融资领域、企业经营规划领域、项目审批与决策领域等众多社会领域的专业机构;其业务方面包括投资项目评估、经济效益评价、项目数据处理、投资项目策划、社会经济咨询、投资中介等。目前,项目数据分析(师)事务所在国内正迅速增长,并为ZF、金融机构、企业的决策提供着日益重要的参考信息,具有良好的成长和发展空间。
问答分类:数据库

做数据分析的女孩子,职业发展前景在哪里?数据分析枯燥吗?

  • 1回答
  • 5浏览
  • 提问时间:2021-07-27
最佳答案 做数据分析,个人感觉不适合男生,因为很多男生沉不下心来(当然男生在工作中更有***力,做产品岗,或者运营,技术岗位更好),我觉得挺适合女生的。理工科最好是理工科的女生,对数学和数字有一定的兴趣。近距离观察了几家不小的企业。许多企业,女性都是数据分析组的负责人。比如网秦科技,美股上市公司。多年前,我国成立了较早的数据分析团队,另一家是杭州独角兽企业,51公积金,数据团队10多人,Leader是女性。而且团队中女性的比例也不低。数据分析是否枯燥:喜欢的人可能不会觉得特别枯燥,但如果从小就特别讨厌数学(比如钱钟书),不建议从事数据分析,那肯定是一种痛苦。本人还在数据分析相关岗位,工作多年,讲讲我在工作中的经历。单纯的数据分析,长久,肯定会陷入枯燥乏味之中,和业务建立关联,去解决业务问题,或者会有意思一些。数据分析,你的战友,是产品团队,也是运营团队。数据定义,在产品之初就会和产品同学一起定义。< img class="cto- img" src="https://s2.51cto.com/images/20210727/1627366266455692.jpg" title="1627366266455692.jpg" style="display:block;margin:auto;" alt="3.jpg"/>上线后,运营承载,业务推动,均会和运营团队,密切协同做战。同时数据能力,也是互联网企业核心能力之一,比如金融企业,金融大数据,数据能力更是重中之重。业务推动,核心风控,均和数据强相关。当然,很多其它类型企业也会如此,比如ai,大数据,云计算,相关领域,数据也是重中之重。
问答分类:数据库

JAVA对数据挖掘工程师来说是必须的吗?

  • 1回答
  • 6浏览
  • 提问时间:2021-07-27
最佳答案 我的Python是主要语言,也用Scala写SparkML程序,用PigLatin+UDF在Hadoop上做一些批处理。读研时使用C/C++和Matlab,现在也差不多忘了。下班后对前端也饶有兴趣的研究了一番,HTML、CSS、JavaScript也可以使用(后来Node.js也玩过).后来听说Ruby比Python更优雅,正好还看了松本行弘的《代码的未来》,也尝试过Ruby,非常喜欢Mix-in的多重继承方式,所以我以后写Python也用Mix-in的方式写多重继承,感觉还不错.我负责公司大数据平台架构的设计,RTB投放和移动SDK效果跟踪统计系统的设计与开发,以及大规模用户画像系统的研发。现在我时不时的跟公司的其他Hadoop工程师讨论Hadoop构架,跟前端程序员讨论Angular.js和react.js框架,跟后端的同事讨论Tornado,Flask,Tomcat,Play这些后端框架。< img class="cto- img" src="https://s2.51cto.com/images/20210727/1627366019257147.jpg" title="1627366019257147.jpg" style="display:block;margin:auto;" alt="1.jpg"/>广泛学习让我不仅仅成为一个数据挖掘工程师,还让我成为了公司的核心技术人员。我已经觉得我不是数据挖掘工程师了,所以我把title改成了程序员。我认为没什么技能是必须的,你开心就好。PS:本人专业是学控制的,读研时做的是机器人,现在主要研究方向是自然语处理(我要去做高大上的人工智能!)
问答分类:数据库

如何通俗的解释数据挖掘是什么?

  • 1回答
  • 3浏览
  • 提问时间:2021-07-27
最佳答案 如何区分数据分析和数据挖掘?刚入坑的数据分析师可能还点不太分的清数据分析和数据挖掘有什么区别?整理以下相关内容,希望对数据分析师有所帮助。数据分析(狭义)和数据挖掘的本质是一样的,都是从数据中发现业务知识(有价值的信息),从而帮助业务运营,改进产品,帮助企业做出更好的决策。从分析的目的来看,数据分析一般是对历史数据进行统计分析,数据挖掘更注重机器对未来的预测,一般用于分类、聚类、推荐、相关规则等。从分析过程来看,数据分析更注重统计学中的一些方法,通过人的推理和翻译得出结论;数据挖掘更注重机器的自学,直接得出结论。从分析结果来看,数据分析的结果是准确的统计,而数据挖掘通常是模糊的结果。数据挖掘和数据分析有什么主要区别?1.计算机编程能力的要求作为数据分析,在许多情况下需要成型分析工具,如EXCEL、SPSS或SAS、R。一个完全不懂编程,不会敲代码的人,可以是一个好的数据分析师,因为OFFICE包含的几个工具已经能够满足大多数数据分析的要求。许多数据分析师做的工作都是从原始数据到各种拆分汇总,再经过分析,最终形成完整的分析报告。当然,原始数据可以由他人提供,也可以自己提取(作为一个合格的数据分析师,了解一些SQL知识是非常有益的)。数据挖掘需要编程基础。为什么这样说呢?举两个理由:第一个,目前的数据挖掘方面及相关的研究生方面绝大多数是隶属于计算机系;第二点,在招聘岗位上,国内比较大的公司挂的岗位名称大多数为“数据挖掘工程师”。从这两点就可以明确看出数据挖掘跟计算机跟编程有很大的联系。在对行业的理解的能力要想成为一名优秀的数据分析师,对于所从事的行业有比较深的了解和理解是必须要具备的,并且能够将数据与自身的业务紧密结合起来。简单举个例子来说,给你一份业务经营报表,你就能在脑海中勾画出目前经营状况图,能够看出哪里出现了问题。但是,从事数据挖掘不一定要求对行业有这么高的要求。专业知识面的要求数据分析师出对行业要了解外,还要懂得一些统计学、营销、经济、心理学、社会学等方面的知识,当然能了解数据挖掘的一些知识会更好。< img class="cto- img" src="https://s2.51cto.com/images/20210727/1627365791147128.jpg" title="1627365791147128.jpg" style="display:block;margin:auto;" alt="1.jpg"/>数据挖掘工程师则要求要比较熟悉数据库技术、熟悉数据挖掘的各种算法,能够根据业务需求建立数据模型并将模型应用于实际,甚至需要对已有的模型和算法进行优化或者开发新的算法模型。想要成为优秀的数据挖掘工程师,良好的数学、统计学、数据库、编程能力是必不可少的。总之一句话来概括的话,数据分析师更关注于业务层面,数据挖掘工程师更关注于技术层面。
问答分类:数据库

机器学习数据挖掘类工程师平时主要的工作内容是怎样的?

  • 1回答
  • 2浏览
  • 提问时间:2021-07-27
最佳答案 首先,在你的印象中阅读paper,从事科研成果的数据挖掘工程师可能在各大公司的研究所(如百度IDL)中比较多。一般公司的机器学习岗位很实际,找到的工程师往往要解决一些实际问题,所以有业务压力,没有时间给你做研究。数据预处理实际上占用了相当多的时间。事实上,机器学习算法的质量主要取决于训练数据的质量,所以特征工程非常重要。如果数据预处理做得好,简单的算法往往可以达到目的。如果数据预处理不好,再牛逼的算法也没用。因此,做这行有时会做些体力活,就是这一块。OK,主要工作内容是什么?跟研发类工程师其实差别也不大,接受商务部门的需求(比如预估一次广告投放的曝光量或互动率),然后就去做模型了,找一堆以往的投放数据,简单的你可以做做回归预测,在一定误差内能解决问题。< img class="cto- img" src="https://s2.51cto.com/images/20210727/1627365568971153.jpg" title="1627365568971153.jpg" style="display:block;margin:auto;" alt="6.jpg"/>干这行有个问题,你不光得像研发工程师一样去写代码实现算法,你还会遇到一堆无解的问题(我觉得基本都无解),你选模型了,万一模型然并卵呢?万一参数然并卵呢?研发可以码完code回家打Dota了,数据挖掘工程师的工作才刚刚开始......知道了吧,跟研发最大的差别是码完代码你的工作才刚刚开始。
问答分类:数据库

数据挖掘算法可以分为几类?

  • 1回答
  • 2浏览
  • 提问时间:2021-07-27
最佳答案 数据挖掘是基于数据库、人工智能、数理统计和可视化四大支柱技术。描述或解释算法设计分为输入、输出和处理三个部分。数据挖掘算法的输入是数据库,算法的输出是发现的知识或模式,算法的处理过程设计了具体的搜索方法。从算法的输入、输出和处理过程三个角度,可以确定数据挖掘主要涉及三个方面:挖掘对象、挖掘任务和挖掘方法。挖掘对象包括关系数据库、面向对象数据库、空间数据库、时态数据库、文本数据库、多媒体数据库、历史数据库、万维网络(WEB)等多种数据库或数据源。挖掘方法可分为统计方法、机器学习方法、神经网络方法和数据库方法。可细分为:回归分析,判别分析等。机器学习可以细分为遗传算法等。神经网络的方法可以细分为前向神经网络、自组织神经网络等。多维数据分析方法是数据库的主要方法。数据挖掘技术应运而生,随着数据仓库技术的发展,数据挖掘技术逐渐完善。但是并非所有的信息发现任务都被视为数据挖掘,例如,使用数据库管理系统查找个别的记录,或通过因特网的搜索引擎查找特定的Web页面,则是信息检索(informationretrieval)领域的任务。< img class="cto- img" src="https://s2.51cto.com/images/20210727/1627365421745365.jpg" title="1627365421745365.jpg" style="display:block;margin:auto;" alt="6.jpg"/>NLPIR大数据语义智能分析平台(原ICTCLAS)是北京理工大学大数据搜索与挖掘实验室张华平主任研发,针对大数据内容采编挖搜的综合需求,融合了网络精准采集、自然语言理解、文本挖掘和语义搜索的最新研究成果,先后历时近二十年的不断创新。平台提供了客户端工具,云服务与二次开发接口等多种产品使用形式。各个中间件API可以无缝地融合到客户的各类复杂应用系统之中,可兼容Windows,Linux,Android,Maemo5,FreeBSD等不同操作系统平台,可以供Java,Python,C,C#等各类开发语言使用。
问答分类:数据库

实际工作中,从事数据挖掘/机器学习是怎样的?

  • 1回答
  • 3浏览
  • 提问时间:2021-07-27
最佳答案 CS出身,15年加入Facebook,官方职位是MachineLearningEngineer机器学习工程师。我很喜欢这个职称,不仅因为我喜欢机器学习,还因为缩略词(MLE)也代表MaximumLikelihoodEstimation(最大似乎估计)。机器学习工程师的工作是利用机器学习来解决实际问题。这类背景的人大多集中在与几个排名相关的核心组(广告、新闻流和搜索)。我在广告组。大多数日常工作:开发新的ML算法/模型,通常每两年从底层重建一次代码库。优化现有模型的编译和运行速度,用于更快的调节参数。核心的ML模型每天要跑几万次调参,速度非常重要。< img class="cto- img" src="https://s2.51cto.com/images/20210727/1627365102742142.jpg" title="1627365102742142.jpg" style="display:block;margin:auto;" alt="6.jpg"/>清洗和转换数据,去掉无用feature,寻找新feature。开发以及优化分布式后端架构,数据库,写大量的hive和mapreducejob。一些前端开发,可视化A/B测试结果,主要用于给领导和PM看。OnCall,数据大量出错或者模型指标明显下降时周末也要修bug。
问答分类:数据库