爬虫工程师并不是不做爬虫了，而是在做爬虫的同时，还需要处理数据、分析数据、存储数据等一系列工作。爬虫只是整个数据处理流程中的一个环节，而且爬虫的难度相对较低，所以爬虫工程师需要掌握更多的技能，如数据分析、数据库管理、编程语言等，以便更好地完成整个数据处理流程。因此，爬虫工程师需要具备更全面的技能和知识，而不仅仅是会写爬虫。
有时程序员可能不愿意或者不再从事爬虫开发的原因有以下几个：
1、法律风险：一些国家或地区可能对爬虫活动进行管理或限制，如果无视相关规定而私自进行爬取数据，可能会面临法律风险。
2、网站反爬虫技术：为了保护网站正常运行和用户隐私，一些网站会部署反爬虫技术，包括但不限于IP封禁、验证码、浏览器指纹识别等等。这些反爬虫技术会增加爬虫开发的难度，并增加维护投入成本。
3、难以处理/理解的数据：对于一些网站，其网页结构、数据格式、加密方式等如果非常复杂，需要耗费大量时间和精力来研究和处理。
4、非法用途：一些人可能会通过爬虫获取其他人的私人信息或者是用于不良的商业目的而被社会舆论所谴责。
尽管如此，也有很多程序员依然从事爬虫开发。对于那些以良好的道德和合法的方式开发爬虫的人来说，爬虫仍然是一个极具挑战和价值的领域。
爬虫可以应用于以下场景：
1、数据采集：爬虫可以自动化地从互联网上抓取数据，例如新闻、商品信息、股票数据等。
2、SEO优化：爬虫可以帮助网站管理员了解搜索引擎如何抓取和索引网站内容，从而优化网站的SEO。
3、网络安全：爬虫可以用于网络安全领域，例如发现网站漏洞、检测恶意软件等。
4、机器学习：爬虫可以用于机器学习领域，例如从互联网上抓取数据集，用于训练机器学习模型。
5、社交媒体分析：爬虫可以用于社交媒体分析，例如从社交媒体上抓取用户数据、评论等，用于分析用户行为和趋势。
6、网络监控：爬虫可以用于网络监控，例如监控网站的变化、监测竞争对手的动态等。
总而言之，爬虫在互联网应用中有着广泛的应用场景，可以帮助企业和个人更好地了解互联网上的信息和趋势。
爬虫学起来难么？
学习爬虫需要具备一定的编程基础和网络知识，但并不是难坎。以下是几个关键点：
1、编程：爬虫需要掌握基本的编程语言，如Python、Java等，并了解相关编程框架和库。
2、网络知识：需要了解网络协议、HTTP请求和响应等相关知识。
3、爬虫原理：需要了解常见的DOM和CSS选择器，了解如何提取所需信息，并掌握反爬虫策略及其对应解决方法。
4、实践经验：用编程语言和工具实际完成一些简单的爬虫项目，并掌握一些爬取技巧和优化方法。
总的来说，学习爬虫需要投入一定的时间和精力，但只要勤奋学习，积极实践，你是可以掌握这门技术。
