user 是一个actor system所有actor的祖先akka://HelloSystem 叫做 athority partuser/helloactor 叫做 path part打印ref后面多了一个数字，这个数字是actor的UID， 就像你的***上除了你的名字又多了一个***号一样。有时，你需要与一个还没出生的actor对话，或与一个你无法联系到的actor对话。你知道它
windows 7 64java 7 64scala 2.10.4akka_2.10-2.3.8IDEA 14.0.1
把akka的包加入到一个IDEA project的类路径中akka自带了一套scala环境，加入jar包的时候注意exclude掉
scala在语法上规范我们用表达式去思维，表达式就是数学中有符号和操作数组成的式子scala 调用函数的语法不能用一两句话说明白，这里只给出些例子。这样都可以package testscala import scala.io.Source class A { def f():Unit = println
在Windows平台上， 若要用scalac一次编译多个文件，请用空格隔开不能通过 folder\* 一次编译本目录下以及子目录的所有源文件题外话：源文件中出现的文件的相对路径，都是相对scala 或 java 命令发出的路径的在eclipse IDE中，将文件放在项目根目录下可以读到文件，是因为eclipse从项目根目录运行的scalac或java命令
package ch2 /** * Created by Bo on 2015/1/12. */ object Test extends App{ val list = List(1,2,3) val&nb
第三部分 替换默认下载器，使用selenium下载页面对详情页稍加分析就可以得出：我们感兴趣的大部分信息都是由javascript动态生成的，因此需要先在浏览器中执行javascript代码，再从最终的页面上抓取信息（当然也有别的解决方案）。scrapy 本身提供了 Middleware机制。利用Dowloader Middleware可以改变默认的request对象和reponse对象，甚至替换
第二部分 抽取起始页中进入宝贝详情页面的链接创建项目，并生成spider模板，这里使用crawlspider。2. 在中scrapy shell中测试选取链接要使用的正则表达式。首先使用firefox和firebug查看源码，定位到要链接然后在shell中打开网页：scrapy shell http://shanhuijj.tmall.com/search.htm?spm=a1z10.
第一部分：任务描述起始页面：http://shanhuijj.tmall.com/search.htm?spm=a1z10.3-b.w4011-3112923129.1.KjGkS2 这个页面列出了网店的所有宝贝，如图：点击进入宝贝详情页面，例如：http://detail.tmall.com/item.htm?spm=a1z10.3-b.w4011-3112923129.62.xGx75B&am
selenium本是用来对web application做自动化测试的。不过，它有个天大的好处：能让我们用python(当然不仅是python)代码模拟人对浏览器的操作。所需软件：python2.7 , firefox 25.0.1(版本不能太高), selenium2.44.0(使用pip install selenium安装即可)1. 打开浏览器，请求百度主页，5秒钟后关闭浏览器from&nb
什么是爬虫? 从逻辑角度讲，爬虫对应一个树。树枝是网页，树叶是感兴趣的信息。当我们从一个URL出发查找感兴趣的信息时，当前URL返回的内容可能包含我们感兴趣的信息，也可能包含另一个可能包含我们感兴趣的信息的URL。一个爬虫对应一次信息搜索，信息搜索过程会建立起一棵树。scrapy.Spider这个类提供了接口，允许我们设计整个信息搜索的流程。给spider传递运行时所需的参数。比如URL
在前面的example中，我们知道定义一个Item类很简单，只要继承scrapy.Item,然后添加几个类型为scrapy.Field的对象作为类属性，就像下面这样import scrapy class Product(scrapy.Item): name = scrapy.Field() &nbs
1. 有些scrapy命令，只有在scrapy project根目录下才available,比如crawl命令2 . scrapy genspider taobao http://detail.tmall.com/item.htm?id=12577759834自动在spider目录下生成taobao.py# -*- coding: utf-8 -*- imp
还是上一篇博客的那个网站，我们增加了pipeline.pyitems.pyfrom scrapy.item import Item, Field class Website(Item): name = Field() descr
1. 任务一，抓取以下两个URL的内容，写入文件http://www.dmoz.org/Computers/Programming/Languages/Python/Books/http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/项目截图和上一个project不同的是，在spider中没有定义rules属性，而是
开发环境PyCharm目标网站和上一次一样,可参考：http://dingbo.blog.51cto.com/8808323/1597695 但是这次不是在单个文件中运行，而是创建一个scrapy项目1.使用命令行工具创建scrapy项目的基本目录结构2. 编辑items.py3.在spiders目录下，新建spider1.py报错很正常我们按照scrapy project的目录结构导入了Torr
1. 任务描述目标网站:http://www.mininova.org/yesterday/ 目标网站截图：-------------------------------------可以看到种子文件的列表，这些链接的url可以用正则表达式表示为： /tor/\d+随便点一个进去，进入资源详情页：http://www.mininova.org/tor/13278086 详情页截图截图中的：资源名称,
安装浏览器下载python https://www.python.org/ftp/python/2.7.8/python-2.7.8.msi安装的时候选择将python命令加入path安装OPEN SSL http://slproweb.com/products/Win32OpenSSL.htm安装twisted http://twistedmatrix.com/R
目前，在一个包中你看到的top level的对象只有：class, trait, object。其实任何对象都可以是top level的。也就是说，没有必要把函数，value， variable等限制在class, trait, object中。它们可以在整个包范围内都是全局性的。方法很简单，把这些东东放到package object中就行了。pakcage object的名字和包名相同包含pac
接上一篇。1. Java中是否也有声明Upper bound 和 Lower boud的语法呢？ 有的,比如： List<E extends Numeric> List<E upper Integer>2.Java中的 List<?> 和 List<Object> 有什么区别？List<?> 代表 任意类
Upper bound和Lower bound用 :> 声明 Lower bound，即父类约束， A :> B, A必须是B的父类用 <: 声明 Upper bound, 即子类约束， A <: B A必须是B的子类Lower bound的例子package ch6 object Test4 { prin
你见过这样的函数定义吗？def square[T : Numeric](n: T) = implicitly[Numeric[T]].times(n, n)这篇博客将揭示Scala的类型系统的众多细节1. 总括The more you know about Scala’s type system, the more inform
// BankAccount.scala package week52 import akka.actor.Actor import akka.event.LoggingReceive object BankAccount { case class Deposit(amount:
1. What is an Actor?The Actor Model represents objects and their interactions, resemblinghuman organizations and built upon the laws of physics.is an object with identityhas a behavioronly interacts u
经常有人问: Akka的Actor和Scala的Actor有什么不同？这里的回答是，从actor 模型角度讲，没什么不同，它们都实现了actor model.Akka actors and Scala actors are two implementations of that model.All Actor model says that your concurrency p
Actor源码研究，先附上源码// ...... object Actor { /** * Type alias representing a Receive-expression for Akka Actors.
akka.Main作为程序的入口akka使用的scala的版本必须与eclipse使用的scala的版本一致，否则报错
原文出处 http://alvinalexander.com/scala/scala-implicit-method-arguments-fields-exampleMicrosoft Windows [版本 6.1.7601]版权所有 (c) 2009 Microsoft Corporation。保留所有权利。C:\Users\Bo>scalaWelcome to Scala versio
给它一个初始状态，给它一些规则，推它一把，它就生生不息了。问题描述只有一只容量为4的杯子和一只容量为9的杯子，怎么才能取到正好6单位的水？2. 分析有三种移动水的方式：1. 往某个杯子装满水 2.倒光一个杯子的水 3. 将一个杯子的水倒入另一个杯子如果有n个杯子，那么每次移动水都有 n + n + (n-1) * n 种选择。 （如果移动没有造成状态变化也计在内）这里使用穷
1. There’s a fundamental difference between your own code and libraries ofother people: you can change or extend your own code as you wish, but ifyou want to use someone else’s libraries, you usu
Copyright © 2005-2024 51CTO.COM 版权所有 京ICP证060544号
