python title希腊字母 python输出希腊字母

在 run_web_server.py 中，您将看到 predict ，该函数与我们的 REST API /predict 端点相关联。

predict 函数将编码的图像推送到 Redis 队列中，然后不断循环/轮询，直到它从模型服务器获取预测数据。 然后我们对数据进行 JSON 编码并指示 Flask 将数据发送回客户端。

深度学习模型服务器

====================================================================

import the necessary packages
from tensorflow.keras.applications import ResNet50
from tensorflow.keras.applications.resnet50 import decode_predictions
import numpy as np
import settings
import helpers
import redis
import time
import json
connect to Redis server
db = redis.StrictRedis(host=settings.REDIS_HOST,
port=settings.REDIS_PORT, db=settings.REDIS_DB)
def classify_process():
load the pre-trained Keras model (here we are using a model
pre-trained on ImageNet and provided by Keras, but you can
substitute in your own networks just as easily)
print(“* Loading model…”)
model = ResNet50(weights=“imagenet”)
print(“* Model loaded”)
continually pool for new images to classify
while True:
attempt to grab a batch of images from the database, then
initialize the image IDs and batch of images themselves
queue = db.lrange(settings.IMAGE_QUEUE, 0,
settings.BATCH_SIZE - 1)
imageIDs = []
batch = None
loop over the queue
for q in queue:
deserialize the object and obtain the input image
q = json.loads(q.decode(“utf-8”))
image = helpers.base64_decode_image(q[“image”],
settings.IMAGE_DTYPE,
(1, settings.IMAGE_HEIGHT, settings.IMAGE_WIDTH,
settings.IMAGE_CHANS))
check to see if the batch list is None
if batch is None:
batch = image
otherwise, stack the data
else:
batch = np.vstack([batch, image])
update the list of image IDs
imageIDs.append(q[“id”])
check to see if we need to process the batch
if len(imageIDs) > 0:
classify the batch
print(“* Batch size: {}”.format(batch.shape))
preds = model.predict(batch)
results = decode_predictions(preds)
loop over the image IDs and their corresponding set of
results from our model
for (imageID, resultSet) in zip(imageIDs, results):
initialize the list of output predictions
output = []
loop over the results and add them to the list of
output predictions
for (imagenetID, label, prob) in resultSet:
r = {“label”: label, “probability”: float(prob)}
output.append®
store the output predictions in the database, using
the image ID as the key so we can fetch the results
db.set(imageID, json.dumps(output))
remove the set of images from our queue
db.ltrim(settings.IMAGE_QUEUE, len(imageIDs), -1)
sleep for a small amount
time.sleep(settings.SERVER_SLEEP)
if this is the main thread of execution start the model server
process
if name == “main”:
classify_process()
run_model_server.py 文件包含我们的classify_process 函数。 这个函数加载我们的模型，然后对一批图像运行预测。 这个过程最好在 GPU 上执行，但也可以使用 CPU。
在这个例子中，为了简单起见，我们将使用在 ImageNet 数据集上预训练的 ResNet50。 您可以修改classify_process 以利用您自己的深度学习模型。
WSGI 配置
==================================================================
add our app to the system path
import sys
sys.path.insert(0, “/var/www/html/keras-complete-rest-api”)
import the application and away we go…
from run_web_server import app as application

文件 keras_rest_api_app.wsgi 是我们深度学习 REST API 的一个新组件。 这个 WSGI 配置文件将我们的服务器目录添加到系统路径并导入 Web 应用程序以启动所有操作。 我们在 Apache 服务器设置文件 /etc/apache2/sites-available/000-default.conf 中指向此文件，稍后将在本博文中介绍。

压力测试

===============================================================
import the necessary packages
from threading import Thread
import requests
import time
initialize the Keras REST API endpoint URL along with the input
image path
KERAS_REST_API_URL = “http://localhost/predict”
IMAGE_PATH = “jemma.png”
initialize the number of requests for the stress test along with
the sleep amount between requests
NUM_REQUESTS = 500
SLEEP_COUNT = 0.05
def call_predict_endpoint(n):
load the input image and construct the payload for the request
image = open(IMAGE_PATH, “rb”).read()
payload = {“image”: image}
submit the request
r = requests.post(KERAS_REST_API_URL, files=payload).json()
ensure the request was sucessful
if r[“success”]:
print(“[INFO] thread {} OK”.format(n))
otherwise, the request failed
else:
print(“[INFO] thread {} FAILED”.format(n))
loop over the number of threads
for i in range(0, NUM_REQUESTS):
start a new thread to call the API
t = Thread(target=call_predict_endpoint, args=(i,))
t.daemon = True
t.start()
time.sleep(SLEEP_COUNT)
insert a long sleep so we can wait until the server is finished
processing the images
time.sleep(300)

我们的 stress_test.py 脚本将帮助我们测试服务器并确定其限制。 我总是建议对您的深度学习 REST API 服务器进行压力测试，以便您知道是否（更重要的是，何时）需要添加额外的 GPU、CPU 或 RAM。 此脚本启动 NUM_REQUESTS 线程和 POST 到 /predict 端点。 这取决于我们的 Flask 网络应用程序。

编译安装Redis

====================================================================

Redis 是一种高效的内存数据库，它将充当我们的队列/消息代理。 获取和安装Redis非常简单：

$ wget http://download.redis.io/redis-stable.tar.gz
$ tar xvzf redis-stable.tar.gz
$ cd redis-stable
$ make
$ sudo make install

创建您的深度学习 Python 虚拟环境

===============================================================================

安装附加包：

$ workon dl4cv
$ pip install flask
$ pip install gevent
$ pip install requests
$ pip install redis

安装 Apache Web 服务器

============================================================================

可以使用其他 Web 服务器，例如 nginx，但由于我对 Apache 有更多的经验（因此通常更熟悉 Apache），因此我将在此示例中使用 Apache。 Apache 可以通过以下方式安装：

$ sudo apt-get install apache2
如果您使用 Python 3 创建了一个虚拟环境，您将需要安装 Python 3 WSGI + Apache 模块：
$ sudo apt-get install libapache2-mod-wsgi-py3
$ sudo a2enmod wsgi

要验证是否安装了 Apache，请打开浏览器并输入 Web 服务器的 IP 地址。 如果您看不到服务器启动画面，请确保打开端口 80 和端口 5000。 就我而言，我服务器的 IP 地址是 54.187.46.215（你的会有所不同）。 在浏览器中输入这个，我看到：

Sym-link链接您的 Flask + 深度学习应用程序

========================================================================================

默认情况下，Apache 提供来自 /var/www/html 的内容。 我建议创建一个从 /var/www/html 到 Flask Web 应用程序的符号链接。 我已将我的深度学习 + Flask 应用程序上传到名为 keras-complete-rest-api 的目录中的主目录：

$ ls ~
keras-complete-rest-api
我可以通过以下方式将其符号链接到 /var/www/html：
$ cd /var/www/html/
$ sudo ln -s ~/keras-complete-rest-api keras-complete-rest-api

更新您的 Apache 配置以指向 Flask 应用程序

=======================================================================================

为了将 Apache 配置为指向我们的 Flask 应用程序，我们需要编辑 /etc/apache2/sites-available/000-default.conf 。 在你最喜欢的文本编辑器中打开（这里我将使用 vi ）：

$ sudo vi /etc/apache2/sites-available/000-default.conf
在文件的顶部提供您的 WSGIPythonHome（Python bin 目录的路径）和 WSGIPythonPath（Python 站点包目录的路径）配置：
WSGIPythonHome /home/ubuntu/.virtualenvs/keras_flask/bin
WSGIPythonPath /home/ubuntu/.virtualenvs/keras_flask/lib/python3.5/site-packages
<VirtualHost *:80>
…
在 Ubuntu 18.04 上，您可能需要将第一行更改为：
WSGIPythonHome /home/ubuntu/.virtualenvs/keras_flask

由于我们在本示例中使用 Python 虚拟环境（我将我的虚拟环境命名为 keras_flask ），因此我们为 Python 虚拟环境提供 bin 和 site-packages 目录的路径。 然后在 的正文中，在 ServerAdmin 和 DocumentRoot 之后，添加：

<VirtualHost *:80>
…
WSGIDaemonProcess keras_rest_api_app threads=10
WSGIScriptAlias / /var/www/html/keras-complete-rest-api/keras_rest_api_app.wsgi
<Directory /var/www/html/keras-complete-rest-api>
WSGIProcessGroup keras_rest_api_app
WSGIApplicationGroup %{GLOBAL}
Order deny,allow
Allow from all

…

符号链接 CUDA 库（可选，仅限 GPU）

如果您将 GPU 用于深度学习并希望利用 CUDA（您为什么不这样做），不幸的是，Apache 不了解 /usr/local/cuda/lib64 中的 CUDA 的 *.so 库。

我不确定什么是“最正确”的方式向 Apache 指示这些 CUDA 库所在的位置，但“完全破解”解决方案是将所有文件从 /usr/local/cuda/lib64 符号链接到 /usr/lib ：

$ cd /usr/lib

$ sudo ln -s /usr/local/cuda/lib64/* ./

重新启动 Apache Web 服务器

==============================================================================

编辑完 Apache 配置文件并可选择符号链接 CUDA 深度学习库后，请务必通过以下方式重新启动 Apache 服务器：

$ sudo service apache2 restart

测试您的 Apache Web 服务器 + 深度学习端点

=======================================================================================

要测试 Apache 是否已正确配置以提供 Flask + 深度学习应用程序，请刷新您的 Web 浏览器：

您现在应该看到文本“欢迎使用 PyImageSearch Keras REST API！” 在您的浏览器中。 一旦你达到这个阶段，你的 Flask 深度学习应用程序就应该准备好了。 综上所述，如果您遇到任何问题，请确保参考下一节……

提示：如果遇到问题，请监控 Apache 错误日志

====================================================================================

多年来，我一直在使用 Python + Web 框架，例如 Flask 和 Django，但在正确配置环境时仍然会出错。 虽然我希望有一种防弹的方法来确保一切顺利，但事实是，在此过程中可能会出现一些问题。 好消息是 WSGI 将 Python 事件（包括失败）记录到服务器日志中。 在 Ubuntu 上，Apache 服务器日志位于 /var/log/apache2/ ：

$ ls /var/log/apache2
access.log error.log other_vhosts_access.log
调试时，我经常打开一个运行的终端：
$ tail -f /var/log/apache2/error.log

…所以我可以看到第二个错误滚滚而来。 使用错误日志帮助您在服务器上启动和运行 Flask。

启动您的深度学习模型服务器

========================================================================

您的 Apache 服务器应该已经在运行。 如果没有，您可以通过以下方式启动它：

$ sudo service apache2 start
然后，您将要启动 Redis 存储：
$ redis-server

并在单独的终端中启动 Keras 模型服务器：

$ python run_model_server.py
• Loading model…
…
• Model loaded
从那里尝试向您的深度学习 API 服务提交示例图像：
$ curl -X POST -F image=@jemma.png ‘http://localhost/predict’
{
“predictions”: [
{
“label”: “beagle”,
“probability”: 0.9461532831192017
},
{
“label”: “bluetick”,
“probability”: 0.031958963721990585
},
{
“label”: “redbone”,
“probability”: 0.0066171870566904545
},
{
“label”: “Walker_hound”,
“probability”: 0.003387963864952326
},
{
“label”: “Greater_Swiss_Mountain_dog”,
“probability”: 0.0025766845792531967
}
],
“success”: true
}