Python

这一篇是《流畅的 python》读书笔记。主要介绍列表、列表推导有关的话题，最后演示如何用列表实现一个优先级队列。 Python 内置序列类型 Python 标准库用 C 实现了丰富的序列类型： 容器序列： list、tuple 和 collections.deque 这些序列能存放不同类型的数据。 扁平序列： str、bytes、bytearray、memoryview 和 array.array，这类序列只能容纳一种类型。 容器序列存放的是它们所包含的任意类型的对象的引用，而扁平序列里存放的是值而不是引用（也可以说扁平序列其实存放的是一段连续的内存空间）。 如果按序列是否可被修改来分类，序列分为可变序列 和 不可变序列: 可变序列 list、bytearray、array.array、collections.deque 和 memoryview。 不可变序列 tuple、str和 bytes。 下图显示了可变序列（MutableSequence）和不可变序列（sequence）的差异： 从这个图可以看出，可变序列从不可变序列那里继承了一些方法。 列表推导和生成器表达式 列表（list）是 Python 中最基础的序列类型。list 是一个可变序列，并且能同时存放不同类型的元素。 列表的基础用法这里就不再介绍了，这里主要介绍一下列表推导。 列表推导和可读性 列表推导是构建列表的快捷方式，并且有更好的可读性。 先看下面两段代码： #1. 把一个字符串变成 unicode 码位的列表 >>> symbols = '$&@#%^&*' >>> codes = [] >>> for symbol in symbols: codes.append(ord(symbol)) >>> codes [36, 38, 64, 35, 37, 94, 38, 42] #2. 把一个字符串变成 unicode 码位的列表 使用列表推导 >>> symbols = '$&@#%^&*' >>> codes = [ord(s) for s in symbols] >>> codes [36, 38, 64, 35, 37, 94, 38, 42] 对比发现，如果理解列表推导的话，第二段代码比第一段更简洁可读性也更好。 当然，列表推导也不应该被滥用，通常的原则是只用列表推导来创建新的列表，并且尽量保持简短。 如果列表推导超过两行，就应该考虑要不要使用 for 循环重写了。 ...

这是小程序开发第二篇，主要介绍如何上传图片到腾讯云，之所以选择腾讯云，是因为腾讯云免费空间大😂 准备工作 上传图片主要是将图片上传到腾讯云对象存储（COS）。 要使用对象存储 API，需要先执行以下步骤： 购买腾讯云对象存储（COS）服务 在腾讯云 对象存储控制台 里创建一个 Bucket 在控制台 个人 API 密钥 页面里获取 AppID、SecretID、SecretKey 内容 编写一个请求签名算法程序（或使用任何一种服务端 SDK） 计算签名，调用 API 执行操作 所以我们要做的准备工作有： 进入腾讯云官网，注册帐号 登录云对象存储服务（COS）控制台，开通COS服务，创建资源需要上传的Bucket 在小程序官网上配置域名信息（否则无法在小程序中发起对该域名的请求） 这些配置过程这里就不做说明了，接下来主要介绍步骤4、5。 小程序上传图片到 cos 流程如下图： 在这个过程中我们需要实现的是，鉴权服务器返回签名的步骤以及小程序的相关步骤。 COS鉴权服务 使用对象存储服务 COS 时，可通过 RESTful API 对 COS 发起 HTTP 匿名请求或 HTTP 签名请求，对于签名请求，COS 服务器端将会进行对请求发起者的身份验证。 匿名请求：HTTP 请求不携带任何身份标识和鉴权信息，通过 RESTful API 进行 HTTP 请求操作。 签名请求：HTTP 请求时添加签名，COS服务器端收到消息后，进行身份验证，验证成功则可接受并执行请求，否则将会返回错误信息并丢弃此请求。 腾讯云COS对象存储，基于密钥 HMAC (Hash Message Authentication Code) 的自定义 HTTP 方案进行身份验证。 上传图片是一个签名请求，需要进行签名验证。之所以我们 签名流程 客户通过对 HTTP 请求进行签名，并将签名后的请求发送至腾讯云进行签名验证，具体流程如下图所示。 我们使用 sdk 开发，这个流程大致了解下就行，签名的实现 sdk 已经包含，只需要调用方法即可。 ...

装饰器是可调用的对象，其参数是另一个函数（被装饰的函数）。 装饰器基础知识 首先看一下这段代码 def deco(fn): print "I am %s!" % fn.__name__ @deco def func(): pass # output I am func! # 没有执行func 函数 但是 deco 被执行了 HUGOMORE42 在用某个@decorator来修饰某个函数func时 @decorator def func(): pass 其解释器会解释成下面这样的语句： func = decorator(func) 其实就是把一个函数当参数传到另一个函数中，然后再回调，但是值得注意的是装饰器必须返回一个函数给func 装饰器的一大特性是，能把被装饰的函数替换成其他函数。第二大特性是，装饰器在加载模块时立即执行。 装饰器何时执行 装饰器的一个关键特性是，它们在被装饰的函数定义后立即运行。这通常在导入是（python 加载模块时）。 看下下面的示例： registry = [] # registry 保存被@register 装饰的函数的引用 def register(func): # register 的参数是一个函数 print('running register(%s)' % func) # 打印被装饰的函数 registry.append(func) # 把 func 存入 `registery` return func # 返回 func：必须返回函数，这里返回的函数与通过参数传入的一样 @register # `f1` 和 `f2`被 `@register` 装饰 def f1(): print('running f1()') @register def f2(): print('running f2()') def f3(): # <7> print('running f3()') def main(): # main 打印 `registry`，然后调用 f1()、f2()和 f3() print('running main()') print('registry ->', registry) f1() f2() f3() if __name__=='__main__': main() # <9> 运行代码结果如下： ...

Sanic 是一个和类Flask 的基于Python3.5+的web框架，它使用了 Python3 异步特性，有远超 flask 的性能。 编写 RESTful API 的时候，我们会定义特定的异常错误类型，比如我定义的错误返回值格式为： { "error_code": 0, "message": "string", "text": "string" } 不同的错误信息指定不同的 http 状态码。 sanic 提供了几种常用的 exception： NotFound(404) Forbidden(403) ServerError(500) InvalidUsage(400) Unauthorized(401) RequestTimeout(408) PayloadTooLarge(413) 这些 exception 继承自 SanicException 类： class SanicException(Exception): def __init__(self, message, status_code=None): super().__init__(message) if status_code is not None: self.status_code = status_code 从上述代码可以看出，这些异常只能指定 message 和 status_code 参数，那我们可不可以自定义 exception 然后在自定义的 exception 中增加参数呢？下面的代码是按照这个思路修改后的代码： class ApiException(SanicException): def __init__(self, code, message=None, text=None, status_code=None): super().__init__(message) self.error_code = code self.message = message self.text = text if status_code is not None: self.status_code = status_code 使用后我得到一个结果如下： ...

开发微信小程序时，接入小程序的授权登录可以快速实现用户注册登录的步骤，是快速建立用户体系的重要一步。这篇文章将介绍 python + sanic + 微信小程序实现用户快速注册登录全栈方案。 微信小程序登录时序图如下： 这个流程分为两大部分： 小程序使用 wx.login() API 获取 code，调用 wx.getUserInfo() API 获取 encryptedData 和 iv，然后将这三个信息发送给第三方服务器。 第三方服务器获取到 code、encryptedData和 iv 后，使用 code 换取 session_key，然后将 session_key 利用 encryptedData 和 iv 解密在服务端获取用户信息。根据用户信息返回 jwt 数据，完成登录。 下面我们先看一下小程序提供的 API。 小程序登录 API 在这个授权登录的过程中，用到的 API 如下： wx.login wx.getUserInfo wx.chekSession 是可选的，这里并没有用到。 wx.login(OBJECT) 调用此接口可以获取登录凭证（code），以用来换取用户登录态信息，包括用户的唯一标识（openid） 及本次登录的 会话密钥（session_key）。 如果接口调用成功，返回结果如下： 参数名 类型 说明 errMsg String 调用结果 code String 用户允许登录后，回调内容会带上 code（有效期五分钟），开发者需要将 code 发送到开发者服务器后台，使用code 换取 session_key api，将 code 换成 openid 和 session_key code 换取 session_key 开发者服务器使用登录凭证 code 获取 session_key 和 openid。其中 session_key 是对用户数据进行加密签名的密钥。为了自身应用安全，session_key 不应该在网络上传输。所以这一步应该在服务器端实现。 ...

前两篇 微信公号DIY 系列: 微信公号DIY：一小时搭建微信聊天机器人 微信公号DIY：训练聊天机器人&公号变身图片上传工具 介绍了如何使用搭建&训练聊天机器人以及让公号支持图片上传到七牛，把公号变成一个七牛图片上传客户端。这一篇将继续开发公号，让公号变成一个更加实用的工具账本（理财从记账开始）。 代码： 项目代码已上传至github，地址为gusibi/momo：https://github.com/gusibi/momo HUGOMORE42 账本功能 账本是一个功能比较简单应用，公号内只需要支持： 记账（记账，修改金额，取消记账） 账单统计（提供数据和图片形式的统计功能） 当然后台管理功能就比较多了，这个以后再介绍。 对于数据存储，我选择的是MongoDB（选MongoDB的原因是，之前没用过，想试一下），我们先看下MongoDB和关系型数据库的不同。 MongoDB 什么是MongoDB ? MongoDB 是由C++语言编写的，是一个开放源代码的面向文档的数据库,易于开发和缩放。 mongo和传统关系数据库的最本质的区别在那里呢？MongoDB 是文档模型。 关系模型和文档模型的区别在哪里？ 关系模型需要你把一个数据对象，拆分成零部件，然后存到各个相应的表里，需要的是最后把它拼起来。举例子来说，假设我们要做一个CRM应用，那么要管理客户的基本信息，包括客户名字、地址、电话等。由于每个客户可能有多个电话，那么按照第三范式，我们会把电话号码用单独的一个表来存储，并在显示客户信息的时候通过关联把需要的信息取回来。 而MongoDB的文档模式，与这个模式大不相同。由于我们的存储单位是一个文档，可以支持数组和嵌套文档，所以很多时候你直接用一个这样的文档就可以涵盖这个客户相关的所有个人信息。关系型数据库的关联功能不一定就是它的优势，而是它能够工作的必要条件。 而在MongoDB里面，利用富文档的性质，很多时候，关联是个伪需求，可以通过合理建模来避免做关联。 MongoDB 概念解析 在mongodb中基本的概念是文档、集合、数据库，下表是MongoDB和关系型数据库概念对比： SQL术语/概念 MongoDB术语/概念 解释/说明 database database 数据库 table collection 数据库表/集合 row document 数据记录行/文档 column field 数据字段/域 index index 索引 table joins 表连接,MongoDB不支持 primary key primary key 主键,MongoDB自动将_id字段设置为主键 通过下图实例，我们也可以更直观的的了解Mongo中的一些概念： 接下来，我从使用的角度来介绍下如何使用 python 如何使用MongoDB，在这个过程中，我会实现一个简单的MongoDB的ORM，同时也会解释一下涉及到的概念。 简易 Python MongoDB ORM python 使用 mongodb 首先，需要确认已经安装了 PyMongo，如果没有安装，使用以下命令安装： pip install pymongo # 或者 easy_install pymongo 详细安装步骤参考: PyMongo Installing / Upgrading ...

什么是 RESTful 什么是REST REST（英文：Representational State Transfer，又称具象状态传输）是Roy Thomas Fielding博士于2000年在他的博士论文[1] 中提出来的一种万维网软件架构风格，目的是便于不同软件/程序在网络（例如互联网）中互相传递信息。 REST 的核心是可编辑的资源及其集合，用符合 Atom 文档标准的 Feed 和 Entry 表示。每个资源或者集合有一个惟一的 URI。系统以资源为中心，构建并提供一系列的 Web 服务。 在 REST 中，开发人员显式地使用 HTTP 方法，对系统资源进行创建、读取、更新和删除的操作： 使用 POST 方法在服务器上创建资源 使用 GET 方法从服务器检索某个资源或者资源集合 使用 PUT 方法对服务器的现有资源进行更新 使用 DELETE 方法删除服务器的某个资源 如果一个架构符合REST原则，就可以称它为RESTful架构。 RESTful API 设计定义 以下是几个RESTful API的几个概念。 资源（Resource）：系统上的所有事物都被抽象为资源（一篇文章，一张照片，一段语音） 集合（Collection）：一组资源的合辑称为集合（几篇文章，几张照片） 路径（Endpoint）：路径又称”终点“，表示API的具体网址（每个网址代表一种资源） 那么一个设计良好的RESTful API应该遵循哪些原则呢？ 协议 API与用户的通信协议总是使用HTTPs协议。 域名 应该尽量将API部署在专用域名，例如： https://apis.gusibi.com API地址和版本 在url中指定API版本。比如： https://apis.gusibi.com/v1 以资源为中心设计URL 资源是RESTful API的核心元素，所有的操作都是针对特定资源进化的。而资源就是URL表示的，所以简洁、清晰、结构化的URL设计是至关重要的。 在RESTful 架构中，每个网址代表一种资源（resource），所以网址中不能有动词，只能有名词，而且所用的名词往往与数据库的表格名对应。我们来看一下 Github 的例子： /users/:username/repos /users/:org/repos /repos/:owner/:repo /repos/:owner/:repo/tags /repos/:owner/:repo/branches/:branch 使用正确的Method 对于资源的具体操作类型，使用HTTP method 表示。 以下是常用的HTTP方法。 ...

上一篇 一小时搭建微信聊天机器人 介绍了如何搭建一个可用的聊天机器人，但是和机器人聊完你会发现，聊天机器人实在是太傻了，来回就那么几句。这是因为我们给聊天机器人的数据太少，他只能在我们给的训练集中找它认为最合适的。那么，如何导入更多的训练数据呢？ 我能想到最简单的方法是找对话的数据，然后把这些数据作为训练数据训练机器人。 感谢 candlewill 已经收集好了大量的训练数据，dialog_corpus https://github.com/candlewill/Dialog_Corpus 。 HUGOMORE42 这个库中包含电影台词、中英文短信息、自然语言处理相关的数据集、小黄鸡语料等。这里我选择电影台词语料。 语料地址为：dgk_lost_conv：https://github.com/rustch3n/dgk_lost_conv chatterbot 训练逻辑处理模块 这个模块提供训练机器人的方法，chatterbot自带了通过输入list来训练（[“你好”, “你好啊”] 后者是前者的回答）以及通过导入Corpus格式文件来训练的方式。 这里我们选择使用第一种，通过输入list来训练机器人。 处理训练数据 首先下载数据集： wget https://codeload.github.com/rustch3n/dgk_lost_conv/zip/master # 解压 $ unzip dgk_lost_conv-master.zip 我们先打开一个文件看下数据结构： E M 你得想想办法 我弟弟是无辜的 M 他可是美国公民啊 M 对此我也无能为力 M 你当然能 M 再去犯罪现场看看 定能证实清白 M 你看 我不过是个夜间办事员而已 M 你若真想解决问题 M 最好等领事来 M 他早上才上班 M 我很抱歉 E M 那我自己来搞定 M 你兄弟 M 关在哪个监狱? M 索纳监狱 E M 怎么了? M 那里关的都是最穷凶极恶的罪犯 M 别的监狱都不收 .conv 语料文件中：E 是分隔符 M 表示会话。因为我是使用输入list 的方式训练数据，这时我可以以分隔符E为分隔，将一段对话放入一个list中，那么上述例子中的训练数据应该被格式化为： ...

最近借用了女朋友的公号，感觉如果只是用来发文章，太浪费微信给提供的这些功能了。想了想，先从最简单的开始，做一个聊天机器人吧。 使用Python实现聊天机器人的方案有多种：AIML、chatterBot以及图灵聊天机器人和微软小冰等。 考虑到以后可能会做一些定制化的需求，这里我选择了chatterBot（github 项目地址：https://github.com/gunthercox/ChatterBot)。 chatterbot是一款python接口的，基于一系列规则和机器学习算法完成的聊天机器人。具有结构清晰，可扩展性好，简单实用的特点。 HUGOMORE42 chatterBot 的工作流程如图： 输入模块（input adapter）从终端或者API等输入源获取数据 输入源会被指定的逻辑处理模块（logic Adapter）分别处理，逻辑处理模块会匹配训练集中已知的最接近输入数据句子A，然后根据句子A去找到相关度最高的结果B，如果有多个逻辑处理模块返回了不同的结果，会返回一个相关度最高的结果。 输出模块（output adapter）将匹配到的结果返回给终端或者API。 值得一说的是chatterBot 是一个模块化的项目，分为 input Adapter、logic Adapter、storage Adapter、output Adapter以及Trainer 模块。 logic Adapter是一个插件式设计，主进程在启动时会将用户定义的所有逻辑处理插件添加到logic context中，然后交MultiLogicAdapter 进行处理，MultiLogicAdapter 依次调用每个 logic Adapter，logic Adapter 被调用时先执行can_process 方式判断输入是否可以命中这个逻辑处理插件。比如”今天天气怎么样“这样的问题显然需要命中天气逻辑处理插件，这时时间逻辑处理插件的can_process 则会返回False。在命中后logic Adapter 负责计算出对应的回答（Statement对象）以及可信度（confidence），MultiLogicAdapter会取可信度最高的回答，并进入下一步。 下面我们来看下 chatterBot 如何使用 chatterBot 安装&使用 安装 chatterBot 是使用Python编写的，可以使用 pip 安装： pip install chatterbot chatterBot 的中文对话要求Python3 以上版本，建议在Python3.x 环境下开发 测试 打开iPython，输入测试一下 In [1]: from chatterbot import ChatBot # import ChatBot In [2]: momo = ChatBot('Momo', trainer='chatterbot.trainers.ChatterBotCorpusTrainer') /Users/gs/.virtualenvs/py3/lib/python3.6/site-packages/chatterbot/storage/jsonfile.py:26: UnsuitableForProductionWarning: The JsonFileStorageAdapter is not recommended for production environments. self.UnsuitableForProductionWarning # 这里storage adapter 默认使用的是 json 格式存储数据的，如果想在服务端部署，应该避免使用这种格式，因为实在是太慢了 In [3]: momo.train("chatterbot.corpus.chinese") # 指定训练集，这里我们使用中文 # 下边是对话结果 In [4]: momo.get_response('你好') Out[4]: <Statement text:你好> In [5]: momo.get_response('怎么了') Out[5]: <Statement text:没什么.> In [6]: momo.get_response('你知道它的所有内容吗?') Out[6]: <Statement text:优美胜于丑陋.> In [7]: momo.get_response('你是一个程序员吗?') Out[7]: <Statement text:我是个程序员> In [8]: momo.get_response('你使用什么语言呢？') Out[8]: <Statement text:我经常使用 Python, Java 和 C++ .> 这时你已经可以和机器人对话了，不过现在由于训练数据太少，机器人只能返回简单的对话。 ...

这一篇是Python并发的第四篇，主要介绍进程和线程的定义，Python线程和全局解释器锁以及Python如何使用thread模块处理并发，这篇文章之前发过，但是前几篇介绍到了并发，就顺便再发一下组成一个系列 引言&动机 考虑一下这个场景，我们有10000条数据需要处理，处理每条数据需要花费1秒，但读取数据只需要0.1秒，每条数据互不干扰。该如何执行才能花费时间最短呢？ 在多线程(MT)编程出现之前，电脑程序的运行由一个执行序列组成，执行序列按顺序在主机的中央处理器(CPU)中运行。无论是任务本身要求顺序执行还是整个程序是由多个子任务组成，程序都是按这种方式执行的。即使子任务相互独立，互相无关(即，一个子任务的结果不影响其它子 任务的结果)时也是这样。 HUGOMORE42 对于上边的问题，如果使用一个执行序列来完成，我们大约需要花费 10000*0.1 + 10000 = 11000 秒。这个时间显然是太长了。 那我们有没有可能在执行计算的同时取数据呢？或者是同时处理几条数据呢？如果可以，这样就能大幅提高任务的效率。这就是多线程编程的目的。 对于本质上就是异步的， 需要有多个并发事务，各个事务的运行顺序可以是不确定的，随机的，不可预测的问题，多线程是最理想的解决方案。这样的任务可以被分成多个执行流，每个流都有一个要完成的目标，然后将得到的结果合并，得到最终的结果。 线程和进程 什么是进程 进程(有时被称为重量级进程)是程序的一次 执行。每个进程都有自己的地址空间，内存，数据栈以及其它记录其运行轨迹的辅助数据。操作系 统管理在其上运行的所有进程，并为这些进程公平地分配时间。进程也可以通过 fork 和 spawn 操作 来完成其它的任务。不过各个进程有自己的内存空间，数据栈等，所以只能使用进程间通讯(IPC)， 而不能直接共享信息。 什么是线程 线程(有时被称为轻量级进程)跟进程有些相似，不同的是，所有的线程运行在同一个进程中， 共享相同的运行环境。它们可以想像成是在主进程或“主线程”中并行运行的“迷你进程”。 线程状态如图 线程有开始，顺序执行和结束三部分。它有一个自己的指令指针，记录自己运行到什么地方。 线程的运行可能被抢占(中断)，或暂时的被挂起(也叫睡眠)，让其它的线程运行，这叫做让步。 一个进程中的各个线程之间共享同一片数据空间，所以线程之间可以比进程之间更方便地共享数据以及相互通讯。 当然，这样的共享并不是完全没有危险的。如果多个线程共同访问同一片数据，则由于数据访 问的顺序不一样，有可能导致数据结果的不一致的问题。这叫做竞态条件(race condition)。 线程一般都是并发执行的，不过在单 CPU 的系统中，真正的并发是不可能的，每个线程会被安排成每次只运行一小会，然后就把 CPU 让出来，让其它的线程去运行。由于有的函数会在完成之前阻塞住，在没有特别为多线程做修改的情 况下，这种“贪婪”的函数会让 CPU 的时间分配有所倾斜。导致各个线程分配到的运行时间可能不 尽相同，不尽公平。 Python、线程和全局解释器锁 全局解释器锁(GIL) 首先需要明确的一点是GIL并不是Python的特性，它是在实现Python解析器(CPython)时所引入的一个概念。就好比C++是一套语言（语法）标准，但是可以用不同的编译器来编译成可执行代码。同样一段代码可以通过CPython，PyPy，Psyco等不同的Python执行环境来执行（其中的JPython就没有GIL）。 那么CPython实现中的GIL又是什么呢？GIL全称Global Interpreter Lock为了避免误导，我们还是来看一下官方给出的解释： In CPython, the global interpreter lock, or GIL, is a mutex that prevents multiple native threads from executing Python bytecodes at once. This lock is necessary mainly because CPython’s memory management is not thread-safe. (However, since the GIL exists, other features have grown to depend on the guarantees that it enforces.) ...