Python

gRPC 一开始由 google 开发，是一款语言中立、平台中立、开源的远程过程调用(RPC)系统。 本文通过一个简单的 Hello World 例子来向您介绍 gRPC 。 gRPC 是什么？ gRPC 也是基于以下理念：定义一个服务，指定其能够被远程调用的方法（包含参数和返回类型）。在服务端实现这个接口，并运行一个 gRPC 服务器来处理客户端调用。在客户端拥有一个存根能够像服务端一样的方法。 在 gRPC 里客户端应用可以像调用本地对象一样直接调用另一台不同的机器上服务端应用的方法，使得我们能够更容易地创建分布式应用和服务。 gRPC 客户端和服务端可以在多种环境中运行和交互，并且可以用任何 gRPC 支持的语言来编写。 gRPC 支持 C++ Java Python Go Ruby C# Node.js PHP Dart 等语言 gRPC 默认使用 protocol buffers，这是 Google 开源的一种轻便高效的结构化数据存储格式，可以用于结构化数据串行化，或者说序列化。它很适合做数据存储或 RPC 数据交换格式。 安装 Google Protocol Buffer 方法一（建议使用） 参考文档：gRPC Python Quickstart 1. 安装 gRPC python -m pip install grpcio # 或者 sudo python -m pip install grpcio # 在 El Capitan OSX 系统下可能会看到以下报错 $ OSError: [Errno 1] Operation not permitted: '/tmp/pip-qwTLbI-uninstall/System/Library/Frameworks/Python.framework/Versions/2.7/Extras/lib/python/six-1.4.1-py2.7.egg-info' # 可以使用以下命令 python -m pip install grpcio --ignore-installed 2. 安装 gRPC tools Python gPRC tools 包含 protocol buffer 编译器和用于从 .proto 文件生成服务端和客户端代码的插件 ...

Newrelic 是APM（Application Performance Management）（应用性能管理/监控）解决方案提供商。项目中，通常用它来追踪应用的性能。最近看了一下 newrelic-python-agent 源码，这是查看源码过程中的一些记录。 目录结构 newrelic 目录结构如下： newrelic ├── admin # 常用命令 ├── api # 探针 ├── bootstrap ├── common ├── core ├── extras │ └── framework_django │ └── templatetags ├── hooks # 数据库 web 各个库的一些探针 │ ├── framework_tornado │ ├── framework_tornado_r3 │ └── framework_tornado_r4 ├── network ├── packages │ ├── requests │ │ └── packages │ │ ├── chardet │ │ └── urllib3 │ │ ├── packages │ │ │ └── ssl_match_hostname │ │ └── util │ └── wrapt └── samplers 命令 使用 newrelic-admin help 可以列出所有命令： ...

命令模式 题目： 现在要做一个智能家居控制遥控器，功能如下图所示。 下图是家电厂商提供的类，接口各有差异，并且以后这种类可能会越来越多。 观察厂商提供的类，你会发现，好多类提供了 on()、off() 方法，除此之外，还有一些方法像 dim()、setTemperature()、setVolumn()、setDirection()。由此我们可以想象，之后还会有更多的厂商类，每个类还会有各式各样的方法。 如果我们把这些类都用到遥控器代码中，代码就会多一大堆的 if 语句，例如 if slot1 == Light: light.on() elif slot1 == Hottub: hottob.jetsOn() 并且更严重的是，每次有新的厂商类加进来，遥控器的代码都要做相应的改动。 这个时候我们就要把动作的请求者（遥控器）从动作的执行者（厂商类）对象中解耦。 如何实现解耦呢？ 我们可以使用命令对象。利用命令对象，把请求（比如打开电灯）封装成一个特定对象。所以，如果对每个按钮都存储一个命令对象，那么当按钮按下的时候，就可以请求命令对象做相关的工作。此时，遥控器并不需要知道工作的内容是什么，只要有个命令对象能和正确的对象沟通，把事情做好就可以了。 下面我们拿餐厅点餐的操作来介绍下命令模式。 餐厅通常是这样工作的： 顾客点餐，把订单交给服务员 服务员拿了订单，把订单交给厨师。 厨师拿到订单后根据订单准备餐点。 这里我们把订单想象成一个用来请求准备餐点的对象， 和一般对象一样，订单对象可以被传递：从服务员传递到订单柜台，订单的接口只包含一个方法 orderUp()。这个方法封装了准备餐点所需的动作。 服务员的工作就是接受订单，然后调用订单的 orderUp() 方法，她不需要知道订单内容是什么。 厨师是一个对象，他知道如何准备准备餐点，是任务真正的执行者。 如果我们把餐厅想象成OO 设计模式的一种模型，这个模型允许将”发出请求的对象“和”接受与执行这些请求的对象“分隔开来。比如对于遥控器 API，我们要分隔开”发出请求的按钮代码“和”执行请求的厂商特定对象”。 回到命令模式我们把餐厅的工作流程图转换为命令模式的流程图：这里 client 对应上一张图的顾客，command 对应订单，Invoker 对应服务员，Receiver 对应的是厨师。 命令模式 先来看下命令模式的定义： 命令模式将”请求“封装成对象，以便使用不同的请求、队列或者日志来参数化其他对象。命令模式也支持可撤销的操作。 通过上边的定义我们知道，一个命令对象通过在特定接收者上绑定一组动作来封装一个请求。要达到这一点，命令对象将动作和接收者包进对象中。这个对象只暴露一个 execute() 方法，当此方法被调用时，接收者就会进行这些动作。 命令模式类图如下： 回到遥控器的设计：我们打算将遥控器的每个插槽，对应到一个命令，这样就让遥控器变成了调用者。当按下按钮，相应命令对象的 execute() 方法就会被调用，其结果就是接收者(例如：电灯、风扇、音响)的动作被调用。 命令模式还支持撤销，该命令提供和 execute() 方法相反的 undo() 方法。不管 execute() 做了什么，undo() 都会倒转过来。 ...

这一篇是《流畅的 python》读书笔记。主要介绍： 常见的字典方法 如何处理查不到的键 标准库中 dict 类型的变种 散列表的工作原理 泛映射类型 collections.abc 模块中有 Mapping 和 MutableMapping 这两个抽象基类，它们的作用是为 dict 和其他类似的类型定义形式接口。 标准库里所有映射类型都是利用 dict 来实现的，它们有个共同的限制，即只有可散列的数据类型才能用做这些映射里的键。 问题： 什么是可散列的数据类型？ 在 python 词汇表（https://docs.python.org/3/glossary.html#term-hashable）中，关于可散列类型的定义是这样的： 如果一个对象是可散列的，那么在这个对象的生命周期中，它的散列值是不变的，而且这个对象需要实现 __hash__() 方法。另外可散列对象还要有 __eq__() 方法，这样才能跟其他键做比较。如果两个可散列对象是相等的，那么它们的散列只一定是一样的 根据这个定义，原子不可变类型（str，bytes和数值类型）都是可散列类型，frozenset 也是可散列的（因为根据其定义，frozenset 里只能容纳可散列类型），如果元组内都是可散列类型的话，元组也是可散列的（元组虽然是不可变类型，但如果它里面的元素是可变类型，这种元组也不能被认为是不可变的）。 一般来讲，用户自定义的类型的对象都是可散列的，散列值就是它们的 id() 函数的返回值，所以这些对象在比较的时候都是不相等的。（如果一个对象实现了 eq 方法，并且在方法中用到了这个对象的内部状态的话，那么只有当所有这些内部状态都是不可变的情况下，这个对象才是可散列的。） 根据这些定义，字典提供了很多种构造方法，https://docs.python.org/3/library/stdtypes.html#mapping-types-dict 这个页面有个例子来说明创建字典的不同方式。 >>> a = dict(one=1, two=2, three=3) >>> b = {'one': 1, 'two': 2, 'three': 3} >>> c = dict(zip(['one', 'two', 'three'], [1, 2, 3])) >>> d = dict([('two', 2), ('one', 1), ('three', 3)]) >>> e = dict({'three': 3, 'one': 1, 'two': 2}) >>> a == b == c == d == e True 除了这些方法以外，还可以用字典推导的方式来建造新 dict。 ...

问题：现代化的巧克力工厂具备计算机控制的巧克力锅炉。锅炉做的事情就是把巧克力和牛奶融在一起，然后送到下一个阶段，以制成巧克力棒。下边是一个巧克力公司锅炉控制器的代码，仔细观察一下，这段代码有什么问题？ class ChocolateBoiler(object): def __init__(self): self.empty = True self.boiled = False def fill(self): # 向锅炉填充巧克力和牛奶混合物 # 在锅炉内填充原料时，锅炉必须是空的。 # 一旦填入原料，就要把empty 和 boiled 标志设置好 if self.empty: self.empty = False self.boiled = False def drain(self): # 排出煮沸的巧克力和牛奶 # 锅炉排出时，必须是满的且煮沸的。 # 排出完毕empty 设置为 true if not self.empty and self.boiled: self.empty = True def boil(self): # 将颅内物煮沸 # 煮混合物时，锅炉内必须是满的且没有煮沸过 # 一旦煮沸，就把 boiled 设置为 true if not self.empty and not self.boiled: self.boiled = True 从代码可以看出，他们加入了多种判断，以防止不好的事情发生。如果同时存在两个ChocolateBoiler实例，那这么多判断岂不是失去作用了。那我们改如何实现这个需求呢？这个问题的核心是，我们要先判断实例是不是已经存在，如果存在就不再创建。 _chocolate_boiler_instance = None # 声明实例 def chocolate_boiler(): global _chocolate_boiler_instance # 使用全局变量 if _chocolate_boiler_instance is not None: # 判断是否存在，如果存在，直接返回 return _chocolate_boiler_instance else: # 如果不存在，创建一个新的 _chocolate_boiler_instance = ChocolateBoiler() return _chocolate_boiler_instance 现在我们需要获取 ChocolateBoiler 实例的时候只需要调用 chocolate_boiler 方法获取实例即可保证同时只有一个 ChocolateBoiler实例。 ...

问题：在上一篇python设计模式：抽象工厂模式中，我们尝试用抽象工厂模式规范化了 Pizza 原材料的供应以及 Pizza 的创建。但是我们忽略了一个问题，那就是每种 Pizza 的烘焙时间依赖于生面团的厚度和使用的配料，它们所需的时间是不一样的。那这时我们改如何处理呢？ Pizza 的制作流程包括：准备（擀面皮、加佐料），然后烘烤、切片、装盒。这些有特定的顺序，不能错乱。 为了保证 生产 Pizza 的步骤不会出错，我们打算指派一个创建者，创建者用于控制 Pizza 的制作流程。 创建 Pizza 创建者 首先我们定义一个 Pizza class Pizza: def __init__(self, name): self.name = name self.dough = None self.sauce = None self.toppings = [] def prepare_dough(self, dough): self.dough = dough print(self.dough) print('preparing the {} dough of your {}...'.format(self.dough, self)) time.sleep(STEP_DELAY) print('Done with the {} dough'.format(self.dough)) def __str__(self): return self.name 然后我们抽象出一个创建者： class PizzaBuilder(object): name = None def __init__(self): self.progress = PIZZA_PROGRESS self.baking_time = 5 def prepare_dough(self): raise NotImplementedError() def add_sauce(self): raise NotImplementedError() def add_topping(self): raise NotImplementedError() def bake(self): raise NotImplementedError() def cut(self): raise NotImplementedError() def box(self): raise NotImplementedError() @property def pizza(self): return Pizza(self.name) 创建具体建造者 class NYStyleCheeseBuilder(PizzaBuilder): name = 'NY Style Sauce and Cheese Pizza' def prepare_dough(self): self.progress = PIZZA_PROGRESS[0] self.pizza.prepare_dough('thin') def add_sauce(self): print('adding the tomato sauce to your pizza..') self.pizza.sauce = 'tomato' time.sleep(STEP_DELAY) print('done with the tomato sauce') def add_topping(self): print('adding the topping (grated reggiano cheese) to your pizza') self.pizza.toppings.append(["Grated", "Reggiano", "Cheese"]) time.sleep(STEP_DELAY) print('done with the topping (grated reggiano cheese)') def bake(self): self.progress = PIZZA_PROGRESS[1] print('baking your pizza for {} seconds'.format(self.baking_time)) time.sleep(self.baking_time) def cut(self): self.progress = PIZZA_PROGRESS[2] print("Cutting the pizza into diagonal slices") def box(self): self.progress = PIZZA_PROGRESS[3] print("Place pizza in official PizzaStore box") 创建指挥者 class Waiter: # 指挥者 def __init__(self): self.builder = None def construct_pizza(self, builder): self.builder = builder # 一旦我们有了一个 pizza，需要做一些准备（擀面皮、加佐料），然后烘烤、切片、装盒 [step() for step in (builder.prepare_dough, builder.add_sauce, builder.add_topping, builder.bake, builder.cut, builder.box)] @property def pizza(self): return self.builder.pizza 完整代码参考：python-design-patter-builder ...

问题：在上一篇 python设计模式：工厂方法模式我们尝试使用工厂方法创建了披萨店，现在为了保证披萨加盟店也能有良好的声誉，我们需要统一原材料，这个该如何做呢？ 为了确保每家加盟店都是用高质量的原材料，我们打算建造一加原材料工厂，并将原材料运送到各个加盟店。每个加盟店会对原材料有不同的需求，这里我们就可以用上上一篇介绍的工厂方法模式了。 首先，建造原料工厂 然后建造区域的原料工厂（继承自原料工厂） 在区域的原料工厂中实现原料的创建方法。 将原料工厂组合起来，加入到 PizzaStore（上一篇中由工厂方法实现）代码中。 按照这个思路，我们先创建原料工厂 创建原料工厂 创建原料工厂的实现代码如下： # 原料 class FreshClams: def __str__(self): return 'Fresh Clams' class MarinaraSauce: def __str__(self): return "Marinara Sauce" class ThickCrustDough: def __str__(self): return "Thick Crust Dough" class ReggianoCheese: def __str__(self): return "Reggiano Cheese" class SlicedPepperoni: def __str__(self): return "Sliced Pepperoni" class Garlic: def __str__(self): return "Garlic" class Onion: def __str__(self): return "Onion" class RedPepper: def __str__(self): return "Red Pepper" # 披萨店原料工厂 class PizzaIngredientFactory: ''' 定义原料工厂 ''' def create_dough(self): raise NotImplementedError() def create_sauce(self): raise NotImplementedError() def create_cheese(self): raise NotImplementedError() def create_pepperoni(self): raise NotImplementedError() def create_clam(self): raise NotImplementedError() def create_veggies(self): raise NotImplementedError() 在这个工厂中，每个原料都是一个方法，原料的实现需要在具体的原料工厂中实现。 这里每个原料方法没有做任何工作，只是抛出了NotImplementedError 这样做是为了强制子类重新实现相应的方法，如果不重新实现用到时就会抛出 NotImplementedError。 ...

题目：假设你有一个 pizza 店，功能包括下订单、做 pizza，你的代码会如何写呢？ def order_pizza(): pizza = Pizza() pizza.prepare() pizza.bake() pizza.cut() pizza.box() return pizza 但是现在你遇到了一个问题，你的 pizza 店需要更多的 pizza，所以现在你需要增加一些代码，来决定适合的 pizza 类型，然后再制造这个 pizza： def order_pizza(pizza_type): # 现在把 pizza 的类型传入 order_pizza() # 根据 pizza 类型，我们实例化正确的具体类，然后将其赋值给 pizza 实例变量 if pizza_type == 'cheese': pizza = CheesePizza() elif pizza_type == 'greek': pizza = GreekPizza() elif pizza_type == 'pepperoni': pizza = PepperoniPizza() # 一旦我们有了一个 pizza，需要做一些准备（擀面皮、加佐料），然后烘烤、切片、装盒 pizza.prepare() pizza.bake() pizza.cut() pizza.box() return pizza 但是经过几天的实践，你发现顾客喜欢点的 ClamPizza、Veggie Pizza 而 Greek pizza 并没有什么人喜欢，这个时候需要修改代码： ...

题目：现在你有一个数字，默认格式化程序是以十进制格式展示此数值，但需要提供一个功能，这个程序要支持添加/注册更多的格式化程序（比如：添加一个十六进制格式化程序和一个二进制格式化程序）。每次数值更新时，已注册的程序就会收到通知，并显示更新后的值。 我们看下需求： NumberFormatter 有一个 number 属性 当 number 值修改时，相关的格式化方式展示结果要改变 此系统必须可扩展已适应其他格式化方式的使用。 一个错误的实现可能是这样的： class NumberFormatter(object): def __init__(self, number): self.number = number def show_data(self): self.default_formatter() self.hex_formatter() self.binary_formatter() def default_formatter(self): pass def hex_formatter(self): pass def binary_formatter(self): pass 我们可以这么使用： number = NumberFormatter(10) number.show_data() 但是这样会有一个问题：这种针对实现的编程会导致我们在增加或者删除需要格式化方式时必须修改代码。比如我们现在不再需要十六进制数字格式的显示，就需要把 hex_formatter 相关的代码删除或者注释掉。 要解决这个问题，就可以用到我们这次要介绍的观察者模式了。 什么是观察者模式 认识观察者模式 我们先看看报纸和杂志的订阅是怎么回事： 报社的业务就是出版报纸 向某家报社订阅报纸，只要他们有新报纸，就会给你送来，只要你是他们的订户，你就会一直受到新报纸。 当你不再想看的时候，取消订阅，他们就不会在送新报纸给你 只要报社还在运营，就会一直有人向他们订阅报纸或取消订阅。 我们用图表示一下，这里出版者 改称为主题(Subject)，订阅者改称为观察者(Observer)： 1. 开始的时候，鸭子对象不是观察者 2. 鸭子对象过来告诉主题，它想当一个观察者（鸭子其实想说的是：我对你的数据改变感兴趣，一有变化请通知我） 3. 鸭子对象已经是观察者了（鸭子静候通知，一旦接到通知，就会得到一个整数）。 4. 主题有了新的数据（现在鸭子和其他所有观察者都会受到通知：主题已经改变） 5. 老鼠对象要求从观察者中把自己除名（老鼠已经观察次主题太久，决定不再当观察者了）。 6. 老鼠离开了（主题知道老鼠的请求后，把它从观察者中移除了）。 7. 主题有了一个新的整数（除了老鼠之外，每个观察者都会收到通知，如果老鼠又想当观察者了，它还可以再回来） 定义观察者模式 当你试图勾勒观察者模式时，可以利用报纸订阅服务，以及出版这和订阅者比你这一切。在程序设计中，观察者模式通常被定义为： 观察者模式定义了对象之间的一对多依赖，这样一来，当一个对象改变状态是，它的所有依赖者都会收到通知并自动更新。 我们和之前的例子做个对比： ...

这一篇是《流畅的 python》读书笔记。主要介绍元组、分片、序列赋值以及引用了大师 Edsger W.Dijkstra为什么序列从0开始计数的解释。 元组 在有些python 的介绍中，元组被称为不可变列表，这其实是不准确的，没有完全概括元组的特点。元组除了用作不可变列表，还可以用于没有字段名的记录。 元组和记录 元组其实是对数据的记录：元组中的每个元素都存放了记录中一个字段的数据，外加这个数据的位置。 如果把元组当作一些字段的集合，数量和位置信息会变得非常重要。比如以下几条用元组表示的记录： >>> lax_coordinates = (33.9425, -118.408056) # 洛杉矶国际机场的经纬度 # 东京的一些信息：市名、年份、人口、人口变化和面积 >>> city, year, pop, chg, area = ('Tokyo', 2003, 32450, 0.66, 8014) 以上这两个元组每个位置都对应一个数据记录。 元组拆包 >>> city, year, pop, chg, area = ('Tokyo', 2003, 32450, 0.66, 8014) 这个例子中，我们把元组的数据用一条语句分别赋值给 city, year, pop, chg, area，这就是元组拆包的一个具体应用。 元组拆包可以应用到任何可迭代对象上，但是被迭代的对象窄的元素的数量必须跟接受这些元素的元组的空档数一致。 比如： >>> lax_coordinates = (33.9425, -118.408056) >>> latitude, longitude = lax_coordinates >>> latitude 33.9425 >>> longitude -118.408056 还可以用 * 运算符把一个可迭代对象拆开作为函数的参数： >>> divmod(20, 8) (2, 4) >>> t = (20, 8) >>> divmode(*t) (2, 4) >>> quotient, remainder = divmode(*t) >>> quotient, remainder (2, 4) 在进行拆包是，我们可能对元组的某些值并不感兴趣，这时可以用 _ 占位符处理。比如： ...