Development

本文是《垃圾回收的算法与实现》读书笔记 什么是GC标记-清除算法（Mark Sweep GC） GC 标记-清除算法由标记阶段和清除阶段构成。在标记阶段会把所有的活动对象都做上标记，然后在清除阶段会把没有标记的对象，也就是非活动对象回收。 名词解释： 在 GC 的世界里对象指的是通过应用程序利用的数据的集合。是 GC 的基本单位。一般由头（header）和域（field）构成。 活动对象:能通过引用程序引用的对象就被称为活动对象。（可以直接或间接从全局变量空间中引出的对象） 非活动对象:不能通过程序引用的对象呗称为非活动对象。（这就是被清除的目标） 标记-清除算法的伪代码如下所示： func mark_sweep(){ mark_phase() // 标记阶段 sweep_phase() // 清除阶段 } 标记阶段 标记阶段就是遍历对象并标记的处理过程。 标记阶段伪代码如下： func mark_phase(){ for (r : $roots) // 在标记阶段，会给所有的活动对象打上标记 mark(*r) } func mark(){ if (obj.mark == False) obj.mark = True // 先标记找出的活动对象 for (child: children(obj)) // 然后递归的标记通过指针数组能访问到的对象 mark(*child) } 这里 $root 是指针对象的起点，通过$root 可以遍历全部活动对象。 下图是标记前和标记后内存中堆的状态 清除阶段 在清除阶段，collector 会遍历整个堆，回收没有打上标记的对象（垃圾），使其能再次利用。 sweep_phase() 函数伪代码实现如下： func sweep_phase(){ sweeping = $heap_start // 首先将堆的首地址赋值给 sweeping while(sweeping < $head_end){ if(sweeping.mark == TRUE) // 如果是标记状态就设为 FALSE，如果是活动对象，还会在标记阶段被标记为 TRUE sweeping.mark == FALSE else: sweeping.next = $free_list // 将非活动对象 拼接到 $free_list 头部位置 $free_list = sweeping sweeping += sweeping.size } } size 域指的是存储对象大小的域，在对象头中事先定义。 ...

最近有文字转图片的需求，但是不太想下载 APP，就使用 Python Pillow 实现了一个，效果如下： PIL 提供了 PIL.ImageDraw.ImageDraw.text 方法，可以方便的把文字写到图片上，简单示例如下： from PIL import Image, ImageDraw, ImageFont # get an image base = Image.open('Pillow/Tests/images/hopper.png').convert('RGBA') # make a blank image for the text, initialized to transparent text color txt = Image.new('RGBA', base.size, (255,255,255,0)) # get a font fnt = ImageFont.truetype('Pillow/Tests/fonts/FreeMono.ttf', 40) # get a drawing context d = ImageDraw.Draw(txt) # draw text, half opacity d.text((10,10), "Hello", font=fnt, fill=(255,255,255,128)) # draw text, full opacity d.text((10,60), "World", font=fnt, fill=(255,255,255,255)) out = Image.alpha_composite(base, txt) out.show() 为什么要计算文字的宽高呢？把文字直接写到背景图不可以么？ ...

gRPC 一开始由 google 开发，是一款语言中立、平台中立、开源的远程过程调用(RPC)系统。 本文通过一个简单的 Hello World 例子来向您介绍 gRPC 。 gRPC 是什么？ gRPC 也是基于以下理念：定义一个服务，指定其能够被远程调用的方法（包含参数和返回类型）。在服务端实现这个接口，并运行一个 gRPC 服务器来处理客户端调用。在客户端拥有一个存根能够像服务端一样的方法。 在 gRPC 里客户端应用可以像调用本地对象一样直接调用另一台不同的机器上服务端应用的方法，使得我们能够更容易地创建分布式应用和服务。 gRPC 客户端和服务端可以在多种环境中运行和交互，并且可以用任何 gRPC 支持的语言来编写。 gRPC 支持 C++ Java Python Go Ruby C# Node.js PHP Dart 等语言 gRPC 默认使用 protocol buffers，这是 Google 开源的一种轻便高效的结构化数据存储格式，可以用于结构化数据串行化，或者说序列化。它很适合做数据存储或 RPC 数据交换格式。 安装 Google Protocol Buffer 方法一（建议使用） 参考文档：gRPC Python Quickstart 1. 安装 gRPC python -m pip install grpcio # 或者 sudo python -m pip install grpcio # 在 El Capitan OSX 系统下可能会看到以下报错 $ OSError: [Errno 1] Operation not permitted: '/tmp/pip-qwTLbI-uninstall/System/Library/Frameworks/Python.framework/Versions/2.7/Extras/lib/python/six-1.4.1-py2.7.egg-info' # 可以使用以下命令 python -m pip install grpcio --ignore-installed 2. 安装 gRPC tools Python gPRC tools 包含 protocol buffer 编译器和用于从 .proto 文件生成服务端和客户端代码的插件 ...

Newrelic 是APM（Application Performance Management）（应用性能管理/监控）解决方案提供商。项目中，通常用它来追踪应用的性能。最近看了一下 newrelic-python-agent 源码，这是查看源码过程中的一些记录。 目录结构 newrelic 目录结构如下： newrelic ├── admin # 常用命令 ├── api # 探针 ├── bootstrap ├── common ├── core ├── extras │ └── framework_django │ └── templatetags ├── hooks # 数据库 web 各个库的一些探针 │ ├── framework_tornado │ ├── framework_tornado_r3 │ └── framework_tornado_r4 ├── network ├── packages │ ├── requests │ │ └── packages │ │ ├── chardet │ │ └── urllib3 │ │ ├── packages │ │ │ └── ssl_match_hostname │ │ └── util │ └── wrapt └── samplers 命令 使用 newrelic-admin help 可以列出所有命令： ...

上一篇我们了解了golang 的变量、函数和基本类型，这一篇将介绍一下控制流 现在我们看一个复杂点的例子: fibonacci(递归版) package main import "fmt" func main() { result := 0 for i := 0; i <= 10; i++ { result = fibonacci(i) fmt.Printf("fibonacci(%d) is: %d\n", i, result) } } func fibonacci(n int) (res int) { if n <= 1 { res = 1 } else { res = fibonacci(n-1) + fibonacci(n-2) } return } // outputs fibonacci(0) is: 1 fibonacci(1) is: 1 fibonacci(2) is: 2 fibonacci(3) is: 3 fibonacci(4) is: 5 fibonacci(5) is: 8 fibonacci(6) is: 13 fibonacci(7) is: 21 fibonacci(8) is: 34 fibonacci(9) is: 55 fibonacci(10) is: 89 for i := 0; i <= 10; i++ {} 第7行是一个循环结构 这里for 循环是一个控制流 控制流 For Go 只有一种循环接口– for 循环 ...

场景：现在需要开发一个前后端分离的应用，后端采用 RESTful API 最为方便，但是如果这个后端服务会在一天中的某些时候有高并发的情况，使用什么样的架构最为简单呢？ 刚思考这个问题的时候我想到的解决方案可能有以下几种： 使用CDN内容分发网络，减少主服务器的压力 使用LVS服务器负载均衡 使用缓存 硬件层 提高带宽，使用SSD 硬盘，使用更好的服务器 代码层，优化代码（使用性能更好的语言等 ​ 但以上的几个方法都需要关注服务器的存储和计算资源，以便随时调整以满足更高的性能，并且高并发的请求也是分时段的，配置了更高性能的服务器在访问量变低的时候也是资源浪费。 这个时候可以使用 FaaS（Functions as a Service） 架构，跟传统架构不同在于，他们运行于无状态的容器中，可以由事件触发，短暂的，完全被第三方管理，功能上FaaS就是不需要关心后台服务器或者应用服务，只需关心自己的代码即可。其中AWS Lambda是目前最佳的FaaS实现之一。 AWS Lambda AWS Lambda 是一项计算服务，使用时无需预配置或管理服务器即可运行代码。AWS Lambda 只在需要时执行代码并自动缩放。借助 AWS Lambda，几乎可以为任何类型的应用程序或后端服务运行代码，而且无需执行任何管理。现在 AWS Lambda 支持 Node.js、Java、C# 和 Python。 使用场景 Lambda 常见的应用场景有以下几种： 将Lambda 作为事件源用于 AWS 服务（比如音频上传到 s3后，触发 Lambda 音频转码服务，转码音频文件 通过 HTTPS (Amazon API Gateway) 实现的按需 Lambda 函数调用（配合 API Gateway创建简单的微服务 按需 Lambda 函数调用（使用自定义应用程序构建您自己的事件源） 计划的事件（比如每天晚上12点生成报表发送到指定邮箱 下图是将Lambda 作为事件源用于 AWS 服务案例的一个执行流程图： 用户将对象上传到 S3 存储桶（对象创建事件）。 Amazon S3 检测到对象创建事件。 Amazon S3 调用在存储桶通知配置中指定的 Lambda 函数。 AWS Lambda 通过代入您在创建 Lambda 函数时指定的执行角色来执行 Lambda 函数。 Lambda 函数执行。 这篇文章主要介绍 将 Lambda 作为事件源用于 AWS 服务 和 配合 API Gateway 创建简单的微服务。 ...

命令模式 题目： 现在要做一个智能家居控制遥控器，功能如下图所示。 下图是家电厂商提供的类，接口各有差异，并且以后这种类可能会越来越多。 观察厂商提供的类，你会发现，好多类提供了 on()、off() 方法，除此之外，还有一些方法像 dim()、setTemperature()、setVolumn()、setDirection()。由此我们可以想象，之后还会有更多的厂商类，每个类还会有各式各样的方法。 如果我们把这些类都用到遥控器代码中，代码就会多一大堆的 if 语句，例如 if slot1 == Light: light.on() elif slot1 == Hottub: hottob.jetsOn() 并且更严重的是，每次有新的厂商类加进来，遥控器的代码都要做相应的改动。 这个时候我们就要把动作的请求者（遥控器）从动作的执行者（厂商类）对象中解耦。 如何实现解耦呢？ 我们可以使用命令对象。利用命令对象，把请求（比如打开电灯）封装成一个特定对象。所以，如果对每个按钮都存储一个命令对象，那么当按钮按下的时候，就可以请求命令对象做相关的工作。此时，遥控器并不需要知道工作的内容是什么，只要有个命令对象能和正确的对象沟通，把事情做好就可以了。 下面我们拿餐厅点餐的操作来介绍下命令模式。 餐厅通常是这样工作的： 顾客点餐，把订单交给服务员 服务员拿了订单，把订单交给厨师。 厨师拿到订单后根据订单准备餐点。 这里我们把订单想象成一个用来请求准备餐点的对象， 和一般对象一样，订单对象可以被传递：从服务员传递到订单柜台，订单的接口只包含一个方法 orderUp()。这个方法封装了准备餐点所需的动作。 服务员的工作就是接受订单，然后调用订单的 orderUp() 方法，她不需要知道订单内容是什么。 厨师是一个对象，他知道如何准备准备餐点，是任务真正的执行者。 如果我们把餐厅想象成OO 设计模式的一种模型，这个模型允许将”发出请求的对象“和”接受与执行这些请求的对象“分隔开来。比如对于遥控器 API，我们要分隔开”发出请求的按钮代码“和”执行请求的厂商特定对象”。 回到命令模式我们把餐厅的工作流程图转换为命令模式的流程图：这里 client 对应上一张图的顾客，command 对应订单，Invoker 对应服务员，Receiver 对应的是厨师。 命令模式 先来看下命令模式的定义： 命令模式将”请求“封装成对象，以便使用不同的请求、队列或者日志来参数化其他对象。命令模式也支持可撤销的操作。 通过上边的定义我们知道，一个命令对象通过在特定接收者上绑定一组动作来封装一个请求。要达到这一点，命令对象将动作和接收者包进对象中。这个对象只暴露一个 execute() 方法，当此方法被调用时，接收者就会进行这些动作。 命令模式类图如下： 回到遥控器的设计：我们打算将遥控器的每个插槽，对应到一个命令，这样就让遥控器变成了调用者。当按下按钮，相应命令对象的 execute() 方法就会被调用，其结果就是接收者(例如：电灯、风扇、音响)的动作被调用。 命令模式还支持撤销，该命令提供和 execute() 方法相反的 undo() 方法。不管 execute() 做了什么，undo() 都会倒转过来。 ...

这一篇是《流畅的 python》读书笔记。主要介绍： 常见的字典方法 如何处理查不到的键 标准库中 dict 类型的变种 散列表的工作原理 泛映射类型 collections.abc 模块中有 Mapping 和 MutableMapping 这两个抽象基类，它们的作用是为 dict 和其他类似的类型定义形式接口。 标准库里所有映射类型都是利用 dict 来实现的，它们有个共同的限制，即只有可散列的数据类型才能用做这些映射里的键。 问题： 什么是可散列的数据类型？ 在 python 词汇表（https://docs.python.org/3/glossary.html#term-hashable）中，关于可散列类型的定义是这样的： 如果一个对象是可散列的，那么在这个对象的生命周期中，它的散列值是不变的，而且这个对象需要实现 __hash__() 方法。另外可散列对象还要有 __eq__() 方法，这样才能跟其他键做比较。如果两个可散列对象是相等的，那么它们的散列只一定是一样的 根据这个定义，原子不可变类型（str，bytes和数值类型）都是可散列类型，frozenset 也是可散列的（因为根据其定义，frozenset 里只能容纳可散列类型），如果元组内都是可散列类型的话，元组也是可散列的（元组虽然是不可变类型，但如果它里面的元素是可变类型，这种元组也不能被认为是不可变的）。 一般来讲，用户自定义的类型的对象都是可散列的，散列值就是它们的 id() 函数的返回值，所以这些对象在比较的时候都是不相等的。（如果一个对象实现了 eq 方法，并且在方法中用到了这个对象的内部状态的话，那么只有当所有这些内部状态都是不可变的情况下，这个对象才是可散列的。） 根据这些定义，字典提供了很多种构造方法，https://docs.python.org/3/library/stdtypes.html#mapping-types-dict 这个页面有个例子来说明创建字典的不同方式。 >>> a = dict(one=1, two=2, three=3) >>> b = {'one': 1, 'two': 2, 'three': 3} >>> c = dict(zip(['one', 'two', 'three'], [1, 2, 3])) >>> d = dict([('two', 2), ('one', 1), ('three', 3)]) >>> e = dict({'three': 3, 'one': 1, 'two': 2}) >>> a == b == c == d == e True 除了这些方法以外，还可以用字典推导的方式来建造新 dict。 ...

问题：现代化的巧克力工厂具备计算机控制的巧克力锅炉。锅炉做的事情就是把巧克力和牛奶融在一起，然后送到下一个阶段，以制成巧克力棒。下边是一个巧克力公司锅炉控制器的代码，仔细观察一下，这段代码有什么问题？ class ChocolateBoiler(object): def __init__(self): self.empty = True self.boiled = False def fill(self): # 向锅炉填充巧克力和牛奶混合物 # 在锅炉内填充原料时，锅炉必须是空的。 # 一旦填入原料，就要把empty 和 boiled 标志设置好 if self.empty: self.empty = False self.boiled = False def drain(self): # 排出煮沸的巧克力和牛奶 # 锅炉排出时，必须是满的且煮沸的。 # 排出完毕empty 设置为 true if not self.empty and self.boiled: self.empty = True def boil(self): # 将颅内物煮沸 # 煮混合物时，锅炉内必须是满的且没有煮沸过 # 一旦煮沸，就把 boiled 设置为 true if not self.empty and not self.boiled: self.boiled = True 从代码可以看出，他们加入了多种判断，以防止不好的事情发生。如果同时存在两个ChocolateBoiler实例，那这么多判断岂不是失去作用了。那我们改如何实现这个需求呢？这个问题的核心是，我们要先判断实例是不是已经存在，如果存在就不再创建。 _chocolate_boiler_instance = None # 声明实例 def chocolate_boiler(): global _chocolate_boiler_instance # 使用全局变量 if _chocolate_boiler_instance is not None: # 判断是否存在，如果存在，直接返回 return _chocolate_boiler_instance else: # 如果不存在，创建一个新的 _chocolate_boiler_instance = ChocolateBoiler() return _chocolate_boiler_instance 现在我们需要获取 ChocolateBoiler 实例的时候只需要调用 chocolate_boiler 方法获取实例即可保证同时只有一个 ChocolateBoiler实例。 ...

问题：在上一篇python设计模式：抽象工厂模式中，我们尝试用抽象工厂模式规范化了 Pizza 原材料的供应以及 Pizza 的创建。但是我们忽略了一个问题，那就是每种 Pizza 的烘焙时间依赖于生面团的厚度和使用的配料，它们所需的时间是不一样的。那这时我们改如何处理呢？ Pizza 的制作流程包括：准备（擀面皮、加佐料），然后烘烤、切片、装盒。这些有特定的顺序，不能错乱。 为了保证 生产 Pizza 的步骤不会出错，我们打算指派一个创建者，创建者用于控制 Pizza 的制作流程。 创建 Pizza 创建者 首先我们定义一个 Pizza class Pizza: def __init__(self, name): self.name = name self.dough = None self.sauce = None self.toppings = [] def prepare_dough(self, dough): self.dough = dough print(self.dough) print('preparing the {} dough of your {}...'.format(self.dough, self)) time.sleep(STEP_DELAY) print('Done with the {} dough'.format(self.dough)) def __str__(self): return self.name 然后我们抽象出一个创建者： class PizzaBuilder(object): name = None def __init__(self): self.progress = PIZZA_PROGRESS self.baking_time = 5 def prepare_dough(self): raise NotImplementedError() def add_sauce(self): raise NotImplementedError() def add_topping(self): raise NotImplementedError() def bake(self): raise NotImplementedError() def cut(self): raise NotImplementedError() def box(self): raise NotImplementedError() @property def pizza(self): return Pizza(self.name) 创建具体建造者 class NYStyleCheeseBuilder(PizzaBuilder): name = 'NY Style Sauce and Cheese Pizza' def prepare_dough(self): self.progress = PIZZA_PROGRESS[0] self.pizza.prepare_dough('thin') def add_sauce(self): print('adding the tomato sauce to your pizza..') self.pizza.sauce = 'tomato' time.sleep(STEP_DELAY) print('done with the tomato sauce') def add_topping(self): print('adding the topping (grated reggiano cheese) to your pizza') self.pizza.toppings.append(["Grated", "Reggiano", "Cheese"]) time.sleep(STEP_DELAY) print('done with the topping (grated reggiano cheese)') def bake(self): self.progress = PIZZA_PROGRESS[1] print('baking your pizza for {} seconds'.format(self.baking_time)) time.sleep(self.baking_time) def cut(self): self.progress = PIZZA_PROGRESS[2] print("Cutting the pizza into diagonal slices") def box(self): self.progress = PIZZA_PROGRESS[3] print("Place pizza in official PizzaStore box") 创建指挥者 class Waiter: # 指挥者 def __init__(self): self.builder = None def construct_pizza(self, builder): self.builder = builder # 一旦我们有了一个 pizza，需要做一些准备（擀面皮、加佐料），然后烘烤、切片、装盒 [step() for step in (builder.prepare_dough, builder.add_sauce, builder.add_topping, builder.bake, builder.cut, builder.box)] @property def pizza(self): return self.builder.pizza 完整代码参考：python-design-patter-builder ...