Python 字典

这一篇是《流畅的 python》读书笔记。主要介绍: 常见的字典方法 如何处理查不到的键 标准库中 dict 类型的变种 散列表的工作原理 泛映射类型 collections.abc 模块中有 Mapping 和 MutableMapping 这两个抽象基类,它们的作用是为 dict 和其他类似的类型定义形式接口。 标准库里所有映射类型都是利用 dict 来实现的,它们有个共同的限制,即只有可散列的数据类型才能用做这些映射里的键。 问题: 什么是可散列的数据类型? 在 python 词汇表(https://docs.python.org/3/glossary.html#term-hashable)中,关于可散列类型的定义是这样的: 如果一个对象是可散列的,那么在这个对象的生命周期中,它的散列值是不变的,而且这个对象需要实现 __hash__() 方法。另外可散列对象还要有 __eq__() 方法,这样才能跟其他键做比较。如果两个可散列对象是相等的,那么它们的散列只一定是一样的 根据这个定义,原子不可变类型(str,bytes和数值类型)都是可散列类型,frozenset 也是可散列的(因为根据其定义,frozenset 里只能容纳可散列类型),如果元组内都是可散列类型的话,元组也是可散列的(元组虽然是不可变类型,但如果它里面的元素是可变类型,这种元组也不能被认为是不可变的)。 一般来讲,用户自定义的类型的对象都是可散列的,散列值就是它们的 id() 函数的返回值,所以这些对象在比较的时候都是不相等的。(如果一个对象实现了 eq 方法,并且在方法中用到了这个对象的内部状态的话,那么只有当所有这些内部状态都是不可变的情况下,这个对象才是可散列的。) 根据这些定义,字典提供了很多种构造方法,https://docs.python.org/3/library/stdtypes.html#mapping-types-dict 这个页面有个例子来说明创建字典的不同方式。 >>> a = dict(one=1, two=2, three=3) >>> b = {'one': 1, 'two': 2, 'three': 3} >>> c = dict(zip(['one', 'two', 'three'], [1, 2, 3])) >>> d = dict([('two', 2), ('one', 1), ('three', 3)]) >>> e = dict({'three': 3, 'one': 1, 'two': 2}) >>> a == b == c == d == e True 除了这些方法以外,还可以用字典推导的方式来建造新 dict。 ...

2017-12-03 · 3 min · 568 words

python设计模式-单例模式

问题:现代化的巧克力工厂具备计算机控制的巧克力锅炉。锅炉做的事情就是把巧克力和牛奶融在一起,然后送到下一个阶段,以制成巧克力棒。下边是一个巧克力公司锅炉控制器的代码,仔细观察一下,这段代码有什么问题? class ChocolateBoiler(object): def __init__(self): self.empty = True self.boiled = False def fill(self): # 向锅炉填充巧克力和牛奶混合物 # 在锅炉内填充原料时,锅炉必须是空的。 # 一旦填入原料,就要把empty 和 boiled 标志设置好 if self.empty: self.empty = False self.boiled = False def drain(self): # 排出煮沸的巧克力和牛奶 # 锅炉排出时,必须是满的且煮沸的。 # 排出完毕empty 设置为 true if not self.empty and self.boiled: self.empty = True def boil(self): # 将颅内物煮沸 # 煮混合物时,锅炉内必须是满的且没有煮沸过 # 一旦煮沸,就把 boiled 设置为 true if not self.empty and not self.boiled: self.boiled = True 从代码可以看出,他们加入了多种判断,以防止不好的事情发生。如果同时存在两个ChocolateBoiler实例,那这么多判断岂不是失去作用了。那我们改如何实现这个需求呢?这个问题的核心是,我们要先判断实例是不是已经存在,如果存在就不再创建。 _chocolate_boiler_instance = None # 声明实例 def chocolate_boiler(): global _chocolate_boiler_instance # 使用全局变量 if _chocolate_boiler_instance is not None: # 判断是否存在,如果存在,直接返回 return _chocolate_boiler_instance else: # 如果不存在,创建一个新的 _chocolate_boiler_instance = ChocolateBoiler() return _chocolate_boiler_instance 现在我们需要获取 ChocolateBoiler 实例的时候只需要调用 chocolate_boiler 方法获取实例即可保证同时只有一个 ChocolateBoiler实例。 ...

2017-11-26 · 2 min · 418 words

python设计模式-建造者模式

问题:在上一篇python设计模式:抽象工厂模式中,我们尝试用抽象工厂模式规范化了 Pizza 原材料的供应以及 Pizza 的创建。但是我们忽略了一个问题,那就是每种 Pizza 的烘焙时间依赖于生面团的厚度和使用的配料,它们所需的时间是不一样的。那这时我们改如何处理呢? Pizza 的制作流程包括:准备(擀面皮、加佐料),然后烘烤、切片、装盒。这些有特定的顺序,不能错乱。 为了保证 生产 Pizza 的步骤不会出错,我们打算指派一个创建者,创建者用于控制 Pizza 的制作流程。 创建 Pizza 创建者 首先我们定义一个 Pizza class Pizza: def __init__(self, name): self.name = name self.dough = None self.sauce = None self.toppings = [] def prepare_dough(self, dough): self.dough = dough print(self.dough) print('preparing the {} dough of your {}...'.format(self.dough, self)) time.sleep(STEP_DELAY) print('Done with the {} dough'.format(self.dough)) def __str__(self): return self.name 然后我们抽象出一个创建者: class PizzaBuilder(object): name = None def __init__(self): self.progress = PIZZA_PROGRESS self.baking_time = 5 def prepare_dough(self): raise NotImplementedError() def add_sauce(self): raise NotImplementedError() def add_topping(self): raise NotImplementedError() def bake(self): raise NotImplementedError() def cut(self): raise NotImplementedError() def box(self): raise NotImplementedError() @property def pizza(self): return Pizza(self.name) 创建具体建造者 class NYStyleCheeseBuilder(PizzaBuilder): name = 'NY Style Sauce and Cheese Pizza' def prepare_dough(self): self.progress = PIZZA_PROGRESS[0] self.pizza.prepare_dough('thin') def add_sauce(self): print('adding the tomato sauce to your pizza..') self.pizza.sauce = 'tomato' time.sleep(STEP_DELAY) print('done with the tomato sauce') def add_topping(self): print('adding the topping (grated reggiano cheese) to your pizza') self.pizza.toppings.append(["Grated", "Reggiano", "Cheese"]) time.sleep(STEP_DELAY) print('done with the topping (grated reggiano cheese)') def bake(self): self.progress = PIZZA_PROGRESS[1] print('baking your pizza for {} seconds'.format(self.baking_time)) time.sleep(self.baking_time) def cut(self): self.progress = PIZZA_PROGRESS[2] print("Cutting the pizza into diagonal slices") def box(self): self.progress = PIZZA_PROGRESS[3] print("Place pizza in official PizzaStore box") 创建指挥者 class Waiter: # 指挥者 def __init__(self): self.builder = None def construct_pizza(self, builder): self.builder = builder # 一旦我们有了一个 pizza,需要做一些准备(擀面皮、加佐料),然后烘烤、切片、装盒 [step() for step in (builder.prepare_dough, builder.add_sauce, builder.add_topping, builder.bake, builder.cut, builder.box)] @property def pizza(self): return self.builder.pizza 完整代码参考:python-design-patter-builder ...

2017-11-12 · 2 min · 266 words

python设计模式-抽象工厂模式

问题:在上一篇 python设计模式:工厂方法模式我们尝试使用工厂方法创建了披萨店,现在为了保证披萨加盟店也能有良好的声誉,我们需要统一原材料,这个该如何做呢? 为了确保每家加盟店都是用高质量的原材料,我们打算建造一加原材料工厂,并将原材料运送到各个加盟店。每个加盟店会对原材料有不同的需求,这里我们就可以用上上一篇介绍的工厂方法模式了。 首先,建造原料工厂 然后建造区域的原料工厂(继承自原料工厂) 在区域的原料工厂中实现原料的创建方法。 将原料工厂组合起来,加入到 PizzaStore(上一篇中由工厂方法实现)代码中。 按照这个思路,我们先创建原料工厂 创建原料工厂 创建原料工厂的实现代码如下: # 原料 class FreshClams: def __str__(self): return 'Fresh Clams' class MarinaraSauce: def __str__(self): return "Marinara Sauce" class ThickCrustDough: def __str__(self): return "Thick Crust Dough" class ReggianoCheese: def __str__(self): return "Reggiano Cheese" class SlicedPepperoni: def __str__(self): return "Sliced Pepperoni" class Garlic: def __str__(self): return "Garlic" class Onion: def __str__(self): return "Onion" class RedPepper: def __str__(self): return "Red Pepper" # 披萨店原料工厂 class PizzaIngredientFactory: ''' 定义原料工厂 ''' def create_dough(self): raise NotImplementedError() def create_sauce(self): raise NotImplementedError() def create_cheese(self): raise NotImplementedError() def create_pepperoni(self): raise NotImplementedError() def create_clam(self): raise NotImplementedError() def create_veggies(self): raise NotImplementedError() 在这个工厂中,每个原料都是一个方法,原料的实现需要在具体的原料工厂中实现。 这里每个原料方法没有做任何工作,只是抛出了NotImplementedError 这样做是为了强制子类重新实现相应的方法,如果不重新实现用到时就会抛出 NotImplementedError。 ...

2017-10-28 · 3 min · 429 words

使用腾讯云配置小程序Python开发环境

最近做小程序服务器的配置,这一篇是服务器配置的记录,方便以后安装配置。 购买服务器 之所以选腾讯云的原因很简单,那就是便宜,选用成都区,最低配置每月只需29¥。 在 腾讯云 官网注册登录就可以直接购买服务器了。 服务器系统我选择的是 ubuntu。 服务器配置 启动服务后使用新用户(此步骤不是必须)。 新建用户 首先确认使用的是 root 用户登录如果不是使用以下命令切换 sudo su 使用 adduser 命令创建用户 adduser username # username替换为你自己的用户名 接下来的步骤会让你输入密码和个人信息,自己设置就好。 使用usermod 命令将新建的用户添加到 sudo 组。 usermod -aG sudo username 关闭ssh密码登录使用密钥登录 安装openssh 因为是新系统,先执行一下 apt-get update sudo apt-get update sudo apt-get install openssh-server 启动ssh服务 可以通过sudo su命令来临时切换到root权限(不是所有的账号都可以切换到root权限,只有在/etc/sudoers文件中符合规则的用户能切换root身份) sudo su /etc/init.d/ssh start 使用密钥登录 服务器端生成密钥对: cd /home/gs # 打开新建的用户目录 mkdir .ssh cd .ssh ssh-keygen -b 2048 -t rsa ssh-keygen的基本用法: -b后面是指定加密后的字符串长度 -t后面是指定加密算法,常用的加密算法有rsa,dsa等 默认生成的文件如下: id_rsa.pub # 公钥文件 id_rsa # 私钥文件 新建 authorized_keys 文件 将本地机器的 id_rsa.pub 文件内容复制到 authorized_keys 文件 ...

2017-10-21 · 3 min · 471 words

python设计模式-工厂方法模式

题目:假设你有一个 pizza 店,功能包括下订单、做 pizza,你的代码会如何写呢? def order_pizza(): pizza = Pizza() pizza.prepare() pizza.bake() pizza.cut() pizza.box() return pizza 但是现在你遇到了一个问题,你的 pizza 店需要更多的 pizza,所以现在你需要增加一些代码,来决定适合的 pizza 类型,然后再制造这个 pizza: def order_pizza(pizza_type): # 现在把 pizza 的类型传入 order_pizza() # 根据 pizza 类型,我们实例化正确的具体类,然后将其赋值给 pizza 实例变量 if pizza_type == 'cheese': pizza = CheesePizza() elif pizza_type == 'greek': pizza = GreekPizza() elif pizza_type == 'pepperoni': pizza = PepperoniPizza() # 一旦我们有了一个 pizza,需要做一些准备(擀面皮、加佐料),然后烘烤、切片、装盒 pizza.prepare() pizza.bake() pizza.cut() pizza.box() return pizza 但是经过几天的实践,你发现顾客喜欢点的 ClamPizza、Veggie Pizza 而 Greek pizza 并没有什么人喜欢,这个时候需要修改代码: ...

2017-10-15 · 4 min · 667 words

python设计模式-观察者模式

题目:现在你有一个数字,默认格式化程序是以十进制格式展示此数值,但需要提供一个功能,这个程序要支持添加/注册更多的格式化程序(比如:添加一个十六进制格式化程序和一个二进制格式化程序)。每次数值更新时,已注册的程序就会收到通知,并显示更新后的值。 我们看下需求: NumberFormatter 有一个 number 属性 当 number 值修改时,相关的格式化方式展示结果要改变 此系统必须可扩展已适应其他格式化方式的使用。 一个错误的实现可能是这样的: class NumberFormatter(object): def __init__(self, number): self.number = number def show_data(self): self.default_formatter() self.hex_formatter() self.binary_formatter() def default_formatter(self): pass def hex_formatter(self): pass def binary_formatter(self): pass 我们可以这么使用: number = NumberFormatter(10) number.show_data() 但是这样会有一个问题:这种针对实现的编程会导致我们在增加或者删除需要格式化方式时必须修改代码。比如我们现在不再需要十六进制数字格式的显示,就需要把 hex_formatter 相关的代码删除或者注释掉。 要解决这个问题,就可以用到我们这次要介绍的观察者模式了。 什么是观察者模式 认识观察者模式 我们先看看报纸和杂志的订阅是怎么回事: 报社的业务就是出版报纸 向某家报社订阅报纸,只要他们有新报纸,就会给你送来,只要你是他们的订户,你就会一直受到新报纸。 当你不再想看的时候,取消订阅,他们就不会在送新报纸给你 只要报社还在运营,就会一直有人向他们订阅报纸或取消订阅。 我们用图表示一下,这里出版者 改称为主题(Subject),订阅者改称为观察者(Observer): 1. 开始的时候,鸭子对象不是观察者 2. 鸭子对象过来告诉主题,它想当一个观察者(鸭子其实想说的是:我对你的数据改变感兴趣,一有变化请通知我) 3. 鸭子对象已经是观察者了(鸭子静候通知,一旦接到通知,就会得到一个整数)。 4. 主题有了新的数据(现在鸭子和其他所有观察者都会受到通知:主题已经改变) 5. 老鼠对象要求从观察者中把自己除名(老鼠已经观察次主题太久,决定不再当观察者了)。 6. 老鼠离开了(主题知道老鼠的请求后,把它从观察者中移除了)。 7. 主题有了一个新的整数(除了老鼠之外,每个观察者都会收到通知,如果老鼠又想当观察者了,它还可以再回来) 定义观察者模式 当你试图勾勒观察者模式时,可以利用报纸订阅服务,以及出版这和订阅者比你这一切。在程序设计中,观察者模式通常被定义为: 观察者模式定义了对象之间的一对多依赖,这样一来,当一个对象改变状态是,它的所有依赖者都会收到通知并自动更新。 我们和之前的例子做个对比: ...

2017-09-24 · 3 min · 461 words

redis 学习笔记

这篇 redis 学习笔记主要介绍 redis 的数据结构和数据类型,并讨论数据结构的选择以及应用场景的优化。 redis 是什么 Redis是一种面向“键/值”对类型数据的分布式NoSQL数据库系统,特点是高性能,持久存储,适应高并发的应用场景。 Redis 数据结构 动态字符串 (Sds) 双端列表 (LINKEDLIST) 字典 跳跃表 (SKIPLIST) 整数集合 (INTSET) 压缩列表 (ZIPLIST) HUGOMORE42 动态字符串 Sds (Simple Dynamic String,简单动态字符串)是 Redis 底层所使用的字符串表示,它被用 在几乎所有的 Redis 模块中 Redis 是一个键值对数据库(key-value DB),数据库的值可以是字符串、集合、列表等多种类 型的对象,而数据库的键则总是字符串对象 在 Redis 中, 一个字符串对象除了可以保存字符串值之外,还可以保存 long 类型的值当字符串对象保存的是字符串时,它包含的才是 sds 值,否则的话,它就 是一个 long 类型的值 动态字符串主要有两个作用: 实现字符串对象(StringObject) 在 Redis 程序内部用作 char * 类型的替代品 [双端列表] (http://origin.redisbook.com/internal-datastruct/adlist.html) 双端链表还是 Redis 列表类型的底层实现之一,当对列表类型的键进行操作——比如执行 RPUSH 、LPOP 或 LLEN 等命令时,程序在底层操作的可能就是双端链表 双端链表主要有两个作用: 作为 Redis 列表类型的底层实现之一; 作为通用数据结构,被其他功能模块所使用; 字典 字典(dictionary),又名映射(map)或关联数组(associative array), 它是一种抽象数据结 构,由一集键值对(key-value pairs)组成,各个键值对的键各不相同,程序可以将新的键值对 添加到字典中,或者基于键进行查找、更新或删除等操作 ...

2017-09-17 · 3 min · 543 words

Python 元组和分片

这一篇是《流畅的 python》读书笔记。主要介绍元组、分片、序列赋值以及引用了大师 Edsger W.Dijkstra为什么序列从0开始计数的解释。 元组 在有些python 的介绍中,元组被称为不可变列表,这其实是不准确的,没有完全概括元组的特点。元组除了用作不可变列表,还可以用于没有字段名的记录。 元组和记录 元组其实是对数据的记录:元组中的每个元素都存放了记录中一个字段的数据,外加这个数据的位置。 如果把元组当作一些字段的集合,数量和位置信息会变得非常重要。比如以下几条用元组表示的记录: >>> lax_coordinates = (33.9425, -118.408056) # 洛杉矶国际机场的经纬度 # 东京的一些信息:市名、年份、人口、人口变化和面积 >>> city, year, pop, chg, area = ('Tokyo', 2003, 32450, 0.66, 8014) 以上这两个元组每个位置都对应一个数据记录。 元组拆包 >>> city, year, pop, chg, area = ('Tokyo', 2003, 32450, 0.66, 8014) 这个例子中,我们把元组的数据用一条语句分别赋值给 city, year, pop, chg, area,这就是元组拆包的一个具体应用。 元组拆包可以应用到任何可迭代对象上,但是被迭代的对象窄的元素的数量必须跟接受这些元素的元组的空档数一致。 比如: >>> lax_coordinates = (33.9425, -118.408056) >>> latitude, longitude = lax_coordinates >>> latitude 33.9425 >>> longitude -118.408056 还可以用 * 运算符把一个可迭代对象拆开作为函数的参数: >>> divmod(20, 8) (2, 4) >>> t = (20, 8) >>> divmode(*t) (2, 4) >>> quotient, remainder = divmode(*t) >>> quotient, remainder (2, 4) 在进行拆包是,我们可能对元组的某些值并不感兴趣,这时可以用 _ 占位符处理。比如: ...

2017-09-10 · 3 min · 583 words

Python 列表推导及优先级队列的实现

这一篇是《流畅的 python》读书笔记。主要介绍列表、列表推导有关的话题,最后演示如何用列表实现一个优先级队列。 Python 内置序列类型 Python 标准库用 C 实现了丰富的序列类型: 容器序列: list、tuple 和 collections.deque 这些序列能存放不同类型的数据。 扁平序列: str、bytes、bytearray、memoryview 和 array.array,这类序列只能容纳一种类型。 容器序列存放的是它们所包含的任意类型的对象的引用,而扁平序列里存放的是值而不是引用(也可以说扁平序列其实存放的是一段连续的内存空间)。 如果按序列是否可被修改来分类,序列分为可变序列 和 不可变序列: 可变序列 list、bytearray、array.array、collections.deque 和 memoryview。 不可变序列 tuple、str和 bytes。 下图显示了可变序列(MutableSequence)和不可变序列(sequence)的差异: 从这个图可以看出,可变序列从不可变序列那里继承了一些方法。 列表推导和生成器表达式 列表(list)是 Python 中最基础的序列类型。list 是一个可变序列,并且能同时存放不同类型的元素。 列表的基础用法这里就不再介绍了,这里主要介绍一下列表推导。 列表推导和可读性 列表推导是构建列表的快捷方式,并且有更好的可读性。 先看下面两段代码: #1. 把一个字符串变成 unicode 码位的列表 >>> symbols = '$&@#%^&*' >>> codes = [] >>> for symbol in symbols: codes.append(ord(symbol)) >>> codes [36, 38, 64, 35, 37, 94, 38, 42] #2. 把一个字符串变成 unicode 码位的列表 使用列表推导 >>> symbols = '$&@#%^&*' >>> codes = [ord(s) for s in symbols] >>> codes [36, 38, 64, 35, 37, 94, 38, 42] 对比发现,如果理解列表推导的话,第二段代码比第一段更简洁可读性也更好。 当然,列表推导也不应该被滥用,通常的原则是只用列表推导来创建新的列表,并且尽量保持简短。 如果列表推导超过两行,就应该考虑要不要使用 for 循环重写了。 ...

2017-09-03 · 3 min · 583 words