后端

[TOC] 祈祷式编程 祈祷式编程 如果代码中包含以下代码 或者上线后进行这种活动 那么这种编程方式就是祈祷式编程。 用流程图表示基本就是这个样子。 祈祷式编程有什么危害呢？ 累，每次写完代码还需要再祈祷 不受控，代码运行结果主要看运气，大仙忙的时候可能保佑不了 解决这个问题有好多种方法，单元测试是其中之一。 单元测试 什么是单元测试 单元测试是由开发人员编写的，用于对软件基本单元进行测试的可执行的程序。 单元（unit）是一个应用程序中最小的课测试部分。（比如一个函数，一个类 google 把测试分成小型测试、中型测试和大型测试。单元测试基本和小型测试的作用类似，但是通常也会使用mock或者stub 的方式模拟外部服务。 理想情况下，单元测试应该是相互独立、可自动化运行的。 目的： 通常用单元测试来验证代码逻辑是否符合预期。完整可靠的单元测试是代码的安全网，可以在代码修改或重构时验证业务逻辑是否正确，提前发现代码错误，减少调试时间。设计良好的单元测试某些情况下可以比文档更能反应出代码的功能和作用。 单元测试这么多优点为什么有人不喜欢写单元测试呢？ 单元测试太费时间了，对于编写单元测试不熟练的新手来说，编写单元测试可能比写代码的还费时间 单元测试运行时间太长（这通常是单元测试设计不合理或者代码可测试性较差造成的 祖传代码，看都看不懂怎么写单元测试（这个确实优点棘手。。可以考虑先给新代码加单元测试 不会写单元测试 这篇文章主要关注第四个问题，如何写单元测试。 单元测试的结构 首先看一下单元测试的结构，一个完整的单元测试主要包括Arrange-Act-Assert（3A） 三部分。 Arrange–准备数据 Act–运行代码 Assert–判断结果是否符合预期 比如我们要给下面这段代码（golang）加单元测试： func Add(x, y int) int { return x + y } 单元测试代码如下： import "testing" func TestAdd(t *testing.T) { // arrange 准备数据 x, y := 1, 2 // act 运行 got := Add(x, y) //assert 断言 if got != 3 { t.Errorf("Add() = %v, want %v", got, 3) } } 如何编写好的单元测试 什么样的单元测试才是好的单元测试呢？ ...

Json web token (JWT), 根据官网的定义，是为了在网络应用环境间传递声明而执行的一种基于JSON的开放标准（(RFC 7519).该token被设计为紧凑且安全的，特别适用于分布式站点的单点登录（SSO）场景。JWT的声明一般被用来在身份提供者和服务提供者间传递被认证的用户身份信息，以便于从资源服务器获取资源，也可以增加一些额外的其它业务逻辑所必须的声明信息，该token也可直接被用于认证，也可被加密。 详细介绍可以查看这篇文章 理解JWT（JSON Web Token）认证及实践 JWT 特点 优点 体积小，因而传输速度快 传输方式多样，可以通过URL/POST参数/HTTP头部等方式传输 严格的结构化。它自身（在 payload 中）就包含了所有与用户相关的验证消息，如用户可访问路由、访问有效期等信息，服务器无需再去连接数据库验证信息的有效性，并且 payload 支持为你的应用而定制化。 支持跨域验证，可以应用于单点登录。 存在的问题 JWT 自身（在 payload 中）就包含了所有与用户相关的验证消息，所以通常情况下不需要保存。这种设计存在几个问题： Token不能撤销–客户端重置密码后之前的JWT依然可以使用（JWT 并没有过期或者失效 不支持refresh token，JWT过期后需要执行登录授权的完整流程 无法知道用户签发了几个JWT 针对第一个问题，可能的解决方法有： 保存JWT到数据库（或Redis），这样可以针对每个JWT单独校验 在重置密码等需要作废之前全部JWT时，把操作时间点记录到数据库（或Redis），校验JWT时同时判断此JWT创建之后有没有过重置密码等类似操作，如果有校验不通过 当然，这种解决方法都会多一次数据库请求，JWT自身可校验的优势会有所减少，同时也会影响认证效率。 这篇文章主要介绍解决第二个问题（不支持refresh token）的思路。 refresh token refresh token是OAuth2 认证中的一个概念，和OAuth2 的access token 一起生成，表示更新令牌，过期所需时间比access toen 要长，可以用来获取下一次的access token。 如果JWT 需要添加 refresh token支持，refresh token需要满足的条件有一下几项： 和JWT一起生成返回给客户端 有实效时间，有效时间比JWT要长 只能用来换取下一次JWT，不能用于访问认证 不能重复使用（可选） refresh token 获取流程 refresh token 使用流程 代码示例 import jwt import time # 使用 sanic 作为restful api 框架 def create_token(account_id, username): payload = { "iss": "gusibi.mobi", "iat": int(time.time()), "exp": int(time.time()) + 86400 * 7, "aud": "www.gusibi.mobi", "sub": account_id, "username": username, "scopes": ['open'] } token = jwt.encode(payload, 'secret', algorithm='HS256') payload['grant_type'] = "refresh" refresh_token = jwt.encode(payload, 'secret', algorithm='HS256') return True, { 'access_token': token, 'account_id': account_id, "refresh_token": refresh_token } # 验证refresh token 出否有效 def verify_refresh_token(token): payload = jwt.decode(token, 'secret', audience='www.gusibi.com', algorithms=['HS256']) # 校验token 是否有效，以及是否是refresh token，验证通过后生成新的token 以及 refresh_token if payload and payload.get('grant_type') == 'refresh': # 如果需要标记此token 已经使用，需要借助redis 或者数据库（推荐redis） return True, payload return False, None # 验证token 是否有效 def verify_bearer_token(token): # 如果在生成token的时候使用了aud参数，那么校验的时候也需要添加此参数 payload = jwt.decode(token, 'secret', audience='www.gusibi.com', algorithms=['HS256']) # 校验token 是否有效，以及不能是refresh token if payload and not payload.get('grant_type') == 'refresh': return True, payload return False, None 参考链接 理解JWT（JSON Web Token）认证及实践 理解OAuth 2.0[1] References [1] 理解OAuth 2.0: http://www.ruanyifeng.com/blog/2014/05/oauth_2_0.html ...

Solidity是以太坊的主要编程语言，它是一种静态类型的 JavaScript-esque 语言，是面向合约的、为实现智能合约而创建的高级编程语言，设计的目的是能在以太坊虚拟机（EVM）上运行。 本文基于CryptoZombies，教程地址为：https://cryptozombies.io/zh/lesson/2 地址（address） 以太坊区块链由 account (账户)组成，你可以把它想象成银行账户。一个帐户的余额是以太 （在以太坊区块链上使用的币种），你可以和其他帐户之间支付和接受以太币，就像你的银行帐户可以电汇资金到其他银行帐户一样。 每个帐户都有一个“地址”，你可以把它想象成银行账号。这是账户唯一的标识符，它看起来长这样： 0x0cE446255506E92DF41614C46F1d6df9Cc969183 这是 CryptoZombies 团队的地址，为了表示支持CryptoZombies，可以赞赏一些以太币！ address：地址类型存储一个 20 字节的值（以太坊地址的大小）。 地址类型也有成员变量，并作为所有合约的基础。 address 类型是一个160位的值，且不允许任何算数操作。这种类型适合存储合约地址或外部人员的密钥对。 映射（mapping） Mappings 和哈希表类似，它会执行虚拟初始化，以使所有可能存在的键都映射到一个字节表示为全零的值。 映射是这样定义的： //对于金融应用程序，将用户的余额保存在一个 uint类型的变量中： mapping (address => uint) public accountBalance; //或者可以用来通过userId 存储/查找的用户名 mapping (uint => string) userIdToName; 映射本质上是存储和查找数据所用的键-值对。在第一个例子中，键是一个 address，值是一个 uint，在第二个例子中，键是一个uint，值是一个 string。 映射类型在声明时的形式为 mapping(_KeyType => _ValueType)。 其中 _KeyType 可以是除了映射、变长数组、合约、枚举以及结构体以外的几乎所有类型。 _ValueType 可以是包括映射类型在内的任何类型。 对映射的取值操作如下： userIdToName[12] // 如果键12 不在 映射中，得到的结果是0 映射中，实际上并不存储 key，而是存储它的 keccak256 哈希值，从而便于查询实际的值。所以映射是没有长度的，也没有 key 的集合或 value 的集合的概念。，你不能像操作python字典那应该获取到当前 Mappings 的所有键或者值。 特殊变量 在 Solidity 中，在全局命名空间中已经存在了（预设了）一些特殊的变量和函数，他们主要用来提供关于区块链的信息或一些通用的工具函数。 msg.sender msg.sender指的是当前调用者（或智能合约）的 address。 ...

SQLAlchemy in 空列表问题 问题场景 有model Account，SQLAlchemy 查询语句如下： query = Account.query.filter(Account.id.in_(account_ids)).order_by(Account.date_created.desc()) 这里 account_ids 如果为空，执行查询会有如下警告： /usr/local/lib/python2.7/site-packages/sqlalchemy/sql/default_comparator.py:35: SAWarning: The IN-predicate on "account.id" was invoked with an empty sequence. This results in a contradiction, which nonetheless can be expensive to evaluate. Consider alternative strategies for improved performance. return o[0](self, self.expr, op, *(other + o[1:]), **kwargs) 这里的意思是使用一个空的列表会花费较长的时间，需要优化以提高性能。 为什么会有这个提示呢？一个空列表为什么会影响性能呢？ 首先打印 query 可得到如下 sql 语句： SELECT * // 字段使用 “*” 代替 FROM account WHERE account.id != account.id ORDER BY account.date_created DESC 会发现生成的语句中过滤条件是 WHERE account.id != account.id，使用 PostgreSQL Explain ANALYZE 命令， ...

Solidity是以太坊的主要编程语言，它是一种静态类型的 JavaScript-esque 语言，是面向合约的、为实现智能合约而创建的高级编程语言，设计的目的是能在以太坊虚拟机（EVM）上运行。 本文基于CryptoZombies，教程地址为：https://cryptozombies.io/zh/ 合约 Solidity 的代码都包裹在合约里面. 一份合约就是以太应币应用的基本模块， 所有的变量和函数都属于一份合约, 它是你所有应用的起点. 一份名为 HelloWorld 的空合约如下: contract HelloWorld { } hello world 首先看一个简单的智能合约。 pragma solidity ^0.4.0; contract SimpleStorage { uint storedData; // 声明一个类型为 uint (256位无符号整数）的状态变量，叫做 storedData function set(uint x) public { storedData = x; // 状态变量可以直接访问，不需要使用 this. 或者 self. 这样的前缀 } function get() public view returns (uint) { return storedData; } } 所有的 Solidity 源码都必须冠以 “version pragma” — 标明 Solidity 编译器的版本. 以避免将来新的编译器可能破坏你的代码。 例如: pragma solidity ^0.4.0; (当前 Solidity 的最新版本是 0.4.0). 关键字 pragma 的含义是，一般来说，pragmas（编译指令）是告知编译器如何处理源代码的指令的（例如， pragma once ）。 ...

本文是《垃圾回收的算法与实现》读书笔记 上一篇为《GC 标记-清除算法》 引用计数算法 给对象中添加一个引用计数器，每当有一个地方引用它时，计数器的值就加1；当引用失效时，计数器值就减1；任何时刻计数器为0的对象就是不可能再被使用的。这也就是需要回收的对象。 引用计数算法是对象记录自己被多少程序引用，引用计数为零的对象将被清除。 计数器表示的是有多少程序引用了这个对象（被引用数）。计数器是无符号整数。 计数器的增减 引用计数法没有明确启动 GC 的语句，它与程序的执行密切相关，在程序的处理过程中通过增减计数器的值来进行内存管理。 new_obj() 函数 与GC标记-清除算法相同，程序在生成新对象的时候会调用 new_obj()函数。 func new_obj(size){ obj = pickup_chunk(size, $free_list) if(obj == NULL) allocation_fail() else obj.ref_cnt = 1 // 新对象第一只被分配是引用数为1 return obj } 这里 pickup_chunk()函数的用法与GC标记-清除算法中的用法大致相同。不同的是这里返回 NULL 时，分配就失败了。这里 ref_cnt 域代表的是 obj 的计数器。 在引用计数算法中，除了连接到空闲链表的对象，其他对象都是活跃对象。所以如果 pickup_chunk()返回 NULL，堆中也就没有其它大小合适的块了。 update_ptr() 函数 update_ptr() 函数用于更新指针 ptr，使其指向对象 obj，同时进行计数器值的增减。 func update_ptr(ptr, obj){ inc_ref_cnt(obj) // obj 引用计数+1 dec_ref_cnt(*ptr) // ptr之前指向的对象(*ptr)的引用计数-1 *ptr = obj } 这里 update_ptr 为什么需要先调用 inc_ref_cnt，再调用dec_ref_cnt呢？ 是因为有可能 *ptr和 obj 可能是同一个对象，如果先调用dec_ref_cnt可能会误伤。 **inc_ref_cnt()**函数 这里inc_ref_cnt函数只对对象 obj 引用计数+1 func inc_ref_cnt(obj){ obj.ref_cnt++ } dec_ref_cnt() 函数 ...

本文是《垃圾回收的算法与实现》读书笔记 什么是GC标记-清除算法（Mark Sweep GC） GC 标记-清除算法由标记阶段和清除阶段构成。在标记阶段会把所有的活动对象都做上标记，然后在清除阶段会把没有标记的对象，也就是非活动对象回收。 名词解释： 在 GC 的世界里对象指的是通过应用程序利用的数据的集合。是 GC 的基本单位。一般由头（header）和域（field）构成。 活动对象:能通过引用程序引用的对象就被称为活动对象。（可以直接或间接从全局变量空间中引出的对象） 非活动对象:不能通过程序引用的对象呗称为非活动对象。（这就是被清除的目标） 标记-清除算法的伪代码如下所示： func mark_sweep(){ mark_phase() // 标记阶段 sweep_phase() // 清除阶段 } 标记阶段 标记阶段就是遍历对象并标记的处理过程。 标记阶段伪代码如下： func mark_phase(){ for (r : $roots) // 在标记阶段，会给所有的活动对象打上标记 mark(*r) } func mark(){ if (obj.mark == False) obj.mark = True // 先标记找出的活动对象 for (child: children(obj)) // 然后递归的标记通过指针数组能访问到的对象 mark(*child) } 这里 $root 是指针对象的起点，通过$root 可以遍历全部活动对象。 下图是标记前和标记后内存中堆的状态 清除阶段 在清除阶段，collector 会遍历整个堆，回收没有打上标记的对象（垃圾），使其能再次利用。 sweep_phase() 函数伪代码实现如下： func sweep_phase(){ sweeping = $heap_start // 首先将堆的首地址赋值给 sweeping while(sweeping < $head_end){ if(sweeping.mark == TRUE) // 如果是标记状态就设为 FALSE，如果是活动对象，还会在标记阶段被标记为 TRUE sweeping.mark == FALSE else: sweeping.next = $free_list // 将非活动对象 拼接到 $free_list 头部位置 $free_list = sweeping sweeping += sweeping.size } } size 域指的是存储对象大小的域，在对象头中事先定义。 ...

Newrelic 是APM（Application Performance Management）（应用性能管理/监控）解决方案提供商。项目中，通常用它来追踪应用的性能。最近看了一下 newrelic-python-agent 源码，这是查看源码过程中的一些记录。 目录结构 newrelic 目录结构如下： newrelic ├── admin # 常用命令 ├── api # 探针 ├── bootstrap ├── common ├── core ├── extras │ └── framework_django │ └── templatetags ├── hooks # 数据库 web 各个库的一些探针 │ ├── framework_tornado │ ├── framework_tornado_r3 │ └── framework_tornado_r4 ├── network ├── packages │ ├── requests │ │ └── packages │ │ ├── chardet │ │ └── urllib3 │ │ ├── packages │ │ │ └── ssl_match_hostname │ │ └── util │ └── wrapt └── samplers 命令 使用 newrelic-admin help 可以列出所有命令： ...

UNIX 进程 系统调用 Unix 系统是由用户空间（userland）和内核组成。Unix 内核位于计算机硬件之上，是与硬件交互的中介。这些交互包括通过问卷系统进程读/写、在网络上发送数据、分配内存，以及通过扬声器播放音频。这些都是用户应用程序所不能涉及的，只能通过系统调用来完成。 系统调用为内核和用户空间搭建了桥梁。规定了程序和计算机硬件直接所允许发生的一切交互。 进程是 Unix 系统的基石，所有的代码都是在进程中运行。 unix 中的进程创建是通过内核系统调用 fork() 实现的。当一个进程产生一个 fork 请求时，操作系统执行以下功能： 为新进程在进程表中分配一个空项 为子进程赋一个唯一的进程标识符 为一个父进程上下文的逻辑副本，不包括共享内存区 增加父进程拥有的所有文件的计数器，以表示有一个另外的进程现在也用户这些文件。 把子进程置为就绪态 向父进程返回子进程的进程号；对子进程返回0。 所有这些操作都在父进程的内核态下完成。 进程皆有标识 在系统中运行的所有进程都有一个唯一的进程标识符，称为 pid。 pid 并不传达关于进程本身的任何信息，仅仅是一个数字标识 在 python 中查看当前进程 pid 可以使用 getpid() 方法。 >>> import os >>> print os.getpid() 26164 在实际应用中，pid 可以加入都日志信息中，这样当多个进程向同一个文件写入日志的时候，就可以知道哪一行是由哪个进程写入的。 进程皆有父 系统中运行的每一个进程都有对应的父进程。每个进程都知道它父进程的标识符（ppid）。 在 python 中查看当前进程 pid 可以使用 getppid() 方法。 >>> import os >>> print os.getpid() 26164 >>> print os.getppid() 26125 进程皆有文件描述符 在 Unix 中，一切都是文件。 ...

这是操作系统进程系列文章第三篇-操作系统线程描述 文章是《操作系统-精髓与设计原理》学习笔记 线程（thread） 什么是线程 线程是操作系统能够进行运算调度的最小单位。它被包含在进程之中，是进程中的实际运作单位。一条线程指的是进程中一个单一顺序的控制流，一个进程中可以并发多个线程，每条线程并行执行不同的任务。 关于进程的两个概念： 资源所有权：一个进程包括一个存放进程映像的虚拟地址空间（进程映像是程序、数据、栈和进程控制块中定义的属性的集合）。一个进程总是拥有对资源的控制或所有权，这些资源包括内存、I/O 通道，I/O 设备和文件。 调度/执行：一个进程沿着通过一个或多个程序的一条执行路径执行，其执行过程可能与其他进程的执行过程交替执行。一个进程具有一个执行状态和一个分片的优先级，并且是一个可被操作系统调度和分配的实体。 这两个概念是独立的，操作系统可以独立的处理。 现代操作系统通常把分派单位称为线程（或轻量级进程），拥有资源所有权的单位称为进程。 多线程 多线程是指操作系统在单个进程内支持多个并发执行路径的能力。每个进程中只有一个线程在执行的方法称为单线程方法。进程支持多个线程的情况被称作多线程。 在多线程环境中，进程被定义成资源分配的单位和一个被保护的单位，与进程相关联的有： 存放进程映像的虚拟地址空间 受保护的对处理器、其他进程、文件和 I/O 资源的访问 在一个进程中，可能有一个或多个线程，每个线程有： 线程的执行状态（运行，就绪） 在未运行时保存的线程上下文 一个执行栈 用于每个线程局部变量的静态存储空间 与进程内的其他线程共享的对进程的内存和资源的访问 进程 VS 线程 下图说明了进程和线程的区别： 在单线程模型中，进程的标出包括他的进程控制块和用户地址空间，以及在进程执行中管理调用/返回 行为的用户栈和内核栈。当进程被控制时，处理器寄存器被该进程锁控制；当进程不运行时，这些处理器寄存器的内容被保存。 在多线程环境中，进程仍然只有一个与之关联的进程控制块和用户地址空间。但是每个线程都有一个独立的栈，还有独立的控制块用于包含寄存器值、优先级和其他与线程相关的状态信息。 进程中的所有线程共享该进程的状态和资源，它们驻留在同一块地址空间中，并且可以访问到相同的数据。当一个线程改变了内存中的一个数据项时，其他线程在访问这一数据项时能够看到变化后的结果。 线程的优点 在一个已有的进程中创建一个新的线程比创建一个全新的进程所需时间要少的多。 终止一个线程比终止一个进程花费的时间少 同一个进程内线程间切换比进程间切换花费的时间要少。 线程提高了不同的执行程序间通信的效率。（大多数操作系统中，独立进程间的通信需要内核的介入，由于同一进程中的线程共享内存和文件，它们间的通信无需调用内核） 线程状态 和进程一样，线程的关键状态有运行态、就绪态和阻塞态。挂起是进程级别的概念，一个进程被换出，它的所有线程都被换出。 有4个与线程状态改变相关的操作： 派生：当派生一个新进程时，同时也为改进程派生出一个线程。进程中的线程也可以在同一个进程中派生另一个线程，新的线程拥有自己的寄存器上下文和栈空间，且被放置在就绪队列中。 阻塞：当线程需要等待一个事件时，将被阻塞，此时处理器转而执行另一个就绪线程（可能是同一进程，也可能是不同进程） 解除阻塞：当阻塞一个线程的事件发生时，该线程被转移到就绪队列中 结束：当一个线程完成时，其寄存器上下文和栈都被释放。 用户级线程和内核级线程 线程的实现可以分为两大类：用户级线程（User-Level Thread ULT）和内核级线程（Kernel-Level Thread KLT）。 在用户级线程和内核级线程使用时，通常有以下三种模式： 在一个纯粹的用户级线程程序中，有关线程管理的所有工作都由应用程序完成，内核意识不到线程的存在。 使用用户级线程的优点： 线程切换不需要内核态特权，因此，进程不需要为了线程管理而切换到内核态，这节省了两次状态转换（从用户态到内核态，再从内核态返回用户态）的开销。 调度可以是用户程序相关的。（可以为特定的应用使用特定的调度算法） 用户级线程可以在任何操作系统中运行，不需要对底层内核进行修改以支持用户级线程。 使用用户级线程的缺点： 许多系统调用会被阻塞。因此当用户级线程执行一个系统调用时，不仅这个线程会被阻塞，进程中所有线程都会被阻塞。 不能使用多个处理器。内核一次只把一个进程分配给一个处理器，因此一个进程中只有一个线程可以执行。 解决这两个问题有两种方式： 使用多进程代替多线程，但这样消除了多线程的优势 使用 jacketing 技术。把一个产生阻塞的系统调用转换成一个非阻塞的系统调用。 在一个纯粹的内合辑线程程序中，有关线程管理的所有工作都由内核完成。内核为进程及其内部的每个线程维护上下文信息。调度由内核基于线程完成。 使用内核级线程客服了用户级线程的两个基本缺陷。首先内核可以把同一个进程的多个线程调度到多个处理器；其次一个进程中的线程被阻塞，内核可以调度同一个进程的另一个线程。 ...