在Python中使用元类的教程

 　　这篇文章主要介绍了在Python中使用元类的教程,是Python当中的基础知识,代码基于Python2.x版本,需要的朋友可以参考下

　　type()

　　动态语言和静态语言最大的不同，就是函数和类的定义，不是编译时定义的，而是运行时动态创建的。

　　比方说我们要定义一个Hello的class，就写一个hello.py模块：

　　?

1
2
3

class Hello(object):
def hello(self, name='world'):
print('Hello, %s.' % name)

　　当Python解释器载入hello模块时，就会依次执行该模块的所有语句，执行结果就是动态创建出一个Hello的class对象，测试如下：

　　?

1
2
3
4
5
6
7
8

>>> from hello import Hello
>>> h = Hello()
>>> h.hello()
Hello, world.
>>> print(type(Hello))
<type 'type'>
>>> print(type(h))
<class 'hello.Hello'>

　　type()函数可以查看一个类型或变量的类型，Hello是一个class，它的类型就是type，而h是一个实例，它的类型就是class Hello。

　　我们说class的定义是运行时动态创建的，而创建class的方法就是使用type()函数。

　　type()函数既可以返回一个对象的类型，又可以创建出新的类型，比如，我们可以通过type()函数创建出Hello类，而无需通过class Hello(object)...的定义：

　　?

1
2
3
4
5
6
7
8
9
10
11

>>> def fn(self, name='world'): # 先定义函数
... print('Hello, %s.' % name)
...
>>> Hello = type('Hello', (object,), dict(hello=fn)) # 创建Hello class
>>> h = Hello()
>>> h.hello()
Hello, world.
>>> print(type(Hello))
<type 'type'>
>>> print(type(h))
<class '__main__.Hello'>

　　要创建一个class对象，type()函数依次传入3个参数：

　　class的名称;

　　继承的父类集合，注意Python支持多重继承，如果只有一个父类，别忘了tuple的单元素写法;

　　class的方法名称与函数绑定，这里我们把函数fn绑定到方法名hello上。

　　通过type()函数创建的类和直接写class是完全一样的，因为Python解释器遇到class定义时，仅仅是扫描一下class定义的语法，然后调用type()函数创建出class。

　　正常情况下，我们都用class Xxx...来定义类，但是，type()函数也允许我们动态创建出类来，也就是说，动态语言本身支持运行期动态创建类，这和静态语言有非常大的不同，要在静态语言运行期创建类，必须构造源代码字符串再调用编译器，或者借助一些工具生成字节码实现，本质上都是动态编译，会非常复杂。

　　metaclass

　　除了使用type()动态创建类以外，要控制类的创建行为，还可以使用metaclass。

　　metaclass，直译为元类，简单的解释就是：

　　当我们定义了类以后，就可以根据这个类创建出实例，所以：先定义类，然后创建实例。

　　但是如果我们想创建出类呢?那就必须根据metaclass创建出类，所以：先定义metaclass，然后创建类。

　　连接起来就是：先定义metaclass，就可以创建类，最后创建实例。

　　所以，metaclass允许你创建类或者修改类。换句话说，你可以把类看成是metaclass创建出来的“实例”。

　　metaclass是Python面向对象里最难理解，也是最难使用的魔术代码。正常情况下，你不会碰到需要使用metaclass的情况，所以，以下内容看不懂也没关系，因为基本上你不会用到。

　　我们先看一个简单的例子，这个metaclass可以给我们自定义的MyList增加一个add方法：

　　定义ListMetaclass，按照默认习惯，metaclass的类名总是以Metaclass结尾，以便清楚地表示这是一个metaclass：

　　?

1
2
3
4
5
6
7
8
9

# metaclass是创建类，所以必须从`type`类型派生：
class ListMetaclass(type):
def __new__(cls, name, bases, attrs):
attrs['add'] = lambda self, value: self.append(value)
return type.__new__(cls, name, bases, attrs)
 
 
class MyList(list):
__metaclass__ = ListMetaclass # 指示使用ListMetaclass来定制类

　　当我们写下__metaclass__ = ListMetaclass语句时，魔术就生效了，它指示Python解释器在创建MyList时，要通过ListMetaclass.__new__()来创建，在此，我们可以修改类的定义，比如，加上新的方法，然后，返回修改后的定义。

　　__new__()方法接收到的参数依次是：

　　当前准备创建的类的对象;

　　类的名字;

　　类继承的父类集合;

　　类的方法集合。

　　测试一下MyList是否可以调用add()方法：

　　?

1
2
3
4

>>> L = MyList()
>>> L.add(1)
>>> L
[1]

　　而普通的list没有add()方法：

　　?

1
2
3
4
5

>>> l = list()
>>> l.add(1)
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
AttributeError: 'list' object has no attribute 'add'

　　动态修改有什么意义?直接在MyList定义中写上add()方法不是更简单吗?正常情况下，确实应该直接写，通过metaclass修改纯属变态。

　　但是，总会遇到需要通过metaclass修改类定义的。ORM就是一个典型的例子。

　　ORM全称“Object Relational Mapping”，即对象-关系映射，就是把关系数据库的一行映射为一个对象，也就是一个类对应一个表，这样，写代码更简单，不用直接操作SQL语句。

　　要编写一个ORM框架，所有的类都只能动态定义，因为只有使用者才能根据表的结构定义出对应的类来。

　　让我们来尝试编写一个ORM框架。

　　编写底层模块的第一步，就是先把调用接口写出来。比如，使用者如果使用这个ORM框架，想定义一个User类来操作对应的数据库表User，我们期待他写出这样的代码：

　　?

1
2
3
4
5
6
7
8
9
10
11
12

class User(Model):
# 定义类的属性到列的映射：
id = IntegerField('id')
name = StringField('username')
email = StringField('email')
password = StringField('password')
 
 
# 创建一个实例：
u = User(id=12345, name='Michael', email='test@orm.org', password='my-pwd')
# 保存到数据库：
u.save()

　　其中，父类Model和属性类型StringField、IntegerField是由ORM框架提供的，剩下的魔术方法比如save()全部由metaclass自动完成。虽然metaclass的编写会比较复杂，但ORM的使用者用起来却异常简单。

　　现在，我们就按上面的接口来实现该ORM。

　　首先来定义Field类，它负责保存数据库表的字段名和字段类型：

　　?

1
2
3
4
5
6

class Field(object):
def __init__(self, name, column_type):
self.name = name
self.column_type = column_type
def __str__(self):
return '<%s:%s>' % (self.__class__.__name__, self.name)

　　在Field的基础上，进一步定义各种类型的Field，比如StringField，IntegerField等等：

　　?

1
2
3
4
5
6
7

class StringField(Field):
def __init__(self, name):
super(StringField, self).__init__(name, 'varchar(100)')
 
class IntegerField(Field):
def __init__(self, name):
super(IntegerField, self).__init__(name, 'bigint')

　　下一步，就是编写最复杂的ModelMetaclass了：

　　?

1
2
3
4
5
6
7
8
9
10
11
12
13
14

class ModelMetaclass(type):
def __new__(cls, name, bases, attrs):
if name=='Model':
return type.__new__(cls, name, bases, attrs)
mappings = dict()
for k, v in attrs.iteritems():
if isinstance(v, Field):
print('Found mapping: %s==>%s' % (k, v))
mappings[k] = v
for k in mappings.iterkeys():
attrs.pop(k)
attrs['__table__'] = name # 假设表名和类名一致
attrs['__mappings__'] = mappings # 保存属性和列的映射关系
return type.__new__(cls, name, bases, attrs)

　　以及基类Model：

　　?

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26

class Model(dict):
__metaclass__ = ModelMetaclass
 
def __init__(self, **kw):
super(Model, self).__init__(**kw)
 
def __getattr__(self, key):
try:
return self[key]
except KeyError:
raise AttributeError(r"'Model' object has no attribute '%s'" % key)
 
def __setattr__(self, key, value):
self[key] = value
 
def save(self):
fields = []
params = []
args = []
for k, v in self.__mappings__.iteritems():
fields.append(v.name)
params.append('?')
args.append(getattr(self, k, None))
sql = 'insert into %s (%s) values (%s)' % (self.__table__, ','.join(fields), ','.join(params))
print('SQL: %s' % sql)
print('ARGS: %s' % str(args))

　　当用户定义一个class User(Model)时，Python解释器首先在当前类User的定义中查找__metaclass__，如果没有找到，就继续在父类Model中查找__metaclass__，找到了，就使用Model中定义的__metaclass__的ModelMetaclass来创建User类，也就是说，metaclass可以隐式地继承到子类，但子类自己却感觉不到。

　　在ModelMetaclass中，一共做了几件事情：

　　排除掉对Model类的修改;

　　在当前类(比如User)中查找定义的类的所有属性，如果找到一个Field属性，就把它保存到一个__mappings__的dict中，同时从类属性中删除该Field属性，否则，容易造成运行时错误;

　　把表名保存到__table__中，这里简化为表名默认为类名。

　　在Model类中，就可以定义各种操作数据库的方法，比如save()，delete()，find()，update等等。

　　我们实现了save()方法，把一个实例保存到数据库中。因为有表名，属性到字段的映射和属性值的集合，就可以构造出INSERT语句。

　　编写代码试试：

　　?

1
2

u = User(id=12345, name='Michael', email='test@orm.org', password='my-pwd')
u.save()

　　输出如下：

　　?

1
2
3
4
5
6
7

Found model: User
Found mapping: email ==> <StringField:email>
Found mapping: password ==> <StringField:password>
Found mapping: id ==> <IntegerField:uid>
Found mapping: name ==> <StringField:username>
SQL: insert into User (password,email,username,uid) values (?,?,?,?)
ARGS: ['my-pwd', 'test@orm.org', 'Michael', 12345]

　　可以看到，save()方法已经打印出了可执行的SQL语句，以及参数列表，只需要真正连接到数据库，执行该SQL语句，就可以完成真正的功能。

　　不到100行代码，我们就通过metaclass实现了一个精简的ORM框架，完整的代码从这里下载：

　　https://github.com/michaelliao/learn-python/blob/master/metaclass/simple_orm.py

　　最后解释一下类属性和实例属性。直接在class中定义的是类属性：

　　?

1
2

class Student(object):
name = 'Student'

　　实例属性必须通过实例来绑定，比如self.name = 'xxx'。来测试一下：

　　?

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21

>>> # 创建实例s：
>>> s = Student()
>>> # 打印name属性，因为实例并没有name属性，所以会继续查找class的name属性：
>>> print(s.name)
Student
>>> # 这和调用Student.name是一样的：
>>> print(Student.name)
Student
>>> # 给实例绑定name属性：
>>> s.name = 'Michael'
>>> # 由于实例属性优先级比类属性高，因此，它会屏蔽掉类的name属性：
>>> print(s.name)
Michael
>>> # 但是类属性并未消失，用Student.name仍然可以访问：
>>> print(Student.name)
Student
>>> # 如果删除实例的name属性：
>>> del s.name
>>> # 再次调用s.name，由于实例的name属性没有找到，类的name属性就显示出来了：
>>> print(s.name)
Student

　　因此，在编写程序的时候，千万不要把实例属性和类属性使用相同的名字。

　　在我们编写的ORM中，ModelMetaclass会删除掉User类的所有类属性，目的就是避免造成混淆。

时间： 2024-04-26 16:10:25

在Python中使用元类的教程的相关文章

Python中的元类编程入门指引_python

回顾面向对象编程 让我们先用 30 秒钟来回顾一下 OOP 到底是什么.在面向对象编程语言中,可以定义 类,它们的用途是将相关的数据和行为捆绑在一起.这些类可以继承其 父类的部分或全部性质,但也可以定义自己的属性(数据)或方法(行为).在定义类的过程结束时,类通常充当用来创建 实例(有时也简单地称为 对象)的模板.同一个类的不同实例通常有不同的数据,但"外表"都是一样 - 例如, Employee 对象 bob 和 jane 都有 .salary 和 .room_number ,但两者

深入理解Python中的元类(metaclass)_python

译注:这是一篇在Stack overflow上很热的帖子.提问者自称已经掌握了有关Python OOP编程中的各种概念,但始终觉得元类(metaclass)难以理解.他知道这肯定和自省有关,但仍然觉得不太明白,希望大家可以给出一些实际的例子和代码片段以帮助理解,以及在什么情况下需要进行元编程.于是e-satis同学给出了神一般的回复,该回复获得了985点的赞同点数,更有人评论说这段回复应该加入到Python的官方文档中去.而e-satis同学本人在Stack Overflow中的声望积分也高达6

深刻理解Python中的元类(metaclass)--代码实践

根据http://blog.jobbole.com/21351/所作的代码实践. 这篇讲得不错,但以我现在的水平,用到的机会是很少的啦... #coding=utf-8 class ObjectCreator(object): pass my_object = ObjectCreator() # print my_object def echo(o): print o echo(ObjectCreator) print hasattr(ObjectCreator, 'new_attribute'

在Python中使用mongoengine操作MongoDB教程

  在Python中使用mongoengine操作MongoDB教程          这篇文章主要介绍了在Python中使用mongoengine操作MongoDB教程,包括在Django下的一些使用技巧,需要的朋友可以参考下 最近重新拾起Django,但是Django并不支持mongodb,但是有一个模块mongoengine可以实现Django Model类似的封装.但是mongoengine的中文文档几乎没有,有的也是简短的几句介绍和使用.下面我就分享一下我在使用过程中所记录下的一些笔记

在Python中编写数据库模块的教程

  这篇文章主要介绍了在Python中编写数据库模块的教程,本文代码基于Python2.x版本,需要的朋友可以参考下 在一个Web App中,所有数据,包括用户信息.发布的日志.评论等,都存储在数据库中.在awesome-python-app中,我们选择MySQL作为数据库. Web App里面有很多地方都要访问数据库.访问数据库需要创建数据库连接.游标对象,然后执行SQL语句,最后处理异常,清理资源.这些访问数据库的代码如果分散到各个函数中,势必无法维护,也不利于代码复用. 此外,在一个Web

Python中zfill()方法的使用教程

  这篇文章主要介绍了Python中zfill()方法的使用教程,是Python入门中的基础知识,需要的朋友可以参考下 zfill()方法用零垫串来填充左边宽度. 语法 以下是zfill()方法的语法: ? 1 str.zfill(width) 参数 width -- 这是字符串的最终宽度,即填充零后得到的宽度. 返回值 此方法返回补齐的字符串. 例子 下面的例子显示了zfill()方法的使用. ? 1 2 3 4 5 6 #!/usr/bin/python   str = "this is s

Python中的index()方法使用教程

  这篇文章主要介绍了Python中的index()方法使用教程,是Python入门学习中的基础知识,需要的朋友可以参考下 index()方法确定字符串str,如果起始索引beg和结束索引end在末尾给出了找到字符串或字符串的一个子串.这个方法与find()方法一样,只是如果没有找到子符趾会抛出一个异常. 语法 以下是index()方法的语法: ? 1 str.index(str, beg=0 end=len(string)) 参数 str -- 此选项指定要搜索的字符串. beg -- 这是开

Python中的ceil()方法使用教程

  这篇文章主要介绍了Python中的ceil()方法使用教程,是Python入门中必会的方法之一,需要的朋友可以参考下 ceil()方法返回x的值上限 - 不小于x的最小整数. 语法 以下是ceil()方法的语法: ? 1 2 3 import math   math.ceil( x ) 注意:此函数是无法直接访问的,所以我们需要导入math模块,然后需要用math的静态对象来调用这个函数. 参数 x -- 这是一个数值表达式. 返回值 此方法返回不小于x的最小整数. 示例 下面的例子显示了c

在Python中使用HTML模版的教程

  这篇文章主要介绍了在Python中使用HTML模版的教程,HTML模版也是Python的各大框架下的一个基本功能,需要的朋友可以参考下 Web框架把我们从WSGI中拯救出来了.现在,我们只需要不断地编写函数,带上URL,就可以继续Web App的开发了. 但是,Web App不仅仅是处理逻辑,展示给用户的页面也非常重要.在函数中返回一个包含HTML的字符串,简单的页面还可以,但是,想想新浪首页的6000多行的HTML,你确信能在Python的字符串中正确地写出来么?反正我是做不到. 俗话说得