IPython基础使用_Round2

前言

上篇博文中记录了Setup Python环境和Iptyhon，以及Ipython的特性和部分基础功能。现在继续更深入的学习Ipython的特殊功能，以及Ipython的魔力函数—Magic

软件环境

  • 系统 
    • Ubuntukylin 14.04
  • 软件 
    • Python 2.7.6
    • Ipython 4.0.0

Ipython的字符串处理

Ipython内嵌grep()函数，可以实现类似awk、grep指令的功能 
a). 获取要处理的文本内容 
 
b). 对文本进行行过滤 
contentsInfo.grep(“lineFilter”) 
 
c). 行过滤后再进行的列过滤 
contentsInfo.grep(“lineFilter”).fields(rangeArray) 
 
也可以直接进行列过滤contentsInfo.fields(rangeArray) 
 
e). 对进行过滤后的Out[ ]作选择操作 

Ipython的魔力函数—Magic

Magic是Ipython内置的丰富的函数库，一般以%开头，支持查看函数的源代码，Magic是Ipython主要内容，为编程提供了很好的便捷性能。其中Magic有两种类型，分别是%：line magic和%%：call magic。前者针对处理一行代码，反之，后者处理多行代码。

%lsmagic — Output所有魔力函数

In [39]: %lsmagic
Out[39]:
Available line magics:
%alias  %alias_magic  %autocall  %autoindent  %automagic  %bookmark  %cat  %cd  %clear  %colors  %config  %cp  %cpaste  %debug  %dhist  %dirs  %doctest_mode  %ed  %edit  %env  %gui  %hist  %history  %install_default_config  %install_ext  %install_profiles  %killbgscripts  %ldir  %less  %lf  %lk  %ll  %load  %load_ext  %loadpy  %logoff  %logon  %logstart  %logstate  %logstop  %ls  %lsmagic  %lx  %macro  %magic  %man  %matplotlib  %mkdir  %more  %mv  %notebook  %page  %paste  %pastebin  %pdb  %pdef  %pdoc  %pfile  %pinfo  %pinfo2  %popd  %pprint  %precision  %profile  %prun  %psearch  %psource  %pushd  %pwd  %pycat  %pylab  %quickref  %recall  %rehashx  %reload_ext  %rep  %rerun  %reset  %reset_selective  %rm  %rmdir  %run  %save  %sc  %set_env  %store  %sx  %system  %tb  %time  %timeit  %unalias  %unload_ext  %who  %who_ls  %whos  %xdel  %xmode

Available cell magics:
%%!  %%HTML  %%SVG  %%bash  %%capture  %%debug  %%file  %%html  %%javascript  %%latex  %%perl  %%prun  %%pypy  %%python  %%python2  %%python3  %%ruby  %%script  %%sh  %%svg  %%sx  %%system  %%time  %%timeit  %%writefile

Automagic is ON, % prefix IS NOT needed for line magics.

可以看见Ipython拥有丰富的内置函数。下面着重介绍常用的几个。

查看Magic的源码

In [69]: %edit??

??：查看函数、指令、对象的详细信息，包括用法、函数的源代码等 
？：查看函数、指令、对象、变量的更加详细使用方法、文档，但不包括函数的源代码

%env 显示系统环境变量

In [40]: %env

%history 查看指令执行历史记录

In [41]: %history -n

%pwd 显示当前目录路径

IpythonShell中的pwd是%pwd的链接，而%pwd是系统Bash中pwd的链接。Ipython中大部分可以直接使用的系统指令都是经过了这样的处理后才能使用。

In [42]: %pwd
Out[42]: u'/usr/local/src/pyScript'

In [43]: pwd
Out[43]: u'/usr/local/src/pyScript'

%pycat 语法高亮显示一个Python程序文件

In [45]: %pycat pyFile.py

%save 将历史指令筛选并保存到文件中

常%save 结合 %history 、%edit 指令一起使用。 
%save fileName commandsNnmber 
先将历史记录保存到文件中

In [54]: %save testSave 1-3 14-15 24 27-30
File `testSave.py` exists. Overwrite (y/[N])?  y
The following commands were written to file `testSave.py`:
portInfo = get_ipython().getoutput(u'netstat -lpntu')
portInfo
portInfo.grep("tcp")
diskInfo = get_ipython().getoutput(u'df -TH')
diskInfo
diskInfo.grep("ext4",field=1).fields(0)
diskInfo.grep("ext4",field=1).fields(0,3,6)[0]
Out[1]
Out[26]
Out[26][4]

再编辑保存了历史指令的testSave文件，可以非常方便的将调试的指令写入到文件中，再作进一步的处理。

In [56]: %edit testSave.py
    # coding: utf-8
    portInfo = get_ipython().getoutput(u'netstat -lpntu')
    portInfo
    portInfo.grep("tcp")
    diskInfo = get_ipython().getoutput(u'df -TH')
    diskInfo
    diskInfo.grep("ext4",field=1).fields(0)
    diskInfo.grep("ext4",field=1).fields(0,3,6)[0]
    Out[1]
    Out[26]
    Out[26][4]

%run 在IPython执行一个脚本

在IPython中因无法使用python指令来执行一个.py的脚本，所以IPython也内嵌了一个%run函数来代替python command。其中run是%run的链接，所以有下面两种方式，而且还提供能多个选项来满足开发需求。

In [8]: run test.py
My Name is Jmilk!

In [9]: %run test.py
My Name is Jmilk!

a). -t 输出程序执行的CPU timings， -Nx (x为数字)指定程序重复执行的次数。

In [10]: run -t test.py
My Name is Jmilk!

IPython CPU timings (estimated):
  User   :       0.00 s.
  System :       0.00 s.
Wall time:       0.00 s.

In [12]: run -t -N2 test.py
My Name is Jmilk!
My Name is Jmilk!

IPython CPU timings (estimated):
Total runs performed: 2
  Times  :      Total      Per run
  User   :       0.00 s,       0.00 s.
  System :       0.00 s,       0.00 s.
Wall time:       0.00 s.

b). -p 开启Python profiler(Python 程序性能调优)

In [18]: run -t -N2 -p test.py
My Name is Jmilk!

可以显示详细的程序运行时资源使用量的参数。 
 
c). -d 进入ipdb控制台中，-bx(x为数字)指定行数打断点。是一个不错的程序调试平台。

In [19]: run -d test.py
Breakpoint 1 at /usr/local/src/pyScript/test.py:1
NOTE: Enter 'c' at the ipdb>  prompt to continue execution.
> /usr/local/src/pyScript/test.py(1)<module>()
1---> 1 print "My Name is Jmilk!"

ipdb>

上述%run函数的几个选项都非常值得深入学习，在以后会继续为大家介绍。

%timeit 测试一条指令执行的时间

%timeit 函数默认会重复执行10000次此条指令，并取出3个最佳的结果来计算平均值，从而得出一条指令执行所需要的时间。

In [23]: %timeit [i*i for i in range(1000)]
The slowest run took 5.67 times longer than the fastest. This could mean that an intermediate result is being cached
10000 loops, best of 3: 160 µs per loop

a). -n 指定重复执行的次数，默认为10000。-p 显示出详细的高精度时间。

In [31]: %timeit -n 100 [i*i for i in range(1000)]
100 loops, best of 3: 231 µs per loop

In [34]: %timeit -p 1000 [i*i for i in range(1000)]
1000 loops, best of 3: 162.34493255615234375 µs per loop

b). -r 指定取多少个最佳结果来计算平均值，默认为3个。

In [26]: %timeit -p 1000 -r 4 [i*i for i in range(1000)]
10000 loops, best of 4: 162.2743129730224609375 µs per loop

%bookmark 记忆路径

In [36]: %bookmark workspace /usr/local/src/pyScript/

In [39]: cd workspace
(bookmark:workspace) -> /usr/local/src/pyScript/
/usr/local/src/pyScript

注意的是，使用%bookmark的定义的路径无法使用 ！cd 来进入。既系统Shell不是别%bookmark定义的变量。

%file 创建并编辑一个文件

In [58]: %%file testFile.py
def myFuncation():
    name = 'Jmilk'
    print "My name is %s" % name
if __name__ == '__main__':
    myFuncation()
   ....:
Overwriting testFile.py

In [59]: run testFile.py
My name is Jmilk

Python 和 shell 的结合

在Shell中使用Python变量

可以在定义Python变量后，使用$符来结合Shell command和Python variable。需要注意的是，mkdir其实是%mkdir的链接，既本质上是IPython 的内嵌函数%mkdir 可以识别variable “folder” 。

In [62]: folder = 'testVariable'

In [63]: mkdir $folder

In [65]: cd $folder
/usr/local/src/pyScript/testVariable
#反之，指令：！cd $folder 则无法执行

将Shell 的结果赋值给Python vairable。

vairable = !shellCommands

In [83]: import re

In [84]: portInfo = !netstat -lpntu | grep "tcp"

In [86]: portInfo
Out[86]:
['tcp        0      0 127.0.0.1:11211         0.0.0.0:*               LISTEN      2259/memcached  ',
 'tcp        0      0 127.0.1.1:53            0.0.0.0:*               LISTEN      1468/dnsmasq    ',
 'tcp        0      0 0.0.0.0:22              0.0.0.0:*               LISTEN      1761/sshd       ',
 'tcp        0      0 127.0.0.1:631           0.0.0.0:*               LISTEN      5483/cupsd      ',
 'tcp        0      0 0.0.0.0:15672           0.0.0.0:*               LISTEN      2428/beam.smp   ',
 'tcp        0      0 0.0.0.0:55672           0.0.0.0:*               LISTEN      2428/beam.smp   ',
 'tcp        0      0 0.0.0.0:3260            0.0.0.0:*               LISTEN      1823/tgtd       ',
 'tcp        0      0 0.0.0.0:54531           0.0.0.0:*               LISTEN      2428/beam.smp   ',
 'tcp        0      0 0.0.0.0:3306            0.0.0.0:*               LISTEN      1975/mysqld     ',
 'tcp6       0      0 :::80                   :::*                    LISTEN      2845/apache2    ',
 'tcp6       0      0 :::4369                 :::*                    LISTEN      2332/epmd       ',
 'tcp6       0      0 :::22                   :::*                    LISTEN      1761/sshd       ',
 'tcp6       0      0 ::1:631                 :::*                    LISTEN      5483/cupsd      ',
 'tcp6       0      0 :::3260                 :::*                    LISTEN      1823/tgtd       ',
 'tcp6       0      0 :::5672                 :::*                    LISTEN      2428/beam.smp   ']

In [88]: for i in portInfo:
    print re.sub(r"0","J",i)
   ....:
tcp        J      J 127.J.J.1:11211         J.J.J.J:*               LISTEN      2259/memcached
tcp        J      J 127.J.1.1:53            J.J.J.J:*               LISTEN      1468/dnsmasq
tcp        J      J J.J.J.J:22              J.J.J.J:*               LISTEN      1761/sshd
tcp        J      J 127.J.J.1:631           J.J.J.J:*               LISTEN      5483/cupsd
tcp        J      J J.J.J.J:15672           J.J.J.J:*               LISTEN      2428/beam.smp
tcp        J      J J.J.J.J:55672           J.J.J.J:*               LISTEN      2428/beam.smp
tcp        J      J J.J.J.J:326J            J.J.J.J:*               LISTEN      1823/tgtd
tcp        J      J J.J.J.J:54531           J.J.J.J:*               LISTEN      2428/beam.smp
tcp        J      J J.J.J.J:33J6            J.J.J.J:*               LISTEN      1975/mysqld
tcp6       J      J :::8J                   :::*                    LISTEN      2845/apache2
tcp6       J      J :::4369                 :::*                    LISTEN      2332/epmd
tcp6       J      J :::22                   :::*                    LISTEN      1761/sshd
tcp6       J      J ::1:631                 :::*                    LISTEN      5483/cupsd
tcp6       J      J :::326J                 :::*                    LISTEN      1823/tgtd
tcp6       J      J :::5672                 :::*                    LISTEN      2428/beam.smp

将Shell commands的结果赋值给Pyhon variable后，可以将此List类型的变量再作后期的处理。其中re(regular expression) module在Python中实现正则表达式的功能。re.sub(substitute)则是实现正则表达式的替换功能。

到此IPython的基本介绍也完成了，IPython是一个非常有意思的东西，他所能实现的功能，总会给你惊喜。当然，，这也需要失时间去熟悉他。往后会结合Python的语法和代码实现来继续学习IPython。

Jmilk

转载：http://blog.csdn.net/jmilk/article/details/48194487

时间： 2024-04-01 01:41:52

IPython基础使用_Round2的相关文章

Python_基础知识储备

前言 前面的博文从记录了如何Setup Python开发环境,到IPython的基本使用.现在便由浅入深的学习Python编程艺术.学习一门编程语言,首先要了解其底层的实现机制和程序处理的过程,也就是了解其设计思想和解析实现.当然,初始一门语言,可以无须太过深入的去研究这些,但也要在心中建立起一个Python的知识框架,在接下来的学习过程中,不断的其填充和完善这一框架,有如造房筑楼. 初识Python Python 支持OOP(Object Oriented Programming面向对象编程实

Setup Python 开发环境和IPython的基本使用

前言 常言道:工欲善其事,必先利其器.编程语言的学习是久远的,一步一脚印.现在从最基础的开发环境的部署开始,开启我们Python之路吧.在大多数Linux的发行版中都会预安装Python的编译环境来满足和支持系统内部软件的运行.Ubuntu Kylin 也预安装了Python-2.7.6,输入python指令就可以进入Python自带的Shell.但是此PythonShell一般用于调试Python脚本,其功能远不能满足程序开发.下面我会介绍Python交互式Shell–IPython的安装是基

《面向机器智能的TensorFlow实践》TensorFlow与机器学习基础

本节书摘来自华章出版社<面向机器智能的TensorFlow实践>一书中的第1章,第节,作者山姆·亚伯拉罕(Sam Abrahams)丹尼亚尔·哈夫纳(Danijar Hafner)[美] 埃里克·厄威特(Erik Erwitt) 阿里尔·斯卡尔皮内里(Ariel Scarpinelli),更多章节内容可以访问"华章计算机"公众号查看. TensorFlow基础 3.1 数据流图简介 本节将脱离TensorFlow的语境,介绍一些数据流图的基础知识,内容包括节点.边和节点依赖

第一章 Python基础知识

1.1 介绍      1.1.1 特点      Python是一种面向对象.解释型计算机程序设计语言.语法简洁清晰,强制用空白符作为语句缩进.      Python具有丰富和强大的库,又被称为胶水语言.能把其他语言(主要C/C++)写的模块很轻松的结合在一起.      1.1.2 应用领域         Web网站:有很多优秀的开源Web框架,比如Django(最流行).Tornado(轻量级.异步).Flask(微型).Web.py(简单)等.      数据采集:有好用的http库

Ipython

来源:http://blog.kochiya.me/www/posts/Ipython!.html 前几天偶然在公司内网上拖了一本 Learning IPython for Interactive Computing and Data Visualizatio,如名字所说,这本书主体内容就是讨论ipython的使用与数据的可视化.由于很薄,昨天为了打发时间就随便翻了翻,阅读完了前三章,认识到一个问题:我从来没有真正使用过ipython -- 之前只是很单纯地把ipython看作一个支持自动补全和

Python基础框架和工具

Python基础框架和工具 最近在学Python金融大数据分析,在安装Python进行大数据分析的环境时遇到很多问题,例如:在安装pandas包时候就要到各种错误,总是缺少很多安装包,最后发现利用Python的Anaconda进行科学计算环境的搭建非常方便. Anaconda是和Canopy类似的科学计算环境,安装非常方便,而且自带的conda包管理器也十分强大. 1. Anaconda介绍: 我们可以从http://continuum.io/downloads上下载适合你操作系统的Anacon

《Python金融大数据分析》一第2章 基础架构和工具

第2章 基础架构和工具 Python金融大数据分析基础架构比体系结构还要重要得多. --Rem Koolhaas 你可能会说基础架构不是一切,但是没有基础架构,什么东西都可能毫无意义--在现实世界或者技术中都是如此.那么,我们所说的基础架构是指什么呢?理论上,它是使简单Python脚本或者更复杂的Python应用程序得以执行的硬件和软件组件. 但是,本章并不打算详细介绍硬件基础架构,因为所有Python代码和示例应该可以在几乎所有硬件上执行[1].我们在此也不打算讨论不同的操作系统,因为Pyth

Python Base of Scientific Stack（Python基础之科学栈）

Python Base of Scientific Stack(Python基础之科学栈) 1. Python的科学栈(Scientific Stack) NumPy NumPy提供度多维数组对象,以存储同构或者异构数据:它还提供操作这一数组对象的优化函数/方法. SciPy SciPy是一组子库和函数,实现科学或者金融中常常需要的重要标准功能: Matplotlib Matplotlib这是最流行的Python绘图和可视化库,提供2D和3D可视化功能. PyTables PyTables是最流

天龙八步 第二弹：8步从Python白丁到专家，从基础到深度学习

如果你想做一个数据科学家,或者作为一个数据科学家你想扩展自己的工具和知识库,那么,你来对地方了. 这篇文章的目的,是给刚开始使用Python进行数据分析的人,指明一条全面的Python学习路径.这条路径提供了用Python进行数据分析的必要步骤的一个全面概述.如果你已经有了一些基础,或者不需要所有的内容,可以随意调整学习路径以适合自己,并让我们知道你是怎么改动的. 0热身运动在开始学习之前,第一个需要回答的问题是 推荐这个30分钟的录像,它是DataRobot创始人Jeremy在2014年Pyt