修行的技术阁

We all make our choices. The hard part is living with them. ——《妙笔生花》 人的一生要做出很多选择，但是最难得是带着自己的选择去生活下去。 状态码10x 说明 详情 100 继续 客户端应继续提出请求。服务器已收到部分请求，正等待其余部分 101 切换协议 服务器根据客户端的请求切换协议。只能向上请求更高级的协议，如切换到HTTP的新版本协议 状态码20x 说明 详情 200 请求成功 服务器已经处理了请求 201 已创建 请求成功，并且服务器创建了新的资源 202 已接受 服务器已接受请求，但并未处理 203 非授权信息 请求成功。但返回的数据不在原始服务器，可能来自另一个数据源 204 已创建 请求成功，并且服务器创建了新的资源 205 无内容 服务器成功处理，但未返回任何内容 206 部分内容 服务器成功处理了部分请求 状态码30x 说明 详情 300 多种选择 请求的资源可包括多个位置，相应可返回一个资源特征与地址的列表用于用户终端( ...

If you put your mind to it, you can accomplish anything. ——《回到未来》 有志者，事竟成。 目标   在《requests中文乱码问题》这篇文章中提到了两种解决方式，这两种方式究竟哪种方式是值得推荐的那？一般来说抓取网页与持久化储存是最耗时的，要想提高抓取效率就得从这两方面入手。那我们就从时间入手，在不改变原代码的情况下，可以使用装饰器来运算两种方式运行所需要的时间。 代码实现 12345678910111213141516171819202122232425262728293031323334353637383940414243444546import timeimport requestsfrom functools import wraps# 运行时间装饰器def run_time(func): @wraps(func) def wrapper(*args, **kwargs): start_ts = time.time() func(*args, **kwargs) ...

Talent is luck. The important thing in life is courage. ——《曼哈顿》 有天赋是运气，生活中更为重要的是要有勇气。 发现问题 在使用requests.get()去抓取网页时，发现中文乱码 12345import requestsurl = 'https://salling.com.cn'response = requests.get(url)print(response.text) 大概是这个样子 123456789101112131415161718192021<nav class="site-state"> <div class="site-state-item site-state-posts"> <a href="/archives/"> <span class="site-state-item-count">22 ...

We work in the darkness to serve the light. ——《刺客信条》 我们鞠躬于黑暗，却向往着光明。 问题 1234567891011121314151617181920212223提取如下html结构中的信息<div class="list"> <div class="item"> <p><label>姓名：</label><span>坤坤</span></p> <p><label>类型：</label><span>human</span></p> <p><label>年龄：</label><span>24</span></p> </div> <div class="item"> <p><lab ...

Victory belongs to those that believe in it the most， and believe in it the longest. ——《珍珠港》 胜利属于那些信念坚定、永不动摇的人。 问题 12有如下数组，请计算并打印出每个字符串中排列在任意x前面的所有y的个数。 arr = ['xxyyxyyyyyxxx', 'yyxxxxy', 'xyyyxxyx', 'xxxx', 'xxxyyy'] 解析 123456789101112131415import redef change_s(s_list): res_list = [] pattern = re.compile(r'(y+)x') for i in s_list: res = pattern.findall(i) res_list.append(len(''.join(res))) return r ...

It is okay to fail, as long as you keep trying! ——《科学怪狗》 只要你坚持尝试，失败也没有关系！ lambda表达式   为了避免创建一次性的辅助性函数 语法 1lambda <argument>, <expression> map()   根据提供的函数对指定序列做映射。返回包含每次函数返回值的新列表。 语法 1map(function, iterable, ...) 将一个包含整数的列表转换为这些整数字符串的另一个列表 12345678# for循环实现oldList = list(range(1, 5))newList = []for num in oldList: newList.append(str(num))print(newList)>>>['1', '2', '3', '4'] 123456# map实现oldList = list(range(1, 5))newList = list(map ...

The only thing that matters is what you believe. ——《达芬奇密码》 重要的是你内心的信仰。 语法 1ps [options] [--help] 参数 1234567891011121314151617181920212223242526272829-A 列出所有的行程-w 显示加宽可以显示较多的资讯-au 显示较详细的资讯-aux 显示所有包含其他使用者的行程au(x) 输出格式 : USER PID %CPU %MEM VSZ RSS TTY STAT START TIME COMMAND USER：行程拥有者 PID：pid %CPU：占用的 CPU 使用率 %MEM：占用的物理内存使用率 VSZ：占用的虚拟内存的大小 RSS：占用的固定内存的大小 TTY：终端的次要装置号码 (minor device number of tty) STAT：该行程 ...

In order to be brave, we got to be a little scared. ——《摩天营救》 感到害怕才能学会勇敢。 安装支持exfat的软件 1sudo apt-get install exfat-fuse 重启 1sudo shutdown -r now   在重启的时候就可以插上U盘，我的就是重启之后直接就挂载上了，并且显示在桌面上。如果重启之后没有直接挂载上，请执行下面的步骤。 列出磁盘信息 1sudo fdisk -l   找到你要挂载的U盘 挂载 创建挂载目录 1sudo mkdir /mnt/USB 执行挂载命令 1sudo mount /dev/sdc /mnt/USB   挂载完成之后，U盘里的文件就可以在/mnt/USB目录找到了。 卸载   先执行下面的命令卸载U盘，再将其拔出 1sudo umount /mnt/USB

Speed a little more time trying to make something of yourelf and a little less time trying to impress people. ——《早餐俱乐部》 花少点时间去取悦别人，多花时间来经营自己。 错误信息   在Python3.7环境下使用django1.11创建app时出现以下错误： 解决方案 方案一：修改出现错误的文件（亲测可用）   直接点击上图红色框框圈住的文件地址，或者找到你的环境下的site-packages\django\contrib\admin\widgets.py文件 将： 1234if params: related_url += '?' + '&amp;'.join( '%s=%s' % (k, v) for k, v in params.items(), ) 更改为： 1234if params: related_url += '?' + ' ...

To always face my abversity head on. ——《冰雪奇缘2》 永远都要直面挫折。 抓取目标   本次抓取目标是天天基金网的基金数据，如基金代码、基金名称、最近一个月收益率、最近六个月收益率、最近三年收益率以及基金公司、基金规模等一系列指标，这些信息抓取之后将会保存到本地的CSV文件中。 思路分析   我们选取的站点是：http://fund.eastmoney.com/allfund.html 如下图示：   可以看出所有的基金所有的基金代码以及基金名称都在这里，但是我们想要的不止这些，所以需要进入到每一个基金的详情页去。如下图：   那我们就以我们选取的站点：http://fund.eastmoney.com/allfund.html 为起始站点，提取每个基金的详情页链接，然后在详情页中解析我们想要的数据。 新建项目   接下来，我们用Scrapy来实现这个抓取过程。首先创建一个项目，命令如下所示： 1scrapy startproject fund   进入项目中，新建一个项目，名为eastmoney,命令如下所示： 1scrapy gens ...