自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

看,未来的博客

我的博客,最精简

  • 博客(31)
  • 资源 (8)
  • 收藏
  • 关注

原创 对“Python对协程的支持”模块的学习:asyncio、await

经过一天半的挣扎,我决定把这部分本该嵌入在“精写15篇,学会Python爬虫”的付费文章中的部分单独拎出来。因为这部分实在是太重要了,不好理解,且篇幅过长。

2021-04-20 17:40:33 208 1

原创 【我要偷偷学Python,然后惊呆所有人】专栏导航

文章目录全文导读我要偷偷的学Python,然后惊呆所有人Python爬虫自学系列Python数据分析打开我的Python收藏夹系列Python其他部分全文导读“我要偷偷学Python,然后惊呆所有人”系列完更已经有一段时间了,但是我一直觉得缺少一点啥。直到看了橡皮檫大佬的爬虫百例教程,我知道,我的这个专栏却一份目录、本专栏尽可能包含从Python小白入门,到爬虫数据采集、数据清洗、数据存储、数据分析、数据可视化等一系列内容,帮助各位初学Python初学的小伙伴不至于从入门到出门。此外,我们还有.

2021-04-19 21:38:42 355 16

原创 别催啦别催啦,Python Socket编程

文章目录打开一个网络接口:套接字绑定IP与端口:bind监听网络来信:监听套接字接收网络来访者:允许连接客户端方面:申请连接关闭通信套接字:close()公共用途的套接字函数服务端/客户端,放码过来服务端客户端结果输出抱歉,我一直坚定选择的是后端,嘿嘿嘿。就算是Python,我也要绕回后端来。上图是socket网络编程的流程图至于数据在网络中是怎么走的,咱先不说,那个太底层了,咱今天见就说如何将数据从咱的屏幕上放到网络流中去。这可不是键盘敲敲,回车一按的事情,在这背后,那也是百转千回。打..

2021-04-19 11:21:23 765 7

原创 阅读会语录记载(一)

文章目录前言语录前言当我决定要做这么一件事情的时候,我犹豫了挺久。我想把我所听闻的挺好的鸡汤语录纪录下来,但是又懒得动手,毕竟那些视频就在那边,跑不掉?不知道,被删了就没了呗、你们经历过那种,盘了半年的文,结果原博主删文了的绝望吗?ps:如果你发现收藏了我的那篇博客没了,跟我说一声儿,还在的,只是换到另一篇里面,以更好的形式存在了而已。看过的,听过的,读过的,不是你的;自己写下来的,还可以时不时的看两眼;亲身实践之后,才是你的。以后这个专栏会放很多不同系列的语录,不止这一个号的。语录

2021-04-18 21:44:58 890 7

原创 精写15篇,学会Python爬虫 -- (7)线程、互斥锁、线程池丨蓄力计划

知其然,知其所以然。只知其然,不知其所以然,则学习如空中楼阁。欢迎来到本系列最核心的课程,异步并发爬虫。本部分分为三篇博客来叙述,准备好上车了吗?多线程技术文章开始,我们先来看一下线程池的使用与效果。不知道效果就一味的讲为什么会怎么怎么样,显得枯燥。什么是线程? 线程是操作系统能够进行运算调度的最小单位。它被包含在进程之中,是进程中的实际运作单位。一条线程指的是进程中一个单一顺序的控制流,一个进程中可以并发多个线程,每条线程并行执行不同的任务。什么是进程? 进程是一段程序的执行过程。官方话.

2021-04-18 16:14:12 102 1

原创 “当初要是早有人跟我说这些......“

对话依旧出于昨天和班班的聚会。当时我们探讨了高校教育与选科的话题,她跟我说她跟我们分别之后的学习,发现了自己真正喜欢且擅长的领域,现在正在追梦。她说,要是当初高中的时候,有人告诉她这些,她可能就不会选那个专业,会直接选择适合自己的专业,也就不会等到现在才重返校园学习了。对话也出自齐锋学长和乐哥带我去见他们的朋友的聚会中,提起我的时候,有时候就会说我现在的机会是真的好(确实是真的好),以前要是有人跟他们说这些,他们会少走很多的弯路。感觉我是真的幸运,一路上得贵人相助。...

2021-04-17 16:31:35 4861 22

原创 教你使用python在终端创建炫酷二维码!!!

可能你见过的二维码长这样:可能长这样:但是不管它们长什么样,你可曾自己动手做过二维码吗?花了多少时间?花了小钱钱吗?看了这篇文章,这些的都不是问题了,只要你有想做的内容,有好看的图片,一分钟你就能打造出你专属的二维码。这篇文章不设标题,一路到尾。首先,在你的键盘上按下:win+r,输入cmd,打开终端。输入 pip install myqr。没爆红就是安装成功了(如果连这么小个库也安装失败了,得考虑升级pip库了。)安装成功之后,先做个小实验:myqr https://blog.c

2021-04-17 14:36:18 1404 10

原创 精写15篇,学会Python爬虫 -- (6)项目二:获取腾讯校招数据丨蓄力计划

网页分析网址:https://join.qq.com/post.html?pid=1经严密测试,发现这是一个动态网页。即所有内容都在一个网址下,随着用户的点击而重新加载网页内容。对于这种网页,我们可以视具体情况采用两种解决方法:1、既然要根据用户点击来加载内容,就是需要获取页面信息,则采取Post方式对服务器进行访问。2、既然要不断的重新加载网络内容,则我们找出目标网络通讯包,获取通讯包中数据也是一种办法。具体情况是,目标网络包是以get形式获取到的数据,所以我们直接选用方法二。...

2021-04-17 11:24:45 1281 4

原创 精写15篇,学会Python爬虫 -- (5)截流:从网络包中获取数据 丨蓄力计划

Xpath提取标签为空?咱也不多废话了,这样的栗子比比皆是。朋友昨天给我一个网站,说是数据用Xpath拿不下来,让我帮他看看:网站在此,仅做学习使用他要拿的太多了,我们稍微看一下:这种一看就是动态网页,“全部、年报、三季报、中报、一季报”都在同一个网址下。那Xpath提不出来不是很正常嘛、让我们提一下看看:import requestsfrom lxml import etreeimport randomimport timeuser_agent_list = [ "Mo.

2021-04-16 19:55:35 928 10

原创 爬虫百战穿山甲(4):帮学弟学妹们看看高考选科走班指南

郑重申明:本文仅为研究学习使用。文章目录网页分析代码实现优化小思路网页分析网址:http://wjt.a.101.com/activity/2020/gaokaotool/search-km.shtml目前是有八个省的数据,但是其他几个省的数据都有Excel直接下载了,所以就选择福建的啦。能简单就简单嘛。可以看到页面中有两个下拉框和一个“开始查询”按钮,且让我们点击一下查询按钮看情况。点击之后发现,依旧是一个动态网页。所以我们熟练地点开网络抓包工具:就一个包,没什么好说的,点开看:.

2021-04-16 16:32:50 1705 8

原创 【精写15篇,学会Python爬虫】专栏介绍 | 蓄力计划

文章目录专栏亮点为什么要学爬虫专栏思路与内容大纲系列适用人群作者介绍答疑群专栏亮点 从最基础部分开始逐步讲解爬虫技术。包括但不限于:了解爬虫,解析网页,截取数据包;互斥锁、线程池、缓存技术助力异步并发爬虫;selenium自动化技术,不仅仅可用于爬虫领域;还有scrapy框架作为压轴。 教你熟练掌握Python爬虫全部流程。解决当面对一个陌生网页时,如何用更简单、更快更便捷的操作流程完成任务。 注重实战演练。系列中带有四次项目演练,覆盖重要知识点,做点对点训练,反复加深对爬虫技术的认知。 知.

2021-04-16 11:00:15 386

原创 爬虫百战穿山甲(3):全国高校的自我介绍,快来找找你的大学吧!!!

郑重申明:本文仅为研究学习使用。网页分析网址:https://gkcx.eol.cn/school/search一页20个学校,总共一百多页:我估摸着有近三千个学校吧。接触一个陌生网站做爬虫,先拿源码试试水嘛,源码要是都拿不下来那就,懂得都懂。源码拿下来之后,做一下Xpath提取标签?一看就不专业。这个是动态网页,要提取标签要用post方法来提。那你这一百多页,PO一百多次,可能第一次就直接失败了。反正我post这么多次成功次数两只手熟的过来。而且要PO,那就是找到包了嘛,那我直.

2021-04-15 21:14:04 1711 20

原创 精写15篇,学会Python爬虫 -- (4)项目一:获取电影票房数据库数据 丨蓄力计划

项目介绍本来是应该去爬取自己的博客的,但是出了点意外啊,使得那个项目失去了它本来应该有的意义,简单来说就是太简单了,但是有一定可能会太难,毕竟CSDN的反爬一直在更新,我也不知道哪天这一套就不行了。所以我干脆找一个更简单的,毕竟第一个项目嘛,还是要稳一点的好。到时候要是反爬了,文章好改,视频要改就麻烦了。网页分析其实上一篇分析的差不多了,这一篇只要接在下面继续做一点开发就可以了。上一篇:精写15篇,学会Python爬虫 – (3)揭秘:我是如何绕过登录验证的 丨蓄力计划首先,我们拿下表头..

2021-04-14 21:57:07 1415 17

原创 学而时思之,少走弯路

文章目录前言:周记改版前言:周记改版前段时间心血来潮,想写一下日记。刚开始都还好,写着写着就变成了流水账,没什么思想在里面。所以,我就想着改变,整理周记的形式来做。但是周记就像是一种负担的内容,写着就失去了本意。所以两天就不写了。但是吧,不写的这两天,又收到了很多有意义的新信息,接触到很多有想法,有能力,有实力的人。我就有点迷了,于是我决定,写周记,但是不写那种死板的周记,也不固定时间,什么时候觉得准备好了,就什么时候写。...

2021-04-14 19:52:06 3975 25

原创 爬虫百战穿山甲(2):百度翻译爬虫

文章目录系列简介解析网页代码实现带上UI系列简介将我的“爬虫百战穿山甲”团队平时做的项目放到这个专栏里吧,仅供学习研究使用,如有侵权,私信我删除,不得转载本系列不多废话,小白入门爬虫可以先看一下我的另一个专栏:点击进入:精写15篇,带你入门Python爬虫里面有十一篇教程,带四个项目。解析网页如果找不到sug的话可以多搜几次,另一个包也有这些东西,但是post上去会报错。那个包的数据格式是:“query”,避个雷。往下翻,找到了form data。于是就可以编写代码了:代码.

2021-04-13 21:38:48 2558 21

原创 精写15篇,学会Python爬虫 -- (3)揭秘:我是如何绕过登录验证的 丨蓄力计划

文章目录登录验证的背后客户端和服务端请求响应的关系认识session和cookiecookiesession开始操作上图已魔法反爬,哈哈哈,想爬就爬呗,不拦着。登录验证的背后打开一个网页,发现它需要登录,有可能还有各种各样的验证码。输入账号密码,或者扫码之后登录上网页,解锁更多新功能。只要我们不关闭网页,这个登录状态就会被保持着。这个场景都不陌生吧。我们关闭浏览器,再次打开浏览器,会发现有的网页依旧保持着登录状态,比如说CSDN,而有的网页已经被退出登录了,想再次进入就需要重新登录,这样的.

2021-04-13 19:49:13 664 29

原创 爬虫百战穿山甲(1)有道翻译爬虫

文章目录系列简介分析网页代码实现拓展延伸系列简介将我的“爬虫百战穿山甲”团队平时做的项目放到这个专栏里吧,仅供学习研究使用,如有侵权,私信我删除,不得转载本系列不多废话,小白入门爬虫可以先看一下我的另一个专栏:点击进入:精写15篇,带你入门Python爬虫里面有十一篇教程,带四个项目。分析网页点此蓝字打开:有道翻译直奔主题:直接打开网络传输板块,选择“XHR”。输入测试单词,比如说:hello,发现两个包,但是不知道有什么不一样的,就拿一个就好了:拿下那个网址:https:.

2021-04-12 16:39:16 3237 14

原创 AttributeError: module ‘urllib‘ has no attribute ‘quote‘的解决办法

from urllib.parse import quoteimport urllibpoet_name = "李白"url_code_name = urllib.parse.quote(poet_name)print(url_code_name)

2021-04-12 10:11:10 82

原创 精写15篇,学会Python爬虫 -- (2)承接:解析网页,抓取标签 丨蓄力计划

文章目录系列导读这个系列是什么?本系列配套资源已加入CSDN“蓄力计划”,打造精品系列系列适用人群认识HTML源代码上图已魔法反爬,哈哈哈,想爬就爬呗,不拦着。系列导读这个系列是什么?本系列会写一些什么内容,在开头那张思维导图里面写了个大概了,至于导图里面没有写出来的,就作为一些探索的内容吧。我之前有写过一个Python爬虫自学系列,反响也还可以,不过那个系列里面的不少链接是另一个付费专栏里面的内容了,相对要阅读就有些困难。这个系列是在原有知识点的基础上,加入一些新的知识点,重新写的一个系列.

2021-04-12 09:57:15 2053 19

原创 一周记:2021.4.2-4.8

文章目录本周五件事本周思考总的来说呢,这周是要么是在家里躺着,要么就是非常忙状态了。偷得浮生半日闲,我来简单整理一下本周。本周五件事1、重构pandas系列(就这个系列,直接把我搞到满负荷状态了)。2、编程训练营开营仪式,书记来了,团委来了,辅导员来了,还来了一大批同学。3、我的爬虫班开了。4、加入了CSDN的“蓄力计划”,打造精品专栏。5、入选了“原力计划”第二周周榜本周思考1、短时间的成功会改善你的生活,但是要实现财富自由,是需要长时间的沉淀的。德不配位,必有灾殃!!!2、对于爬

2021-04-10 16:07:18 109 1

原创 精写15篇,学会Python爬虫 -- (1)开篇:初识爬虫,基础铺垫 丨蓄力计划

文章目录系列导读这个系列是什么?本系列配套资源已加入CSDN“蓄力计划”,打造精品系列系列适用人群初识爬虫卸下心理包袱记住我们是为什么学习爬虫上图已魔法反爬,哈哈哈,想爬就爬呗,不拦着。系列导读这个系列是什么?本系列会写一些什么内容,在开头那张思维导图里面写了个大概了,至于导图里面没有写出来的,就作为一些探索的内容吧。我之前有写过一个Python爬虫自学系列,反响也还可以,不过那个系列里面的不少链接是另一个付费专栏里面的内容了,相对要阅读就有些困难。这个系列是在原有知识点的基础上,加入一些..

2021-04-10 10:29:20 1764 12

原创 上手Pandas,带你玩转数据(6)-- 摆脱对pandas可视化丑图的刻板印象吧

摆脱对pandas可视化丑图的刻板印象吧,对前端不熟的小伙伴,却想用pandas做出媲美pyechart的漂亮图吗?

2021-04-08 20:30:25 1361 22

原创 上手Pandas,带你玩转数据(5)-- 数据转换与数据定位

上手Pandas,带你玩转数据(5)-- 数据转换与数据定位

2021-04-08 17:08:08 1440 16

原创 上手Pandas,带你玩转数据(4)-- 数据清洗

文章目录描述性方法汇总数据pandas处理文本数据描述性方法在讲数据清洗之前,我想先讲一些描述性的方法。不然后面讲清洗的时候会有点突兀。哪个不会用呢?那来个示例看一下:df = pd.DataFrame(d)print(df.std())伪代码,仅供参考。汇总数据describe()函数是用来计算有关DataFrame列的统计信息的摘要。执行这个函数,我们可以获得数据的: Age Ratingcount 12.000000 .

2021-04-08 08:55:04 2366 15

原创 爬虫遇上不让右击、不让F12的网站,该怎么办?

不哔哔莱莱的,直接上解决方式:以火狐浏览器为例:方法一:鼠标点击网址栏,然后再按F12。目前不清楚这是个例还是通用的,因为我就遇到了一个这种网页。方法二:Ctrl+Shift+i。方法三:打开菜单->web开发者->web开发者工具,这个就是上面那个快捷键。以谷歌浏览器为例:方法一:依旧可以方法二:依旧可以方法三:自定义及控制->更多工具->开发者工具。作为一个爬虫选手,如果连审查页面元素的能力都没有,那也就不要干了嘛。...

2021-04-07 20:31:55 430 7

原创 上手Pandas,带你玩转数据(3)-- pandas数据存入文件

文章目录接上一篇将外部数据转化为DataFrameDataFrame写入文件csv追加写入往指定位置写入jsonExcel不覆盖写入追加写入对pandas操作Excel和csv的感触往多个表中写入数据MySQL保存数据到MySQL最后总结接上一篇略微有点尴尬,本来存取是应该一起写的,但是没想到一个取居然写了那么多,我都写累了,你们看的不得累嘛,还是分开写,减缓我的疲劳,也减缓你们的视觉疲劳。上手Pandas,带你玩转数据(2)-- 使用pandas从多种文件中读取数据将外部数据转化为DataFr.

2021-04-07 09:36:03 1011 16

原创 上手Pandas,带你玩转数据(1)-- 实例详解pandas数据结构

重写我的pandas模块,这次,带上心!!!

2021-04-06 11:39:10 1593 12

原创 一周记:2021.3.26-4.1

文章目录前言本周最重要的五件事情本周搞砸的四件事情本周的四个启发前言这周记早该写了,这不是捱着等排名重新计算嘛,也就不敢乱删前面的。第一次写,没经验,慢慢摸索吧。排序不分重要性,按时间排序。本周最重要的五件事情1、和老师联系了毕业设计的事情,这意味着我的毕业设计已经开始做了。2、确定了新的学习目标:梦想橡皮擦。三年磨一剑的大佬,让我非常的佩服。3、加入了微笑哥的知识星球4、发现了自己干事情喜欢把事情全揽在一起之后一波解决掉,这样不好,需要改正。5、发现了一个朋友性格上的闪光点。

2021-04-05 15:47:31 1457 11

原创 打开我的收藏夹 -- Python数据分析杂谈

文章目录玩转json什么是jsonPython中的Json模块获取json中的某个数据Jpathnumpy使用ndarray创建数组的好处numpy基本操作文本数据去重数据采集方式好几天没写啥实在的干货了,今天见六不废话了,直接上干货。玩转json什么是jsonJson是一种轻量级的数据交换格式,具有数据格式简单,读写方便易懂等很多优点。用它来进行前后端的数据传输,大大的简化了服务器和客户端的开发工作量。如果说现在对json还没有什么概念的朋友,了解了以上内容之后,再了解一下它是字典形式的即可.

2021-04-04 19:48:34 3386 12

原创 这是什么“虎狼之词”啊!!!程序员的健康问题,看一线老中医怎么说!!!

文章目录缘起掉头发问题防治大法秘访老中医:胃、肝、脾、肾易筋经、洗髓经腰间盘内啥,心照不宣缘起为什么会做这么一期呢?有需求,就会有市场嘛,这是最直接的了。我有一个程序员的大群,群里三百六十行的人几乎都有,群里时不时的就“百家争鸣”一场,有点当初“稷下学宫”的气氛。这不,前两天,群里的中西医就程序员掉头发这件事情开始了一场友好的讨论,对。作为群主,我坑定要在旁边“煽风点火”了嘛。看他们一对一怕是讲不了多久,后来终于又来了一个老中医,形成二比一的碾压优势,毕竟一个西医在学校,另外两个老中医已经是功.

2021-04-03 11:55:31 5322 33

原创 打开我的收藏夹 -- Python爬虫篇(2)

文章目录前言时间戳爬虫中时间戳常见场景时间戳如何转换url去重网页请求的背后流程HTTPHTTP请求的一般流程:HTTP请求(Request):HTTP响应(Response):GET和POST:再了解Cookie前言本来以为第二篇没了,就把写了一部分的移到第一篇末尾了,所以已收藏第一篇的小伙伴可以也可以再翻翻看,是关于ts视频拼接的。没想到,是我的路子窄了。今天我打开了我的关注栏,从里面手动爬取了所有有爬虫专栏的博客,分析他们博客中我没见过或者不会或者需要会的知识点,整理一波走起。时间戳来.

2021-04-01 17:04:07 4228 18

DB.zip 数据库(sqlite3动态链接库)

如果不会用,可以跟我说一声,我的博客教程:https://blog.csdn.net/qq_43762191/article/details/106232671

2020-05-20

shm共享内存 - 动态链接库

教程:https://blog.csdn.net/qq_43762191/article/details/106236093

2020-05-20

C++函数手册+(LibraryFunctions).zip

https://blog.csdn.net/qq_43762191/article/details/106320590

2020-05-24

main_menu.zip

将该文件,替换进去,目前没发现不良反应。

2020-06-15

背包九讲,动态规划扛把子

背包九讲,动态规划扛把子

2020-05-20

线程池动态链接库.zip

如果不会操作,https://blog.csdn.net/qq_43762191 联系我。 。。。。。。。。。。。。。。。。。。。。。

2020-05-16

Sqlite3.zip

直接解压,拉出可执行文件就好。配置文件已自带。

2019-11-27

标准基本对话框所需静态函数.xls

标准基本对话框所需静态函数.xls

2020-01-18

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除