本篇将会介绍一些笔者在完成毕设的过程中所发现的一些有趣的网站或者工具.包括:
- 代码着色网站
- 流程图\架构图等工程图片的绘图网站
- 公式识别工具
- 数据库文档
- 翻译工具
- 免费的论文查重
Frankenstein 是用来搜索可用数据源的一个小工具,它包含两个主要功能
- 友链扫描
- 关键字扫描
这两个部分本质上都是对现存的数据源进行遍历搜索,区别在于二者的扫描侧重点不同.
本篇主要是 友链扫描 的开发记录.
Poirot 是自动将字体文件(woff\woff2\ttf)映射为结果字典,主要用于中文字体反爬虫的破解,包括 css 字体映射和图片文字反爬虫.
实现的基础思路可见于字体反爬虫解决方案-自动化通过字体文件生成映射字典.
与 Mori 同属于爬虫工作的小工具.名字取自大侦探波洛(Hercule Poirot). 与 Mori 的脚本服务不同,这次从实际使用的角度考虑,采用了 web 服务的形式.
本篇记录了 Poirot 的开发中学习到的技术和踩到的坑。
主要包括:
- flask-websocket 的使用
- 进度条的实现
由于之前疏于对公司电脑上面的 C 盘的管理,它的存储空间不出意外地炸了.
于是就开始了繁琐的清理工作.首先通过 设置 -> 存储 找到 C 盘占用空间的大头.也就是微信文件和 miniconda,微信由于日常的工作联系等积压了大约 5G 左右,miniconda…emmm…8G = =
看了一下,pytorch、tensorflow 等一系列的包、环境,这个手术动起来还是挺麻烦的,牵连太多了.
不过随着工作任务的固定,有些包和环境确实也不需要了,于是就有了接下来的一些迷惑操作.
最近在寻找一些毕设要用到的数据，医药相关的，恰好在某个网站上面找到了备份数据库(手段不太光彩，这里就不细说了)，省去了写爬虫的麻烦。
不过这些备份文件是 .MYD / .MYI / .frm 这样的后缀，emmmmm，对于用惯了 .sql 的我来说，还是很头大的。
本篇的主要内容就是如何使用 .frm / .MYI / .MYD 文件来恢复数据库，同时，做了一些关联的延申。
字体反爬虫
初级的字体反爬虫可以参照字体反爬的解决方案——突破抖音反爬虫机制这边文章.
类似的文章教程不胜枚举,所以这里对于 字体反爬虫基础 就不做赘述.本篇要讨论的是如何处理在多大数百、数千个自定义字体的复杂情况下完成从字体文件生成映射字典的工作.
上面提到的文章,采用的是人工映射,这在只有 0~10 这样的简单情况下自然是最方便的处理办法,但是对于大量字体的情况,就捉襟见肘了.并且,即使花了半天时间将这些字体一一映射,万一网站的字体库发生变化,或者网站本身就采用动态字体库,就很麻瓜了.
本着”花半天时间做重复性的苦力工作,不如花一天时间做创造性工作”的原则(预估的开发时间比较充裕,才有时间来实践这些突发的灵感),决定搞一些懒人方法.
上周在外网搭建了一个服务,主要是用来对 Mori 的各种处理状态做测试.
今天在看网站统计的时候,发现请求的次数不太正常,主要表现就是出现了下面这种画风的请求.
INFO: 174.49.25.36:51271 - "GET / HTTP/1.1" 200 OK
INFO: 14.139.155.142:41680 - "GET /currentsetting.htm HTTP/1.1" 404 Not Found
INFO: 91.241.19.84:58868 - "GET /wp-content/plugins/wp-file-manager/readme.txt HTTP/1.1" 404 Not Found
INFO: 91.241.19.84:58844 - "GET /?XDEBUG_SESSION_START=phpstorm HTTP/1.1" 200 OK
INFO: 91.241.19.84:42642 - "GET /console/ HTTP/1.1" 404 Not Found
INFO: 91.241.19.84:36206 - "POST /api/jsonws/invoke HTTP/1.1" 404 Not Found
INFO: 91.241.19.84:55124 - "POST /vendor/phpunit/phpunit/src/Util/PHP/eval-stdin.php HTTP/1.1" 404 Not Found
INFO: 91.241.19.84:36174 - "GET /vendor/phpunit/phpunit/src/Util/PHP/eval-stdin.php HTTP/1.1" 404 Not Found
INFO: 91.241.19.84:42156 - "GET /index.php?s=/Index/\think\app/invokefunction&function=call_user_func_array&vars[0]=md5&vars[1][]=HelloThinkPHP21 HTTP/1.1" 404 Not Found
INFO: 91.241.19.84:52646 - "GET /?a=fetch&content=<php>die(@md5(HelloThinkCMF))</php> HTTP/1.1" 200 OK
INFO: 91.241.19.84:53606 - "GET /solr/admin/info/system?wt=json HTTP/1.1" 404 Not Found
INFO: 203.205.34.139:47518 - "GET / HTTP/1.1" 200 OK
INFO: 182.185.14.56:62446 - "GET /currentsetting.htm HTTP/1.1" 404 Not Found随手摘了一个 ip (219.149.212.74) 查询了一下,竟然是国内的 = =|||
又想到从大二下接触 web 开发,到现在两年多,部署了几个服务,但是却没有好好分析过网站的日志文件,正好就趁着这个机会看看吧.
前言
距离 Mori v0.1 成形已经过了一周.这一周里面对这个代码进行了进一步的优化.
在 Mori Kokoro 开发记录 中已经对上个阶段开发中遇到的问题进行了一次汇总.本篇是对本阶段的问题的汇总.
另外.将一些实用的代码摘出.并进行注释说明.
