发表于 | 分类于
字数统计: 2,984字 | 阅读时长 ≈ 11 分钟
K-means聚类算法聚类 在无监督学习中, 训练样本的标记信息是未知的, 目标是通过对无标记训练样本的学习来揭示数据的内在性质及规律, 为进一步的数据分析提供基础，此类学习任务中研究最多、应用最广的是“聚类”(clustering) 聚类试图将数据集中的样本划分为若干个通常是不相交的子集, 每个子集称为一个“簇”(cluster) 通过这样的划分, 每个簇可能对应于一些潜在的概念(类别), 需 ...
阅读全文 »

发表于 | 分类于
字数统计: 1,291字 | 阅读时长 ≈ 5 分钟
Scrapy 豆瓣搜索页爬虫使用scrapy爬虫框架对豆瓣图书搜索结果进行爬取 ScrapyScrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序 它提供了多种类型爬虫的基类，如BaseSpider、CrawlSpider等 主要组件Scrapy框架主要由五大组件组成 调度器(Scheduler) 调度器，说白了把它假设成 ...
阅读全文 »

发表于 | 分类于
字数统计: 1,035字 | 阅读时长 ≈ 4 分钟
使用crontab完成定时任务crond是linux下用来周期性的执行某种任务或等待处理某些事件的一个守护进程，与windows下的计划任务类似，当安装完成操作系统后，默认会安装此服务工具，并且会自动启动crond进程，crond进程每分钟会定期检查是否有要执行的任务，如果有要执行的任务，则自动执行该任务 语法12345usage: crontab [-u user] file c ...
阅读全文 »

发表于 | 分类于
字数统计: 1,973字 | 阅读时长 ≈ 7 分钟
支持向量机（SVM）支持向量机（support vector machines, SVM）是一种二分类模型，它的基本模型是定义在特征空间上的间隔最大的线性分类器 SVM的的学习策略就是间隔最大化，可形式化为一个求解凸二次规划的问题 优点:泛化错误率低，计算开销不大，结果易解释 缺点:对参数调节和核函数的选择敏感，原始分类器不加修改仅适用于处理二类问题 分隔超平面 上面将数据集分隔开来的直线 ...
阅读全文 »

发表于 | 分类于
字数统计: 1,062字 | 阅读时长 ≈ 4 分钟
分类算法评估指标精度（Accuracy）即正确预测的正反例数 /预测总数 对于样例集D,分类错误率定义为 E(f ; D)=\frac{1}{m} \sum_{i=1}^{m} \mathbb{I}\left(f\left(\boldsymbol{x}_{i}\right) \neq y_{i}\right)精度则定义为 \begin{aligned} \operatorname{acc}(f ...
阅读全文 »

发表于 | 分类于
字数统计: 1,849字 | 阅读时长 ≈ 6 分钟
集成学习集成学习(ensemble learning)通过构建并结合多学习器来完成学习任务，常可获得比单一学习器显著优越的泛化性能 要获得好的集成，个体学习器应好而不同，即个体学习器要有一定的准确性，并且要有多样性，即学习器间要有差异 根据个体学习器的生成方式, 目前的集成学习方法大致可分为两大类 学习器间存在强依赖关系、必须串行生成的序列化方法，如Boosting 学习器间不存在强依赖关系、 ...
阅读全文 »

发表于 | 分类于
字数统计: 1,741字 | 阅读时长 ≈ 7 分钟
决策树决策树学习采用的是自顶向下的递归方法，其基本思想是以信息熵为度量构造一颗熵值下降最快的树，到叶子节点处，熵值为0 具有非常好的可解释性、分类速度快的优点，是一种有监督学习 最早提及决策树思想的是Quinlan在1986年提出的ID3算法和1993年提出的C4.5算法，以及Breiman等人在1984年提出的CART算法 工作原理一般的，一颗决策树包含一个根结点、若干个内部节点和若干个叶节点 ...
阅读全文 »

发表于 | 分类于
字数统计: 538字 | 阅读时长 ≈ 3 分钟
ubuntu设置时区查看现在时区 12benull@37c7dedb7a13:~# date -RWed, 21 Oct 2020 23:46:05 +0800 执行tzselect查看时区(只能查看不能修改） 遇到tzselect报错如下 123benull@37c7dedb7a13:~# tzselect/usr/bin/tzselect: line 180: /usr/share/z ...
阅读全文 »