比赛介绍 比赛链接 DataCastle 员工离职预测:https://challenge.datacastle.cn/v3/cmptDetail.html?id=342 赛题描述 给定影响员工离职的因素和员工是否离职的记录,建立模型预测有可能离职的员工。 评分标准 评分算法为准确率,准确率越高,说明正确预测出离职员工与留职员工的效果越好。 评分算法参考代码如下: 1234from sklearn.metrics import accuracy_scorey_true = [1, 0, 1, 0]y_pred = [1, 1, 1, 0]score = accuracy_score(y_true, y_pred) 比赛数据 数据下载 百度网盘:https://pan.baidu.com/share/init?surl=UjkKggnWQMIBhrU1vPm1sw&pwd=99gu 数据说明 数据主要包括影响员工离职的各种因素工资、出差、工作环境满意度、工作投入度、是否加班、是否升职、工资提升比例等. 以及员工是否已经离职的对应记录。 数据分为训练数据和测试数据,分别保存在 tr ...
ragged2e 宏包简介 ragged2e 是一个 LaTeX 宏包,它为 LaTeX 文档提供了一种改进的、更加灵活的文本对齐方式,特别是对于那些需要避免完全齐行对齐(justified)而采用不对齐排版样式(如左对齐、右对齐或两端对齐但内部单词间距可变)的情况。在标准的 LaTeX 中,纯文本段落默认是齐行对齐的,但在某些情况下,比如窄栏布局或者特定设计要求下,用户可能希望使用更为灵活和自然的不对齐排列。 主要功能: 改进的 ragged 右边距设置: \RaggedRight 命令用于设置左对齐同时允许右侧边缘不规则的文本段落,但会尽可能均匀地分布单词间距,相比标准的 \raggedright 提供了更美观的结果。 \RaggedLeft 则实现右对齐,左侧边缘参差不齐,同样优化了单词间距。 居中对齐命令: \Centering 用于创建居中的段落环境,不同于 \centering,它不会影响行间距。 两端对齐选项: 虽然 ragged2e 不直接支持完整的两端对齐,但它可以辅助实现类似效果,通过调整字间距和断词规则来尽量使每行长度接近。 微调控制: ...
PyCaret 简介 PyCaret 是一个开源的低代码 Python 库,专注于简化机器学习(ML)工作流程并加速实验过程。它特别适用于数据科学家、分析师和开发人员,通过减少实现 ML 解决方案所需的繁琐编码工作来提高工作效率。PyCaret 可以在一个统一且用户友好的接口下提供多种机器学习任务的支持,包括但不限于分类、回归、聚类、异常检测、关联规则挖掘等。 以下是一些关于 PyCaret 的关键特点和功能: 低代码自动化: PyCaret 允许用户通过简洁的 API 调用快速执行数据预处理、特征工程、模型训练、模型评估和模型选择等步骤。 用户无需编写大量的底层代码即可完成复杂的机器学习任务,仅需少量命令就能在几秒钟内搭建和比较多个模型。 集成多种库: 库内部封装了诸如 scikit-learn、XGBoost、LightGBM、CatBoost 等流行机器学习框架,并提供了对这些库中模型的便捷访问和管理。 同时也集成了其他辅助工具,如用于文本处理的 spaCy,以及用于超参数优化的 Optuna、Hyperopt 等。 模块化设计: PyCaret 按照不同 ...
Pandarallel 简介 Pandarallel 是一个 Python 库,设计用于简化并行处理在 Pandas DataFrame 上的操作,特别针对那些原本串行执行的 apply、map 和 applymap 等方法。它通过利用多核 CPU 的优势,在本地环境中实现并行计算,从而显著提高数据处理速度。 以下是对 Pandarallel 主要特点的简单介绍: 简单易用: Pandarallel 无需用户显式管理进程或线程,只需在代码开始处初始化一次,之后就可以直接使用类似 Pandas 的接口进行并行化操作。 初始化通常通过一行代码完成:pandarallel.initialize() 在初始化时,可以指定参数如 progress_bar=True 来显示进度条,或者调整 nb_workers 参数以设置使用的 CPU 核心数量。 高效并行: Pandarallel 在后台使用 multiprocessing 库,绕过了 Python 全局解释器锁(GIL)的限制,因此能够在多个 CPU 核心上并行执行任务。 它能够自动检测系统的可用 CPU 资源,并根据需要分配工 ...
UMAP 简介 UMAP(Uniform Manifold Approximation and Projection)是一种先进的非线性降维技术,用于将高维数据集转换为低维空间中的表示,同时尽可能保留原始数据的复杂结构和拓扑特性。它特别适用于可视化分析和机器学习领域的预处理步骤。 理论基础 流形学习:UMAP 建立在流形学习的基础上,该理论认为即使在高维空间中,许多真实世界的数据点也可以近似地分布在一个低维流形上。通过捕捉这些隐藏的低维结构,UMAP 能够生成有意义的二维或三维投影。 代数拓扑:算法利用了代数拓扑的概念,特别是对邻域图的同胚嵌入来估计数据流形上的全局和局部连通性。这意味着 UMAP 不仅关注数据点之间的局部相似性,还考虑了它们在整个数据集中的相对位置和全局关系。 黎曼几何:虽然 UMAP 并不直接依赖于严格的黎曼几何计算,但其背后的思想受到了启发。算法假设数据均匀分布在某种局部恒定度量的空间中,并且这个空间可以通过数学操作进行近似。 特点与优势 保留全局结构:相比 t-SNE(t-Distributed Stochastic Neighbor Emb ...
RAG 检索增强生成(RAG, Retrieval-Augmented Generation)是一种自然语言处理(NLP)中的创新方法,它结合了信息检索(IR)和深度学习生成模型的优点,以提高文本生成任务的准确性和上下文相关性。在 AI 和机器学习领域中,RAG 旨在解决大规模语料库中的信息检索与自动生成相结合的问题。 具体来说,RAG 系统包含两个主要组件: 检索模块:该模块负责从一个大规模的数据集或知识库中检索相关信息。它采用一种检索式机制,根据输入查询或上下文内容快速定位到最相关的文档或片段。 生成模块:检索出的相关信息随后被输入到一个大型语言模型(如 GPT 系列或其他变体),这个模型基于检索到的内容生成连贯、精准的回答或文本输出。通过这种方式,生成模型能够利用实际存在的数据源,而不是完全依赖于自身的参数来生成信息,从而减少了错误传播并增强了生成内容的真实性和可靠性。 使用 RAG 框架的一个显著优势在于它可以减少由于模型自身知识库限制而产生的 hallucination(幻觉)。通过实时检索外部存储的信息,RAG 能够在生成时引用准确的事实,这对于问答系统、对话 ...
学习笔记
未读TF-IDF 简介 TF-IDF(Term Frequency-Inverse Document Frequency,词频-逆文档频率)是一种用于信息检索和文本挖掘的常用加权技术,它用于评估一个单词对于一个文档集合中某个特定文档的重要程度。在自然语言处理、搜索引擎优化和机器学习等领域中,TF-IDF 被广泛应用于关键词抽取、相似性计算、文档排名等多个场景。 组成部分: TF (Term Frequency): TF 表示词频,即一个给定词语在特定文档中出现的次数或频率。 通常,TF 的计算方法是对单个文档中的词频进行归一化,可以简单地计算为该词语在文档中出现的次数除以文档总词汇数,或者使用更复杂的加权方式来降低非常长文档中高频但不一定重要的词语的影响。 IDF (Inverse Document Frequency): IDF 是逆文档频率,反映了一个词语在整个文档集合(语料库)中的普遍重要性。 它是通过将所有文档的数量除以包含该词语的文档数量,然后对得到的商取对数来计算的。 IDF 值越大,说明这个词越稀有,即它在较少的文档中出现过,因此具有更高的鉴别度。 TF- ...
enumitem 宏包简介 enumitem 宏包 是 LaTeX 中一个非常实用的工具,它提供了一种简单且灵活的方式来定制列表环境(包括无序列表 itemize、有序列表 enumerate 以及描述列表 description)的格式和样式。通过使用 enumitem 宏包,用户可以轻松地控制列表项之间的垂直间距、水平缩进、标签样式(包括编号或符号)、悬挂缩进等参数,并能够在文档的不同部分应用不同的列表设置。 以下是一些 enumitem 宏包的主要功能: 自定义间距: \setlist 命令允许全局或局部设定各类列表环境的间距参数,如: \topsep:列表与上下文正文之间的垂直间距。 \itemsep:列表中相邻项目之间的垂直间距。 \parsep:同一项目内段落间的垂直间距。 \partopsep:在列表顶部或底部有空白行时额外增加的垂直间距。 \leftmargin 和 \rightmargin:列表整体的左右边距。 \labelwidth 和 \labelindent:标签区域的宽度和缩进。 自定义标签: 可以改变默认的编号样式,例如将 enumera ...
booktabs 宏包简介 LaTeX 宏包 booktabs 由 David Carlisle 开发,旨在提供一种专业、美观的方式来排版表格,特别适用于学术和出版物中的高质量表格设计。在 LaTeX 中,标准的表格环境通常使用细线将每个单元格分隔开来,而 booktabs 强调减少视觉混乱并增强表格的可读性,它通过引入不同粗细和间距的水平线来构建简洁、优雅且易于阅读的“三线表”。 以下是一些 booktabs 宏包提供的核心命令: \toprule: 用于绘制表格顶部的粗线,该线下面有适当的垂直间距。 \midrule: 绘制一条中等粗细的横线,用于分隔表格的主要部分。 \bottomrule: 绘制表格底部的粗线,上面也有合适的垂直间距。 \cmidrule: 可以用来画一条自定义长度的中等粗细横线,可以只覆盖部分列,并且可以灵活调整两端的悬空(trimming)效果。 \addlinespace: 提供在表格行之间增加额外垂直间距的功能,有助于改善内容层次和阅读体验。 \specialrule: 用于定制特殊粗细和间距的横线,当需要更精细控制时使用。 ...
标题和作者 ImageNet Classification with Deep Convolutional Neural Networks,意为使用深度卷积神经网络在 ImageNet 数据集上进行分类,发表于 2012 年。 作者信息: Alex Krizhevsky,本文第一作者,本文提出的网络结构后被称为 AlexNet。 Ilya Sutskever,本文第二作者,2015 年加入 OpenAI,成为 OpenAI 的联合创始人兼首席科学家。 Geoffrey E. Hinton,本文第三作者,2018 年图灵奖得主,神经网络之父,前两位作者的导师。 摘要 We trained a large, deep convolutional neural network to classify the 1.2 million high-resolution images in the ImageNet LSVRC-2010 contest into the 1000 different classes. On the test data, we achieved top-1 an ...