Vgbhfive's Blog

概述

特征挖掘是从原始数据构造特征的过程。
特征是数据和模型之间的纽带，数据和特征决定机器学习的上限，而模型和算法只是无限逼近这个上限。
特征挖掘的完整流程包含原始数据分析、数据清洗、中间数据集构建、特征设计和生成、特征评估和特征的上线、监控、维护和下线。

概述

风控策略是指根据不同业务场景和客群，通过一系列规则策略与模型策略的组合，对客户的风险进行判断，从而实现准入、反欺诈、授信、风险定价和催收等阶段目标，最终达成风险控制的目的。

简介

本文将对 ClickHouse 管理与运维相关的知识进行说明，主要包含用户、权限、熔断机制、数据备份和服务监控等知识。

概述

随着业务线数据量的突飞猛进、服务器的意外宕机，这些都是底层基础服务会遇到的问题，因此 ClickHouse 就设计了集群、副本和分片这三个帮手来帮忙。

引入

表引擎是 ClickHouse 设计实现的一大特色，也可以说是表引擎成就了一张表的最终面貌。

引入

这里首先说以下整体大概的思路，第一步当然是引入对应的 SDK，第二步则是添加配置信息、定义自定义指标，并进行注册，接下来的第三步则是指标根据具体业务的处理逻辑，那么最后一步就是在 prometheus 服务中增加 job 配置，最终在 grafana 中展示自定义指标。

简介

大家都说 MySQL 和 ClickHouse 很像，如果你不了解 ClickHouse，那我觉得你是对的，但若是你了解，那你更需要往下看看。

概述

ClickHouse 是一款 MPP 架构的列式存储数据库，拥有完备的管理功能，所以他称得上是一个 DBMS 数据库管理系统，而不仅仅是一个数据库。

如果你想学习的话，那就一起来吧。

引入

本次将数据从 MySQL 备份到 ClickHouse 采用的是 MinervaDB ClickHouse MySQL Data Reader ，该项目基础版本来自于 Alitinity/clickhouse-mysql-data-reader。

简介

特征工程将数据转换为能更好地表示潜在问题的特征，从而提高机器学习性能。
特征工程具体包含内容如下：

• 转换数据的过程。处理的数据经常是表格形式的，此时数据会被组织成行（观察值）和列（属性）。
• 特征。特征是对机器学习过程有意义的数据属性，我们需要经常查看表格，确定哪些列是特征，哪些列只是普通的属性。
• 更好地表示潜在问题。转换数据的目的在于更好地表达更大的问题。
• 提高机器学习性能。特征工程的最终目的在于获取更好的数据，以便学习算法从中挖掘模式，取得更好的效果。