【腾讯云云上实验室】向量数据库与数据挖掘分析的黄金组合指南_百度小程序

您的位置：上海毫米网络优化公司 > 小程序 > 百度小程序 >

文章目录

一、走近腾讯云向量数据库
二、助力数据收集和处理
三、数据挖掘和分析使用指南
- 1. 准备工作
- 2. 数据操作演示（平台端）
- 3. 数据操作演示（SDK接入）
- 4. 以汽车相关数据进行分析预测
- 四、向量数据库为大数据时代注入智慧
- 五、总结
  前几天，和往常一样下班后回家打开电脑学一会，偶然机会看到了腾讯云刚发布的向量数据库体验活动，刚好最近手头的工作也忙完了，于是下意识也报名申请了一个体验名额。在体验使用的时候，也融入了一些对数据进行分析和挖掘的算法。
  
  整体使用感觉也非常棒，经过这几天的整理和总结，能够帮助不了解或者没使用过的小伙伴快速熟悉并且有一定的上手。（腾讯云向量数据库:感兴趣的小伙伴可以去申请名额体验)
  
  一、走近腾讯云向量数据库
  
  看到向量数据库你可能会想到数据库，但是它和传统数据库相比有鲜明的优点。可能有不少朋友在平常工作或者生活中，或多或少都接触过一些关于向量数据库的消息，作为一个全能的程序员，除了关注底层的逻辑外，清晰明了向量数据库发展的方向和未来趋势，能否抓住这个在发展风口机会。我们还需要去了解，让我来以腾讯云向量数据库为例给你讲讲吧。
  
  随着AI技术的快速发展，越来越多的公司和企业开始重视底层数据的合作探索。在将大型模型应用于实际场景中，数据处理和挖掘变得至关重要。向量数据库作为支撑大型模型的关键基础设施，将在个人、企业和社交媒体等领域发挥越来越重要的作用。
  
  总的来说：向量数据库的优势在于高效的向量相似性搜索、高维数据处理、特定索引结构、异构数据类型支持，适用于机器学习和深度学习、大规模数据处理，提供实时性能。选择使用向量数据库应基于应用需求和性能评估。
  
  二、助力数据收集和处理
  
  每天，每个人都面临来自各个渠道的数千条信息。而对于开发者和企业用户而言，每天需要处理的信息量更是以万计甚至千亿计。信息的接收和处理成为一个极具挑战性的任务。。
  往往让开发者和企业在处理数据方面头疼的问题不外乎：
  
  1. 如何适应业务数据快速变化的需求？
  
  2. 如何保障数据安全？
  
  3. 如何实现业务系统对高实时响应的要求？
  
  4. 如何在多样化的销售和服务场景中？
  
  腾讯云向量数据库由于其卓越的稳定性、性能、易用性和便捷的运维，都展现出了显著优势，能够提供高效稳定的服务。
  1. 高性能：向量数据库单索引支持10亿级向量数据规模，可支持百万级 QPS 及毫秒级查询延迟。
  2. 高可用：向量数据库提供多副本高可用特性，其多可用区和三节点的架构可用性可达99.99%，显著提高系统的
  3. 可靠性和容错性：确保数据库在面临节点故障和负载变化等挑战时仍能正常运行。
  4. 大规模：向量数据库架构支持水平扩展，单实例可支持百万级 QPS，轻松满足 AI 场景下的向量存储与检索需求。
  5. 低成本：只需在管理控制台按照指引，简单操作几个步骤，即可快速创建向量数据库实例，全流程平台托管，无需进行任何安装、部署和运维操作，有效减少机器成本、运维成本和人力成本开销。
  6. 简单易用：支持丰富的向量检索能力，用户通过 HTTP API 接口即可快速操作数据库，开发效率高。同时控制台提供了完善的数据管理和监控能力，操作简单便捷。
  7. 稳定可靠：向量数据库源自腾讯集团自研的向量检索引擎 OLAMA，近40个业务线上稳定运行，日均处理的搜索请求高达千亿次，服务连续性、稳定性有保障。
  三、数据挖掘和分析使用指南
  
  1. 准备工作
  1. 首先我们需要去申请一台向量数据库腾讯云向量数据库申请，登录进入后，点击新建。如图，是已经构建好的向量数据库
  2. 配置向量数据库实例相关信息
  3. 创建好向量数据库后，可以查看相关的配置信息，包括内网外网访问地址，以及密钥信息
  4. 创建好向量数据库后，点击登录，来到向量数据库登录界面，如图需要账号和密码账号默认是root，密码是向量数据库配置中的密钥
  5. 登录进去后，可以看到先向量数据库管理模块和数据操作模块。管理模块可以创建向量数据库，管理集合。数据操作模块可以进行精确、相似度查询、插入/替换、更新、删除数据。
  2. 数据操作演示（平台端）
  
  腾讯云向量数据库支持多种方式操作向量数据库，包括：使用平台数据操作模块操作，或者接入Python，Java以及HttpAPI来进行操作，在这里我演示一下平台数据操作和接入Python的SDK使用。
  
  1.插入/更新参数数据支持以json格式插入数据
  
  2.精确查询参数支持以表单和JSON两种格式根据不同情况（包括：主键和条件进行查询)
  
  3.相似度查询可以根据不同格式进行检索，同时也支持条件查询和主键查询，这一步会检索出结果有相似程度的数据
  
  4.删除数据可以根据条件查询删除，同时也可以根据主键去删除
  
  3. 数据操作演示（SDK接入）
  
  1.官方提供了多种接入方式，在这里我以Python为例子，进行接入腾讯云向量数据库API文档
  
  2.以Python为例，本地连接远程向量数据库
  首先需要导入依赖：
```
pip install tcvectordb
```
  然后连接远程向量数据库，这一块url 输入你的向量数据库外网地址，apikey输入你的向量数据库密钥
```
import tcvectordb
from tcvectordb.model.enum import FieldType, IndexType, MetricType, ReadConsistency
#这一块url 输入你的向量数据库外网地址，apikey输入你的向量数据库密钥
client = tcvectordb.VectorDBClient(url='http://10.0.X.X', username='root', key='eC4bLRy2va******************************', read_consistency=ReadConsistency.EVENTUAL_CONSISTENCY, timeout=30)
# 连接到数据库
db = client.database('test')
# 获取或创建集合
coll = db.collection("test_1")
```
  3.连接好后，就可以对向量数据库中数据进行相关操作，通过查看文档API，可以实现刚才第二步骤上的平台数据操作流程，下面举几个例子
  
  4. 如下图所示，可以根据文档进行代码编写，实现数据库和数据库中集合的相关操作
  
  4. 以汽车相关数据进行分析预测
  
  目的：通过数据分析根据二手汽车行驶的公里来预测汽车的二手价格
  
  1.原数据：总共几万条二手汽车信息数据，处理之后存入向量数据库中，模拟实际情况
  
  首先我们先将本地和远程数据库建立连接
```
import tcvectordb
from tcvectordb.model.enum import FieldType, IndexType, MetricType, ReadConsistency
from tcvectordb.model.document import Document
# 创建数据库客户端对象
client = tcvectordb.VectorDBClient(url='http://lb-baqexj1q-r8cmvkl9xxxxxx2u.clb.ap-guangzhou.tencentclb.com:20000',                                 username='root',key='UIMn3SFUxxxxxxVGXLl1XZeZNOLm6Z2kWiZc9',
                                   read_consistency=ReadConsistency.EVENTUAL_CONSISTENCY, timeout=30)
# 连接到数据库
db = client.database('test_3')
# 获取或创建集合
coll = db.collection("aaaa")
# 打印数据库名称，验证连接成功
print(db.database_name)
```
  如图所示，连接数据库和集合成功
  
  这里是处理一些脏数据，然后存入向量数据库中
```
def hadnle(data):
    data = data[data.Km != '百公里内']
    data = data[data.Boarding_time != '未上牌']
    data = data[data.New_price != '暂无']
    data = data[['Km', 'Sec_price', 'Boarding_time', 'New_price']]
    data['New_price'] = data['New_price'].apply(lambda x: float(x.strip('万')))
    def km_to_float(x):
        return float(x.strip('万公里'))
    data['Km'] = data['Km'].apply(km_to_float)
    data['Boarding_time'] = (pd.to_datetime(data['Boarding_time'], format='%Y年%m月') - pd.to_datetime(
        '2000-01-01')).dt.days / 30
    data['Sec_price'] = data['Sec_price'].apply(lambda x: float(x))
    return data
```
  可以通过coll.upsert()方法来填充我们想要的数据
```
res = coll.upsert(
            documents=[
                xxxxx，
                xxxxx，
                xxxxx，
                xxxxx，],
            build_index=True
        )
```
  2.通过将部分汽车数据存储在向量数据库的集合中
  
  3.可以通过学习官方API提取出想要的数据：
  
  举例：根据需求从对应向量数据库的集合中提取中想要的数据
```
import tcvectordb
from tcvectordb.model.enum import FieldType, IndexType, MetricType, ReadConsistency
from tcvectordb.model.index import Index, VectorIndex, FilterIndex, HNSWParams
from tcvectordb.model.document import Document, Filter, SearchParams
#create a database client object
client = tcvectordb.VectorDBClient(url='http://10.0.X.X', username='root', key='eC4bLRy2va******************************', read_consistency=ReadConsistency.EVENTUAL_CONSISTENCY, timeout=30)
db = client.database('db-test')
coll = db.collection('book-vector')
# Set filter
filter_param=Filter(Filter.In("bookName",["三国演义", "西游记"]))
# query 
doc_list = coll.query(document_ids=['0001','0002','0003'], retrieve_vector=True, filter=filter_param, limit=3, offset=0, output_fields=['bookName','author'])
for doc in doc_list:
          print(doc)
```
  4.通过机器学习方法对需要的数据进行分析：（具体情况根据）
  线性回归分析：
```
data = hadnle(data)
# 根据需要选择输入和输出特征
X = data[['Km','Boarding_time','New_price']]
Y = data['Sec_price']
# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, Y, test_size=0.2, random_state=42)
# 使用线性回归模型
model = linear_model.LinearRegression()
#训练模型
model.fit(X_train, y_train)
# 用测试集评估模型性能
y_pred = model.predict(X_test)
mae = mean_absolute_error(y_test, y_pred)
mse = mean_squared_error(y_test, y_pred)
rmse = np.sqrt(mse)
r2 = r2_score(y_test, y_pred)
```
  分析结果：
  
  5.决策树回归模型分析：
```
data = hadnle(data)
# 根据需要选择输入和输出特征
X = data[['Km','Boarding_time','New_price']]
Y = data['Sec_price']
# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, Y, test_size=0.2, random_state=42)
# 创建决策树回归模型
model = DecisionTreeRegressor(random_state=42)
#训练模型
model.fit(X_train, y_train)
# 用测试集评估模型性能
y_pred = model.predict(X_test)
mae = mean_absolute_error(y_test, y_pred)
mse = mean_squared_error(y_test, y_pred)
rmse = np.sqrt(mse)
r2 = r2_score(y_test, y_pred)
```
  分析结果：
  
  6.随机森林模型分析：
```
data = hadnle(data)
# 根据需要选择输入和输出特征
X = data[['Km','Boarding_time','New_price']]
Y = data['Sec_price']
# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, Y, test_size=0.2, random_state=42)
#随机森林
model = RandomForestRegressor(n_estimators=100, random_state=42)
model.fit(X_train, y_train)
#训练模型
model.fit(X_train, y_train)
# 用测试集评估模型性能
y_pred = model.predict(X_test)
mae = mean_absolute_error(y_test, y_pred)
mse = mean_squared_error(y_test, y_pred)
rmse = np.sqrt(mse)
r2 = r2_score(y_test, y_pred)
```
  分析结果：
  
  四、向量数据库为大数据时代注入智慧
  
  随着实时性能的不断提升，向量数据库将更好地满足实时数据检索和分析的需求，对预测分析、信息处理等领域产生深远的影响。我们可以期待数据库未来支持更多数据类型，包括但不限于图像、文本和音频，以更好地适应多模态数据的存储和检索。向量数据库将为数据处理领域带来创新，为各行业提供更高效、智能的数据管理服务。
  
  向量数据库不仅在技术上不断创新，而且在应用层面也展现了巨大的潜力。它不仅能够为大模型提供外部知识库，提高大模型回答的准确性，还广泛应用于推荐系统、NLP服务、计算机视觉、智能客服等AI领域。这为各行业带来了更为智能、高效的数据处理方案，推动了数据挖掘领域的进一步发展。
  
  随着向量数据库技术的不断演进，我们可以期待其更广泛的应用。未来，随着数据库对更多数据类型的支持，包括图像、文本和音频等，向量数据库将更好地适应多模态数据的存储和检索。这将为多模态AI应用，如视觉与语义检索、多模态生成等，提供更为灵活和高效的支持。
  
  向量数据库的崛起为数据处理领域带来了前所未有的创新，为各行业提供了更高效、智能的数据管理服务。在大数据时代，它不仅是数据挖掘的未来趋势，更是推动数据科学和人工智能不断迈向新高度的关键引擎。
  
  五、总结
  
  通过这次体验活动，我深刻地理解了向量数据库在数据挖掘领域的关键作用。作为外部知识库，它为大模型提供了有力的支持，提高了回答的准确性。而在推荐系统、NLP服务、计算机视觉等AI领域的广泛应用更是让我对其未来发展充满期待。这不仅仅是一款数据库工具，更是一项推动业务创新的技术引擎。
  
  除此之外，我还深感腾讯云向量数据库在未来数据挖掘领域的巨大潜力。感兴趣的小伙伴们可通过下方方式了解更多信息，亲身体验和使用向量数据库进行开发。最后，我由衷祝愿腾讯云向量数据库在未来能够不断演进和创新，为用户提供更出色的服务，为整个行业注入更多的活力和智慧。期待着它越来越好，为数据处理的未来带来更多的可能性。