Python连接数据库的梳理

我们通常用的数据库类型主要有关系型数据库，非关系型数据库等，其中关系型数据库主要有Microsoft SQL Server ,MySQL,Oracle，SQLite等，常用的非关系型数据库包括Redis、DynamoDB，MongoDB等

???????

一? 关系型数据库

1.使用pymysql库连接MySQL数据库：

import?pymysql# 创建连接conn?=?pymysql.connect(host='localhost',?user='username',?password='password',?db='database_name')# 创建游标cursor?=?conn.cursor()# 执行SQL语句cursor.execute("SELECT?*?FROM?test_table")# 获取查询结果rows?=?cursor.fetchall()# 关闭游标和连接cursor.close()conn.close()

2.使用sqlite3库连接SQLite数据库：

import?sqlite3# 连接SQLite数据库（内存中的数据库或本地文件）conn?=?sqlite3.connect('my_database.db')# 创建一个游标对象cursor?=?conn.cursor()# 执行SQL语句cursor.execute("CREATE?TABLE?IF?NOT?EXISTS?my_table?(id?INTEGER?PRIMARY?KEY,?name?TEXT)")# 插入数据cursor.execute("INSERT?INTO?my_table?VALUES?(?,??)",?(1,?'Alice'))# 提交事务conn.commit()# 查询数据cursor.execute("SELECT * FROM my_table")rows?=?cursor.fetchall()# 关闭连接conn.close()

3.使用psycopg2库连接PostgreSQL数据库：???????

import?psycopg2# 创建连接conn = psycopg2.connect(    dbname="test_database",    user="username",????password="password",    host="localhost")# 创建游标cursor?=?conn.cursor()# 执行SQL语句cursor.execute("SELECT?*?FROM?test_table")# 获取查询结果rows?=?cursor.fetchall()# 提交事务（如果进行了写操作）conn.commit()# 关闭游标和连接cursor.close()conn.close()

4.Python 连接Oracle数据库

安装 cx_Oracle 库：?确保已经安装了Oracle Instant Client以及相应的SDK（对于较新版本的cx_Oracle）。可以使用pip来安装cx_Oracle：

pip install cx_Oracle

连接 Oracle 数据库：?以下是一个Python脚本的基本示例，演示如何建立与Oracle数据库的连接：???????

import?cx_Oracle# 设置Oracle数据库连接参数dsn = cx_Oracle.makedsn('hostname', 'port', 'service_name')  # 例如：makedsn('mydbserver', '1521', 'orclpdb1')username = 'your_username'password?=?'your_password'# 创建数据库连接connection?=?cx_Oracle.connect(username,?password,?dsn)# 创建游标对象cursor?=?connection.cursor()# 执行SQL查询或命令cursor.execute("SELECT?*?FROM?your_table")# 获取查询结果for row in cursor:????print(row)# 关闭游标和连接cursor.close()connection.close()

二??非关系型数据库

1.Python 连接?MongoDB数据库

MongoDB是一种非关系型数据库，以文档的方式存储数据，在Python中连接MongoDB需要使用第三方库pymongo，以下代码是Pyton链接MongoDB数据库

需要安装MongoDB库???????

pip install pymongo

from?pymongo?import?MongoClient# 创建MongoDB客户端对象，这里假设MongoDB服务运行在本地默认端口27017上client?=?MongoClient('localhost',?27017)# 检查是否成功连接try:    client.server_info()  # 如果连接成功，会返回服务器信息    print("Connected to MongoDB successfully!")except Exception as e:????print(f"Failed?to?connect?to?MongoDB:?{e}")# 连接到一个数据库（假设数据库名为'db_name'）db?=?client['db_name']# 选择一个集合（相当于SQL中的表，假设集合名为'collection_name'）collection?=?db['collection_name']# 插入一条文档数据document = {'name': 'John Doe', 'age': 30, 'city': 'New York'}collection.insert_one(document)# 查询所有文档for doc in collection.find():????print(doc)# 关闭连接（PyMongo库通常不需要手动关闭连接，它会在程序结束时自动关闭）# client.close()

注意：

• 在生产环境中，你可能需要配置用户名、密码以及认证机制（如SCRAM-SHA-1）来访问MongoDB。

• MongoDB使用的是JSON-like的数据结构——BSON，因此插入和查询的数据是字典形式。

此外，MongoDB Atlas云服务或企业内部部署的MongoDB实例可能需要指定连接字符串，而非单独的主机名和端口。例如：

client = MongoClient('mongodb+srv://username:password@cluster0.mongodb.net/test?retryWrites=true&w=majority')

2.Python 连接Redis数据库

安装 redis-py 库：

pip install redis

连接 Redis数据库：?以下是一个Python脚本的基本示例，演示如何建立与Redis数据库的连接：

import?redis# 创建Redis连接对象，这里假设Redis服务运行在本地默认端口6379上r?=?redis.Redis(host='localhost',?port=6379,?db=0)# 检查是否成功连接if r.ping():    print("Connected to Redis successfully!")else:????print("Failed?to?connect?to?Redis.")# 设置一个键值对r.set('key',?'value')# 获取键对应的值value = r.get('key')print(f"The?value?of?key?is:?{value}")# 关闭连接（redis-py库通常不需要手动关闭连接，它会自动管理连接池）# r.close()

请根据实际情况调整host和port参数以指向你的Redis服务器地址和端口号。同时，可以通过db参数指定要连接的数据库编号（Redis支持多个数据库，默认为0）

3.Python链接HBase数据库

安装 happybase 库：

pip install happybase

连接 HBase 数据库：?以下是一个Python脚本的基本示例，演示如何建立与HBase的连接：

from?happybase?import?Connection# 创建HBase连接对象，这里假设HBase thrift服务运行在本地默认端口9090上connection?=?Connection('localhost',?9090)# 检查是否成功连接try:    connection.tables()    print("Connected to HBase successfully!")except Exception as e:    print(f"Failed to connect to HBase: {e}")
# 打开一个表（假设已经存在名为'table_name'的表）table?=?connection.table('table_name')# 插入一行数据table.put(b'row_key',?{'family:qualifier':?b'value'})# 获取一行数据row = table.row(b'row_key')print(row)# 关闭连接connection.close()

注意：

• 在实际生产环境中，可能需要配置Hadoop的安全认证（如Kerberos）才能访问HBase。

• happybase是基于HBase的Thrift接口进行操作，因此你需要确保HBase集群开启了Thrift服务，并且能够通过网络访问。

此外，如果你正在使用的是较新的HBase版本，可能需要使用Phoenix SQL接口，并配合pyphoenix等库进行连接和操作。

三 Python 连接数据库需要注意的事项？

1. 正确安装和配置库：

   根据所使用的数据库类型（如MySQL、PostgreSQL、Oracle、Redis、MongoDB等），确保已正确安装并导入相应的Python库。

2. 连接管理：

   连接资源是有限的，因此应合理管理数据库连接。打开连接后及时关闭，避免资源泄漏。一些库（如pymysql或psycopg2）提供了连接池功能，可以复用连接以提高性能。

3. SQL注入防护：

   在构造SQL语句时，尽量使用参数化查询或预编译语句来防止SQL注入攻击。例如，在pandas的read_sql_query函数或者通过ORM方式操作数据库时都会自动处理这个问题。

4. 事务处理：

   对于涉及到多条SQL命令的操作，需要妥善处理事务，确保数据的一致性。通常要在执行一系列修改操作前后调用begin()和commit()方法（如果所有操作成功则提交事务，否则回滚）。部分库会提供自动提交的功能，但根据具体业务场景可能需要手动控制。

5. 错误处理与异常捕获：

   在执行数据库操作时，务必进行适当的错误处理，尤其是捕获并处理可能出现的异常，如网络中断、权限不足、表不存在、字段缺失等。

6. 数据清洗与验证：

   在将数据写入数据库之前，应对数据进行必要的清洗和格式校验，避免不符合数据库约束的数据导致插入失败或其他问题。

7. 性能优化：

   对于大量数据的操作，考虑使用批量插入或批处理查询来提高效率，减少数据库I/O次数。适当创建索引以加速查询速度，但注意过多索引可能会影响写入性能。

8. 安全敏感信息处理：

   不要硬编码数据库用户名、密码等敏感信息在代码中，建议采用环境变量或密钥管理服务存储。

9. 兼容性和版本匹配：

   确保使用的Python库版本与数据库服务器版本兼容，避免因版本不匹配带来的未知问题。

10. 资源释放：

    使用完游标、连接等资源后，务必确保它们被正确关闭或释放，防止内存泄漏和其他资源占用问题。