在爬虫入门实践中，很多新手会遇到 “代码无报错但无法获取数据” 的问题，其中最常见的原因就是忽略了 UA 伪装。作为爬虫与服务器 “见面” 的第一份 “身份凭证”，UA（User-Agent）直接决定了服务器是否会向你开放数据访问权限。本文将从基础概念到实操落地，带你彻底搞懂 UA 伪装，轻松迈出规避反爬的第一步。
一、什么是 UA？它为什么重要？
UA 是 User-Agent 的缩写，中文译为 “用户代理”。它是浏览器或网络请求工具向服务器发送请求时，附带的一段文本字符串，用于告知服务器 “发起请求的设备类型、浏览器型号、系统版本” 等信息。
比如我们用 Chrome 浏览器访问网站时，UA 可能是：Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36。
服务器通过解析 UA 来识别访问来源，核心作用有两个：
适配展示：根据设备类型（手机 / 电脑 / 平板）调整页面布局，比如手机端显示响应式界面。反爬拦截：大部分网站会拒绝 “无 UA 标识” 或 “明显是爬虫程序” 的 UA 请求，直接返回 403 禁止访问或空数据。
新手爬虫默认的 UA 往往是工具自带的（比如 Python requests 库默认 UA 为 python-requests/2.31.0），服务器一眼就能识别出这是爬虫，拦截也就顺理成章。
二、UA 伪装的核心逻辑：“冒充” 合法客户端
UA 伪装的本质的是 “欺骗” 服务器，让它误以为你的爬虫是正常用户的浏览器访问。核心逻辑很简单：
收集真实、常用的浏览器 UA 字符串（而非爬虫工具默认 UA）。在发送网络请求时，将请求头中的 User-Agent 字段替换为收集到的合法 UA。
服务器无法直接区分 “真实用户浏览器” 和 “伪装 UA 的爬虫”，只要 UA 格式合法、符合常见客户端特征，就能大概率绕过基础反爬拦截。
三、实操：3 步实现 UA 伪装（以 Python 为例）
第一步：收集合法 UA 字符串
优先选择主流浏览器、常用设备的 UA，避免使用小众或过时的 UA（可能被服务器标记为异常）。推荐几个常用 UA 示例：
PC 端 Chrome：Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/116.0.0.0 Safari/537.36PC 端 Edge：Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Edge/115.0.1901.203 Safari/537.36手机端 Safari（iOS）：Mozilla/5.0 (iPhone; CPU iPhone OS 16_6 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/16.6 Mobile/15E148 Safari/604.1手机端 Chrome（Android）：Mozilla/5.0 (Linux; Android 13; SM-G998B) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Mobile Safari/537.36
也可以通过网站（如 https://developers.whatismybrowser.com/useragents/explore/）获取更多最新 UA。
第二步：在请求中添加 UA 头
以 Python requests 库为例，核心是构造 headers 字典，将 User-Agent 字段传入请求方法（get/post）。
基础示例（无 UA 伪装，可能被拦截）：
python
import requests
url = "https://example.com"
response = requests.get(url)
print(response.status_code) # 可能返回 403 禁止访问
伪装后示例（正常获取数据）：
python
import requests
url = "https://example.com"
# 构造请求头，添加合法 UA
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/116.0.0.0 Safari/537.36"
}
response = requests.get(url, headers=headers)
print(response.status_code) # 大概率返回 200 成功
print(response.text) # 正常获取页面数据
第三步：进阶技巧：随机切换 UA
单一 UA 长期访问同一网站，可能被服务器识别为 “异常访问”（同一设备持续请求）。进阶做法是准备一个 UA 列表，每次请求随机选择一个。
示例代码：
python
import requests
import random
# 准备 UA 列表
ua_list = [
"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/116.0.0.0 Safari/537.36",
"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Edge/115.0.1901.203 Safari/537.36",
"Mozilla/5.0 (iPhone; CPU iPhone OS 16_6 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/16.6 Mobile/15E148 Safari/604.1",
"Mozilla/5.0 (Linux; Android 13; SM-G998B) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Mobile Safari/537.36"
]
url = "https://example.com"
# 随机选择一个 UA
headers = {"User-Agent": random.choice(ua_list)}
response = requests.get(url, headers=headers)
print(response.status_code)
四、常见问题与注意事项
UA 格式要完整：不要随意修改 UA 字符串的结构，比如只保留 “Chrome/116.0.0.0”，会被服务器识别为异常。匹配请求场景：爬取手机端网站时，用手机端 UA；爬取 PC 端网站时，用 PC 端 UA，避免场景不匹配。不要过度依赖：UA 伪装是 “初级反爬手段”，面对验证码、IP 封禁、登录验证等高级反爬，还需要结合 IP 代理、模拟登录等技巧。遵守 robots.txt 协议：爬虫的核心前提是合规，访问网站前先查看 https://目标网站/robots.txt，确认网站是否允许爬虫访问目标数据。
五、总结
UA 伪装是爬虫入门的 “必修课”，操作简单但效果显著，能解决 80% 以上的基础反爬拦截问题。其核心是通过 “冒充” 合法客户端的身份，获取服务器的信任。
实操中，只需记住 “收集合法 UA → 加入请求头 → 随机切换” 三步，就能大幅提升爬虫的稳定性。但要注意，爬虫的本质是数据获取工具，必须在合法合规的前提下使用，避免对目标网站造成服务器压力或侵犯数据权益。