Python 核心
CPython 并发模型、深浅拷贝与生成器内存取舍的面试要点。
Python 后端面试几乎绕不开并发模型、对象语义和内存管理。GIL 的真实边界、拷贝语义和生成器取舍,比背定义更能拉开差距。
GIL 是什么?多线程和多进程该怎么选?
高频一句话回答: GIL 让同一进程内只有一个线程执行字节码,所以 CPU 密集任务用多进程,IO 密集任务用线程或 asyncio。
展开:
-
机制:CPython 用全局锁保护引用计数等状态,同一时刻只有一个线程跑字节码。
-
线程每 5ms 尝试切换一次,
sys.setswitchinterval()默认就是 0.005 秒。 -
NumPy、zlib 等 C 扩展计算时会释放 GIL,热点用多线程可并行。
-
取舍:线程共享内存、创建便宜;多进程隔离彻底,但内存翻倍、IPC 要序列化。
-
ProcessPoolExecutor默认 worker 数等于核数,ThreadPoolExecutor默认是min(32, 核数 + 4)。 -
数字:8 核纯 Python 循环,多线程加速比接近 1,多进程约 6 倍。
-
不这么做:单任务低于 50ms 时,进程启动和 pickle 开销会吃掉收益,先攒批。
-
需要共享 1GB 大对象时别用多进程,复制内存不现实;3.14 自由线程构建获官方支持,生态仍在追赶。
追问: CPU 密集任务能不能用多线程?—— 如果热点已经落在释放 GIL 的 C 扩展里,可以;纯 Python 代码不行。
深拷贝和浅拷贝的区别是什么?什么时候不该用 deepcopy?
基础一句话回答: 浅拷贝只新建最外层容器,内部元素仍共享引用;深拷贝递归复制整棵对象图,换来确定性,也换来更高耗时和内存。
展开:
-
机制:
copy.copy()对列表只复制指针数组,内层对象还是同一个;deepcopy()用 memo 记录已复制对象的 id。 -
循环引用不会无限递归,第二次遇到同一对象时直接返回 memo 里的副本。
-
取舍:不可变对象常直接返回原对象。
-
文件句柄、线程锁、数据库连接不能被 deepcopy,会抛
TypeError。 -
数字:10 万条嵌套字典深拷贝通常几百毫秒、峰值内存接近翻倍,浅拷贝不到 1 毫秒。
-
1GB 的 DataFrame 做深拷贝会直接多占 1GB,热路径应改成结构共享或按需重建。
-
不这么做:只有两层且元素不可变时,用
dict(config)就够,不必上 deepcopy。
追问: 为什么 deepcopy 能处理循环引用?—— memo 存的是原对象 id 到副本的映射,第二次遇到直接复用。
生成器为什么省内存?什么场景不该用生成器?
进阶一句话回答: 生成器把一次算完改成按需算一个,任意时刻只保留一个元素和栈帧,处理大文件时内存从 O(n) 降到 O(1)。
展开:
-
机制:含
yield的函数返回生成器对象,执行到 yield 暂停并保留局部变量,next()时恢复。 -
数字:100 万个整数列表约占 36MB,生成器对象只有几百字节;10GB 日志逐行读,内存只占一个缓冲区。
-
生成器适合流水线,
yield from串联多个生成器,itertools.islice只取前 1 万条。 -
取舍:只能单向遍历一次,没有
len和随机下标。 -
需要多次遍历、排序或随机访问时,先把结果落盘。
-
不这么做:生成器不能 pickle,传给多进程前
list()化会把省下的内存一次性还回去。 -
需要并发消费时用队列,别让多个消费者共享同一个生成器,否则会抛
ValueError。
# 列表:一次性算完,100 万个整数约占 36MB
squares = [i * i for i in range(1_000_000)]
# 生成器:按需计算,常驻内存只有一个元素
squares = (i * i for i in range(1_000_000))追问: 提前 break 后资源会释放吗?—— 不会立刻,用 close() 或 contextlib.closing 触发 finally 更稳。