编程语言 · 共 3 个专题
编程语言 3 专题 · 9 题

Python 核心

CPython 并发模型、深浅拷贝与生成器内存取舍的面试要点。

3 道题 约 5 分钟 编程语言 · Python

Python 后端面试几乎绕不开并发模型、对象语义和内存管理。GIL 的真实边界、拷贝语义和生成器取舍,比背定义更能拉开差距。

Q1

GIL 是什么?多线程和多进程该怎么选?

高频

一句话回答: GIL 让同一进程内只有一个线程执行字节码,所以 CPU 密集任务用多进程,IO 密集任务用线程或 asyncio。

展开:

  • 机制:CPython 用全局锁保护引用计数等状态,同一时刻只有一个线程跑字节码。

  • 线程每 5ms 尝试切换一次,sys.setswitchinterval() 默认就是 0.005 秒。

  • NumPy、zlib 等 C 扩展计算时会释放 GIL,热点用多线程可并行。

  • 取舍:线程共享内存、创建便宜;多进程隔离彻底,但内存翻倍、IPC 要序列化。

  • ProcessPoolExecutor 默认 worker 数等于核数,ThreadPoolExecutor 默认是 min(32, 核数 + 4)。

  • 数字:8 核纯 Python 循环,多线程加速比接近 1,多进程约 6 倍。

  • 不这么做:单任务低于 50ms 时,进程启动和 pickle 开销会吃掉收益,先攒批。

  • 需要共享 1GB 大对象时别用多进程,复制内存不现实;3.14 自由线程构建获官方支持,生态仍在追赶。

追问: CPU 密集任务能不能用多线程?—— 如果热点已经落在释放 GIL 的 C 扩展里,可以;纯 Python 代码不行。

#GIL#并发
Q2

深拷贝和浅拷贝的区别是什么?什么时候不该用 deepcopy?

基础

一句话回答: 浅拷贝只新建最外层容器,内部元素仍共享引用;深拷贝递归复制整棵对象图,换来确定性,也换来更高耗时和内存。

展开:

  • 机制:copy.copy() 对列表只复制指针数组,内层对象还是同一个;deepcopy() 用 memo 记录已复制对象的 id。

  • 循环引用不会无限递归,第二次遇到同一对象时直接返回 memo 里的副本。

  • 取舍:不可变对象常直接返回原对象。

  • 文件句柄、线程锁、数据库连接不能被 deepcopy,会抛 TypeError。

  • 数字:10 万条嵌套字典深拷贝通常几百毫秒、峰值内存接近翻倍,浅拷贝不到 1 毫秒。

  • 1GB 的 DataFrame 做深拷贝会直接多占 1GB,热路径应改成结构共享或按需重建。

  • 不这么做:只有两层且元素不可变时,用 dict(config) 就够,不必上 deepcopy。

追问: 为什么 deepcopy 能处理循环引用?—— memo 存的是原对象 id 到副本的映射,第二次遇到直接复用。

#拷贝#内存
Q3

生成器为什么省内存?什么场景不该用生成器?

进阶

一句话回答: 生成器把一次算完改成按需算一个,任意时刻只保留一个元素和栈帧,处理大文件时内存从 O(n) 降到 O(1)。

展开:

  • 机制:含 yield 的函数返回生成器对象,执行到 yield 暂停并保留局部变量,next() 时恢复。

  • 数字:100 万个整数列表约占 36MB,生成器对象只有几百字节;10GB 日志逐行读,内存只占一个缓冲区。

  • 生成器适合流水线,yield from 串联多个生成器,itertools.islice 只取前 1 万条。

  • 取舍:只能单向遍历一次,没有 len 和随机下标。

  • 需要多次遍历、排序或随机访问时,先把结果落盘。

  • 不这么做:生成器不能 pickle,传给多进程前 list() 化会把省下的内存一次性还回去。

  • 需要并发消费时用队列,别让多个消费者共享同一个生成器,否则会抛 ValueError。

# 列表:一次性算完,100 万个整数约占 36MB
squares = [i * i for i in range(1_000_000)]

# 生成器:按需计算,常驻内存只有一个元素
squares = (i * i for i in range(1_000_000))

追问: 提前 break 后资源会释放吗?—— 不会立刻,用 close() 或 contextlib.closing 触发 finally 更稳。

#生成器#内存