Python列表删除操作底层分析
- del操作：
- 底层数据结构变化：
del语句用于删除列表中的元素或整个列表。当使用del list[index]删除指定位置的元素时，Python会将该位置之后的所有元素向前移动一个位置，以填补删除元素留下的空缺。例如，对于列表[1, 2, 3, 4]，执行del list[1]后，列表变为[1, 3, 4]，2后面的元素3和4向前移动。
- 内存分配机制：移动元素后，列表对象的大小会相应减小，但由于Python的内存管理机制，并不会立即释放被删除元素占用的内存。Python采用引用计数的垃圾回收机制，当被删除元素的引用计数降为0时，才会在适当的时候回收其占用的内存。
- remove操作：
- 底层数据结构变化：
list.remove(x)方法用于删除列表中第一个值为x的元素。它会从列表的开头开始搜索，找到第一个匹配的元素后，将该元素之后的所有元素向前移动一个位置，和del类似。例如，对于列表[1, 2, 2, 3]，执行list.remove(2)后，列表变为[1, 2, 3]。
- 内存分配机制：同样，元素移动后，被删除元素占用的内存不会立即释放，只有当引用计数为0时才会被回收。由于需要线性搜索匹配元素，对于大型列表，其时间复杂度较高，为O(n)。
- pop操作：
- 底层数据结构变化：
list.pop([index])方法用于删除并返回指定位置的元素。如果不指定索引，默认删除并返回列表的最后一个元素。当删除指定位置的元素时，同样会将该位置之后的元素向前移动。例如，对于列表[1, 2, 3]，执行list.pop(1)后，列表变为[1, 3]。
- 内存分配机制：和前两者类似，元素移动后，被删除元素占用的内存不会立即释放，要等引用计数为0时才回收。如果
pop最后一个元素，由于不需要移动其他元素，时间复杂度为O(1)；如果pop中间位置的元素，时间复杂度为O(n)。
百万级列表删除重复元素方案
- 方案：
- 使用集合（
set）来辅助删除重复元素。集合是一种无序且不包含重复元素的数据结构。
- 代码示例如下：
my_list = [1, 2, 2, 3, 3, 3, 4, 4, 4, 4] * 100000
seen = set()
new_list = []
for element in my_list:
if element not in seen:
seen.add(element)
new_list.append(element)
- 可行性：
- 由于集合的查找操作平均时间复杂度为O(1)，在遍历百万级列表时，每次检查元素是否已存在于集合中效率较高。
- 遍历列表一次，将不重复的元素添加到新列表中，保证了所有重复元素都被删除。
- 优势：
- 高效性：时间复杂度接近O(n)，相比通过多次遍历列表使用
remove方法（时间复杂度为O(n^2)），效率大大提高。因为remove每次删除元素都需要线性搜索，而使用集合查找元素效率更高。
- 低内存消耗：虽然使用了额外的集合来存储已出现的元素，但集合的空间开销相对较小，并且在Python的内存管理机制下，一旦不再使用的对象（如被删除的重复元素）引用计数为0，内存会被及时回收。与其他可能需要更多中间数据结构的方法相比，内存消耗较低。
