关于解析:如何使用python消除列表中的重复元素?

How to eliminate duplicate elements in a list using python?

本问题已经有最佳答案,请猛点这里访问。

我有一个python脚本,它解析.txt文件并生成如下列表:

1
['test=testTC101', 'test=testTC101', 'test=testTC102', 'test=testTC102', 'test=testTC103', 'test=testTC103', 'test=testTC104', 'test=testTC104', 'test=testTC105', 'test=testTC105', 'test=testTC106', 'test=testTC106', 'test=testTC107', 'test=testTC107']

我需要消除重复的内容。我怎样才能做到?


是的set使用: </P >

1
2
3
4
5
6
7
8
>>> x = ['test=testTC101', 'test=testTC101', 'test=testTC102', 'test=testTC102',
...      'test=testTC103', 'test=testTC103', 'test=testTC104', 'test=testTC104',
...      'test=testTC105', 'test=testTC105', 'test=testTC106', 'test=testTC106',
...      'test=testTC107', 'test=testTC107']
>>> set(x)
set(['test=testTC101', 'test=testTC103', 'test=testTC102', 'test=testTC105',
'test=testTC104', 'test=testTC107', 'test=testTC106'])
>>>

你不能总是那么让它变成一个反向使用list列表: </P >

1
2
3
4
5
6
7
8
>>> list(set(x))
['test=testTC101', 'test=testTC103', 'test=testTC102', 'test=testTC105',
'test=testTC104', 'test=testTC107', 'test=testTC106']
>>> # You can also use sorted to order the items
>>> sorted(list(set(x)))
['test=testTC101', 'test=testTC102', 'test=testTC103', 'test=testTC104',
'test=testTC105', 'test=testTC106', 'test=testTC107']
>>>

集合是guaranteed不到有duplicates。。。。。。。 </P >


如果你的活动的要求是:保存这阶 </P >

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
def best_case_iteruniq(iterable, key=None):
    memo_hash = set()
    memo_else = list()

    add_hash = memo_hash.add
    add_else = memo_else.append

    if key is None:
        def predicate(item):
            try:
                hash(item)

            except TypeError:
                if item in memo_else:
                    return False

                add_else(item)
                return True

            else:
                if item in memo_hash:
                    return False

                add_hash(item)
                return True


    else:
        def predicate(actual_item):
            item = key(actual_item)

            try:
                hash(item)

            except TypeError:
                if item in memo_else:
                    return False

                add_else(item)
                return True

            else:
                if item in memo_hash:
                    return False

                add_hash(item)
                return True

    return filter(predicate, iterable)

这是一个小的机床的制造一些i.minute那允许你到大学都uniquify列表的哈希和非哈希的元素在最低可能的时间(assuming那是好的,有像bluths序非哈希的元素),它也允许一个key到uniquify与他们。 </P >

它的几乎是一种definitely矫枉过正的方法这样的情景,虽然。但它有一页,和它的自由。 </P >