나는 아래 코드는 파이썬에서 그러나 내가 변환이 필요한 이하 pyspark,
qm1['c1'] = [x[0] in x[1] for x in zip(qm1['id'], qm1['question'])]
qm1['c1'] = qm1['c1'].astype(str)
qm1a = qm1[(qm1.c1 == 'True')]
출력의 이 python 코드
| 질문 | 키 | id | c1 |
|---|---|---|---|
| 여자 | 0 | 조 | True |
| 기계 | 0 | mac | True |
수 있는 사람이 나를 도와주십시오에서 같은 나는 초보자에서는 파이썬?
여기에는 내가 테스트는 테스트(로 당신의 질문에 포함되지 않)
df.show()
+--------+---+----+
|question|key| id|
+--------+---+----+
| Women| 0|omen|
| machine| 2| mac|
| foo| 1| bar|
+--------+---+----+
내 코드를 만들은 예상 출력:
from pyspark.sql import functions as F
df = df.withColumn("c1", F.col("question").contains(F.col("id")))
df.show()
+--------+---+----+-----+
|question|key| id| c1|
+--------+---+----+-----+
| Women| 0|omen| true|
| machine| 2| mac| true|
| foo| 1| bar|false|
+--------+---+----+-----+
할 수 있습니다 다음은 단순히 filter c1:
df.where("c1").show()
+--------+---+----+----+
|question|key| id| c1|
+--------+---+----+----+
| Women| 0|omen|true|
| machine| 2| mac|true|
+--------+---+----+----+