가 데이터 프레임 있는 배열을 가진 두 배로 값입니다. 배열 내에서,1 또는 숫자의 합계와 같은 특정 대상 값,그리고 내가 원하는 값을 추출하는 값과 같이나로 요약할 수 있습을 동일한 값으로 설정합니다. 나는 다음과 같이 할 수 있는 이에 PySpark.
| Array | Target | NewArray |
| -----------------------|-----------|------------------|
| [0.0001,2.5,3.0,0.0031]| 0.0032 | [0.0001,0.0031] |
| [2.5,1.0,0.5,3.0] | 3.0 | [2.5, 0.5, 3.0] |
| [1.0,1.0,1.5,1.0] | 4.5 | [1.0,1.0,1.5,1.0]|
할 수 있습 로직을 캡슐화하는 udf 고 만들기 NewArray 이를 기반으로.
차 논리를 식별하기 위한 배열의 요소를 합산하여 목표 값에서 여기에.
from pyspark.sql.types import ArrayType, DoubleType
from pyspark.sql.functions import udf
from decimal import Decimal
data = [([0.0001,2.5,3.0,0.0031], 0.0032),
([2.5, 1.0, 0.5, 3.0], 3.0),
([1.0, 1.0, 1.5, 1.0], 4.5),
([], 1.0),
(None, 1.0),
([1.0,2.0], None),]
df = spark.createDataFrame(data, ("Array", "Target", ))
@udf(returnType=ArrayType(DoubleType()))
def find_values_summing_to_target(array, target):
def subset_sum(numbers, target, partial, result):
s = sum(partial)
# check if the partial sum is equals to target
if s == target:
result.extend(partial)
if s >= target:
return # if we reach the number why bother to continue
for i in range(len(numbers)):
n = numbers[i]
remaining = numbers[i+1:]
subset_sum(remaining, target, partial + [n], result)
result = []
if array is not None and target is not None:
array = [Decimal(str(a)) for a in array]
subset_sum(array, Decimal(str(target)), [], result)
result = [float(r) for r in result]
return result
df.withColumn("NewArray", find_values_summing_to_target("Array", "Target")).show(200, False)
+--------------------------+------+--------------------+
|Array |Target|NewArray |
+--------------------------+------+--------------------+
|[1.0E-4, 2.5, 3.0, 0.0031]|0.0032|[1.0E-4, 0.0031] |
|[2.5, 1.0, 0.5, 3.0] |3.0 |[2.5, 0.5, 3.0] |
|[1.0, 1.0, 1.5, 1.0] |4.5 |[1.0, 1.0, 1.5, 1.0]|
|[] |1.0 |[] |
|null |1.0 |[] |
|[1.0, 2.0] |null |[] |
+--------------------------+------+--------------------+
target 열입니다. 이를 위해 나는 것입 업데이트에 대한 답변을 빈 배열을 반환합니다 이런 일이 발생합니다. na 나 null 안전합니다. 정밀도를 위해야 할 필요가있다,예를 들어봤을 위한 작은 범위도 6 자리하고 그것은 여전히 작동합니다. 예를 들어 도움이 될 것이 복제됩니다. 0.0001 + 0.0031 가 0.0031999999999999997 stackoverflow.com/questions/11950819/python-math-is-wrong/...,갱신하고 있는 응답을 지원하는 정밀 산술 지원하는 당신의 쓰임새.