У меня есть сценарий, где есть два листа (CSV). Создал две таблицы для этого.
Когда есть хорошие данные, я мог бы отобразить его со значением (статистическое значение ID) из второй таблицы. Если у меня есть плохие данные, я должен снова сопоставить их с значением статистики ID (но другое значение). Тем не менее, я не могу использовать не существует в Spark SQL. И я получаю ошибку ниже: < /p>
несоответствующий ввод 'от' wearing {, 'where', 'group', 'order', 'stiving', 'limit', «Боковой», «Окно», «Юнион», «За исключением», «пересечение», «сортировка», «кластер», «распределять»} (строка 1, pos 386) < /p>
at org.apache.spark.sql.catalyst.parser.ParseException.withCommand(ParseDriver.scala:197)
at org.apache.spark.sql.catalyst.parser.AbstractSqlParser.parse(ParseDriver.scala:99)
at org.apache.spark.sql.execution.SparkSqlParser.parse(SparkSqlParser.scala:45)
< /code>
code: < /p>
select
a.ptf_id,a.ptf_code,a.share_id,a.share_code,a.bench_id,a.bench_code
, a.l1_calculation_date,a.l1_begin_date,a.l1_end_date,a.l1_running_date
, a.l1_frequency,a.l1_calculation_step,a.l1_performance_currency
, a.l1_configuration,a.l1_valuation_source,a.l1_nav_valuation_type
, a.l1_setting_reference_type, a.l1_setting_valuation_type
, a.l1_sharpe_ratio_annualized as value,b.id_statistic
from
parquetFile a,
pairRDD b,
stats c
where
a.l1_nav_valuation_type= b.l1_nav_valuation_type
and a.l1_valuation_source = b.l1_valuation_source
and b.l1_Perf = 'l1_sharpe_ratio_annualized'
OR (a.ptf_id not EXISTS (
select e.ptf_id from pairRDD d, parquetFile e
where d.l1_valuation_source = e.l1_valuation_source
AND d.l1_nav_valuation_type = e.l1_nav_valuation_type)
and b.l1_valuation_source ='')
< /code>
Этот запрос работает в SQL, если я использую «не в»
, пожалуйста, помогите мне, какие другие параметры использовать в этом сценарии, кроме как нет. < /< / п>
Подробнее здесь: https://stackoverflow.com/questions/471 ... not-exists
