Ошибка установки VSCode для библиотеки реликвий Hugginface ⇐ Python

[Anonymous]

Поэтому мне действительно нужно использовать библиотеку Python под названием relik в VSCode. Когда я использовал pip install relik в терминале, он устанавливался и все такое, но когда я тестировал его, используя этот код в ячейке

Код: Выделить всё

import torch
from relik import Relik

Это выдаст мне следующую ошибку:

Код: Выделить всё

{
"name": "OverflowError",
"message": "Python int too large to convert to C long",
"stack": "---------------------------------------------------------------------------
OverflowError                             Traceback (most recent call last)
Cell In[1], line 2
1 import torch
----> 2 from relik import Relik
3 from relik.inference.data.objects import RelikOutput
5 relik = Relik.from_pretrained(\"sapienzanlp/relik-entity-linking-large\")

File c:\\Users\\Anjali's Computer\\AppData\\Local\\Programs\\Python\\Python312\\Lib\\site-packages\\relik\\__init__.py:1
----> 1 from relik.inference.annotator import Relik
2 from pathlib import Path
4 VERSION = {}  # type: ignore

File c:\\Users\\Anjali's Computer\\AppData\\Local\\Programs\\Python\\Python312\\Lib\\site-packages\\relik\\inference\\annotator.py:16
14 from relik.common.upload import get_logged_in_username, upload
15 from relik.common.utils import CONFIG_NAME, from_cache
---> 16 from relik.inference.data.objects import (
17     AnnotationType,
18     Candidates,
19     RelikOutput,
20     Span,
21     TaskType,
22     Triplets,
23 )
24 from relik.inference.data.splitters.base_sentence_splitter import BaseSentenceSplitter
25 from relik.inference.data.splitters.blank_sentence_splitter import BlankSentenceSplitter

File c:\\Users\\Anjali's Computer\\AppData\\Local\\Programs\\Python\\Python312\\Lib\\site-packages\\relik\\inference\\data\\objects.py:8
5 from typing import Dict, List, NamedTuple, Optional
7 from relik.reader.pytorch_modules.hf.modeling_relik import RelikReaderSample
----> 8 from relik.retriever.indexers.document import Document
11 @dataclass
12 class Word:
13     \"\"\"
14     A word representation that includes text, index in the sentence, POS tag, lemma,
15     dependency relation, and similar information.
(...)
35         be attended to, and which should not.
36     \"\"\"

File c:\\Users\\Anjali's Computer\\AppData\\Local\\Programs\\Python\\Python312\\Lib\\site-packages\\relik\\retriever\\__init__.py:1
----> 1 from relik.retriever.pytorch_modules.model import GoldenRetriever

File c:\\Users\\Anjali's Computer\\AppData\\Local\\Programs\\Python\\Python312\\Lib\\site-packages\\relik\\retriever\\pytorch_modules\\__init__.py:5
1 from dataclasses import dataclass
3 import torch
----> 5 from relik.retriever.indexers.document import Document
7 PRECISION_MAP = {
8     None: torch.float32,
9     32: torch.float32,
(...)
23     \"bf16\": torch.bfloat16,
24 }
27 @dataclass
28 class RetrievedSample:

File c:\\Users\\Anjali's Computer\\AppData\\Local\\Programs\\Python\\Python312\\Lib\\site-packages\\relik\\retriever\\indexers\\document.py:11
8 from relik.common.log import get_logger
9 from relik.common.utils import JsonSerializable
---> 11 csv.field_size_limit(sys.maxsize)
13 logger = get_logger(__name__)
16 class Document:

OverflowError: Python int too large to convert to C long"
}

Я думаю, что он устанавливает релик версии 1.6 вместо 1.7. Я тоже пытался это исправить, установив модуль GitHub, просто выполнив команду

Код: Выделить всё

git clone https://github.com/SapienzaNLP/relik.git
cd relik
pip install -e .[all]

Но это просто выдаст мне новую ошибку

Код: Выделить всё

Obtaining file:///C:/Users/Anjali%27s%20Computer/Desktop/Pipeline/relik
Installing build dependencies ... done
Checking if build backend supports build_editable ... done
Getting requirements to build editable ...  error
error: subprocess-exited-with-error

× Getting requirements to build editable did not run successfully.
│ exit code: 1
╰─> [26 lines of output]
Traceback (most recent call last):
File "c:\Users\Anjali's Computer\Desktop\Pipeline\.venv\Lib\site-packages\pip\_vendor\pyproject_hooks\_in_process\_in_process.py", line 353, in 
main()
File "c:\Users\Anjali's Computer\Desktop\Pipeline\.venv\Lib\site-packages\pip\_vendor\pyproject_hooks\_in_process\_in_process.py", line 335, in main
json_out['return_val'] = hook(**hook_input['kwargs'])
^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "c:\Users\Anjali's Computer\Desktop\Pipeline\.venv\Lib\site-packages\pip\_vendor\pyproject_hooks\_in_process\_in_process.py", line 132, in get_requires_for_build_editable
return hook(config_settings)
^^^^^^^^^^^^^^^^^^^^^
File "C:\Users\Anjali's Computer\AppData\Local\Temp\pip-build-env-wsho2hb8\overlay\Lib\site-packages\setuptools\build_meta.py", line 483, in get_requires_for_build_editable
return self.get_requires_for_build_wheel(config_settings)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "C:\Users\Anjali's Computer\AppData\Local\Temp\pip-build-env-wsho2hb8\overlay\Lib\site-packages\setuptools\build_meta.py", line 334, in get_requires_for_build_wheel
return self._get_build_requires(config_settings, requirements=[])
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "C:\Users\Anjali's Computer\AppData\Local\Temp\pip-build-env-wsho2hb8\overlay\Lib\site-packages\setuptools\build_meta.py", line 304, in _get_build_requires
self.run_setup()
File "C:\Users\Anjali's Computer\AppData\Local\Temp\pip-build-env-wsho2hb8\overlay\Lib\site-packages\setuptools\build_meta.py", line 522, in run_setup
super().run_setup(setup_script=setup_script)
File "C:\Users\Anjali's Computer\AppData\Local\Temp\pip-build-env-wsho2hb8\overlay\Lib\site-packages\setuptools\build_meta.py", line 320, in run_setup
exec(code, locals())
File "", line 110, in 
File "C:\Users\Anjali's Computer\AppData\Local\Programs\Python\Python312\Lib\encodings\cp1252.py", line 23, in decode
return codecs.charmap_decode(input,self.errors,decoding_table)[0]
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
UnicodeDecodeError: 'charmap' codec can't decode byte 0x8f in position 4687: character maps to 
[end of output]

note: This error originates from a subprocess, and is likely not a problem with pip.
error: subprocess-exited-with-error

× Getting requirements to build editable did not run successfully.
│ exit code: 1
╰─> See above for output.

note: This error originates from a subprocess, and is likely not a problem with pip.

[*]Я уже попробовал несколько вещей, например, удаление всех требований к зависимостям 1.6 и вместо этого установку требований к зависимостям 1.7, а затем запустил pip install -e .[all], но она по-прежнему не работает и приводит к той же ошибке.

[*]Я попробовал все возможные способы установка релика, указанного на github. Итак, я попробовал выполнить pip install relik[all], pip install relik[train], pip install relik[faiss], pip install relik. Ничто из этого не работает, и все это приводит к той же проблеме, о которой говорилось ранее.

[*]Использование relik в Google Colabs, запустив !pip install relik[ faiss] работает отлично и правильно импортирует relik 1.7. Это здорово, но мне действительно нужно, чтобы это работало и в VSCode.

[*]Когда я запускал ту же команду, pip install relik[faiss] в VSCode он всегда импортирует его в версию 1.6, даже когда я использую !pip install relik[faiss] --upgrade.

< /ул>

Подробнее здесь: https://stackoverflow.com/questions/791 ... ik-library