Как быстро искать информацию в больших данных? ⇐ Python
-
Гость
Как быстро искать информацию в больших данных?
У меня есть данные размером 3 терабайта, такие как csv, txt, json, sql, и я хочу знать, как искать в них информацию.
Например, я могу преобразовать их все в 1 терабайт. гигабайты .db файлов в sqlite и сделайте запрос sql следующим образом:
SELECT * FROM datas WHERE id = n
но даже это ситуация, поиск займет много времени.
Я просто хочу знать, как работают такие крупные компании, как Google, Facebook и другие крупные компании.
Я не знаю. думаю, они не используют SQL, но с очень мощными серверами, я думаю, они используют другую технологию.
Источник: https://stackoverflow.com/questions/781 ... m-big-data
У меня есть данные размером 3 терабайта, такие как csv, txt, json, sql, и я хочу знать, как искать в них информацию.
Например, я могу преобразовать их все в 1 терабайт. гигабайты .db файлов в sqlite и сделайте запрос sql следующим образом:
SELECT * FROM datas WHERE id = n
но даже это ситуация, поиск займет много времени.
Я просто хочу знать, как работают такие крупные компании, как Google, Facebook и другие крупные компании.
Я не знаю. думаю, они не используют SQL, но с очень мощными серверами, я думаю, они используют другую технологию.
Источник: https://stackoverflow.com/questions/781 ... m-big-data
