CityHash
ClickHouse использует одну из предыдущих версий CityHash от Google.
CityHash изменил алгоритм после того, как мы добавили его в ClickHouse.
Документация CityHash специально отмечает, что пользователь не должен полагаться на конкретные значения хешей и не должен сохранять их где-либо или использовать в качестве ключа шардирования.
Но поскольку мы открыли эту функцию для пользователей, нам пришлось зафиксировать версию CityHash (на 1.0.2). И теперь мы гарантируем, что поведение функций CityHash, доступных в SQL, не изменится.
— Алексей Миловидов
Текущая версия CityHash от Google отличается от варианта cityHash64 в ClickHouse.
Не используйте farmHash64 для получения значения CityHash от Google! FarmHash является преемником CityHash, но они не полностью совместимы.
| Строка | ClickHouse64 | CityHash64 | FarmHash64 |
|---|---|---|---|
Москва | 12507901496292878638 | 5992710078453357409 | 5992710078453357409 |
Как можно написать большую систему без C++? -Пол Глик | 6237945311650045625 | 749291162957442504 | 11716470977470720228 |
Также смотрите Представляем CityHash для описания и обоснования создания. TL;DR некриптографический хеш, который быстрее, чем MurmurHash, но более сложный.
Реализации
Go
Вы можете использовать пакет go-faster/city, который реализует обе версии.
