文章詳情頁
python - mongodb去重
瀏覽:140日期:2022-10-14 09:36:55
問題描述
1.功能里需要根據有一個字段來判斷是否重復,比如叫做ownnerId,凡是存在的就丟棄.于是我用到了distinct這個方法,但是這段時間隨著數據量逐漸增大,出現了一個問題:
OperationFailure: distinct too big, 16mb cap
這是命令行里邊的錯誤,說distinct返回的結果太大了,超過了16M.請問各位高手能否貢獻一些方法.
需求:每次通過檢查數據庫中ownnerId這個字段是否出現了,其中數據庫是一直在更新的,而且這個不存在的ownnerId在一會處理后就會存到數據庫中去,所以要求每次判斷都要重新檢查一遍數據庫中這個ownner字段.因此對速度的要求也比較高.各位大神瞅瞅,求給個意見.
問題解答
回答1:如果我理解的對的話,是否考慮過Unique Indexes。
供參考。
Love MongoDB! Have fun!
相關文章:
1. 在windows下安裝docker Toolbox 啟動Docker Quickstart Terminal 失敗!2. dockerfile - [docker build image失敗- npm install]3. docker - 如何修改運行中容器的配置4. docker網絡端口映射,沒有方便點的操作方法么?5. docker不顯示端口映射呢?6. angular.js - angular內容過長展開收起效果7. 為什么我ping不通我的docker容器呢???8. docker綁定了nginx端口 外部訪問不到9. javascript - nodejs調用qiniu的第三方資源抓取,返回401 bad token,為什么10. nignx - docker內nginx 80端口被占用
排行榜
