立即注册
查看: 2498|回复: 1

IPFS丨分布式Web的分布式搜索引擎

已绑定手机
发表于 2018-12-17 12:49:59 | 显示全部楼层 |阅读模式 来自 广东省深圳市
如果要在分布式Web上查找信息,集中式搜索引擎似乎违反直觉,因为它违背了分布式Web的基本原则。这就是为什么我们正在努力为我们的项目Dweb.page创建第一个功能齐全,完全分布式的搜索引擎。
虽然搜索中立性可能会被讨论,但很明显,Google的集中搜索引擎市场份额超过90%,季度收益超过300亿美元,这远非理想。垄断不仅在经济上效率低下,而且还增加了审查和搜索偏见的机会。

www.ipfs.cn

·
问题
尽管前面提到的当前搜索引擎的缺点,我们认为是由于多种原因让改变现有模型有些困难。与此同时,也为Dweb的分布式和完全透明的搜索引擎带来了一系列挑战:
速度:分布式搜索引擎的速度至少需要与当前解决方案一样高。
设备独立性:今天越来越多的人使用手机; 分布式搜索引擎需要在没有任何集中后端的PC和移动电话上运行。
索引:如何收集,解析和存储数据,以便以分布式方式快速准确地检索信息,并确保人们不会创建虚假的搜索条目?
可用性:如何确保分布式数据在请求时仍可用?特别是因为数据可以在本地托管,因此仅在某些时隙中可用。
货币化和激励:如何为存储和持续开发工具提供资金?如果没有这个货币化部分,那么分散式解决方案很难与现有的集中式解决方案竞争,例如人才或合作等。
·
潜在的解决方案
为了确保交易的高速和流畅,很明显,分布式分类技术从一开始就不受这两种性能问题之一的限制。因此,我们选择了IPFS与IOTA的结合。IPFS正在以一种快速和分布式的方式来共享和托管文件,而IOTA提供了必要的分布式数据库层。
这里需要注意的是,数据库只使用了IOTA技术的一部分,该技术已经完全发挥了功能,并且独立于未来的研究工作(例如关于协调器)。这种组合使我们能够提供适用于各种设备的体验。
我们甚至在Internet Explorer中运行了原型。独特的功能是,我们可以提供完全分布式的体验,而无需额外安装任何软件,因为所有代码都在一个简单,完全开源的网页中运行,该网页本身就是在IPFS上分发的。这也意味着每个用户都将运行自己的搜索引擎,这是最终的分发。
受此分布式界面的启发,我们正在为分布式搜索引擎开发以下概念:
·

www.ipfs.cn

·
我们假设有两种类型的用户,我们称之为作者和消费者(尽管有一个人可以履行这两种角色)。
作者通过Dweb.page上传分布式网页上的内容。如果他们希望其他人公开发现他们的内容,则由作者签名的元数据将在IOTA上传。这样,任何人都可以创建自己的元数据而不是集中索引系统。最重要的是,这个签名系统将使人们无法假装成其他人,例如今天发生在新闻报道或银行网站上。
当消费者第一次打开Dweb.page时,他们将开始在后台加载最新的元数据。基于该元数据,本地运行的搜索引擎向用户提供初始且完全透明的搜索结果。用户的这些首次搜索将自动用于订阅可能有趣的作者,并以这种方式加载其他元数据。
这可以被视为元数据的社交网络,其中消费者“跟随”作者。该方法的优点一方面包括用户不必加载整个web的完整元数据,另一方面,他们可以容易地阻止恶意元数据的提供者(例如,错误标记的内容)。
此外,如果没有此订阅者/阻止模型,人们可能会开始向搜索引擎发送垃圾邮件。
此外,使用Dweb.page搜索引擎的每个人都将生成有关内容可用性的信息。这意味着如果有人试图下载不再可用的分布式Web上的某些内容,则该信息将传递给其他用户。
如果多位作者告诉您文件不再可用,则会自动从搜索结果中删除该文件。如果只有一个人告诉您这个问题,那么该文件仍然会列在您的搜索结果中,以便您选择检查,如果作者没有试图阻止您通过说明其可用性来访问某些内容。
每个分布式项目的最后一个关键,具有挑战性且经常被忽视的部分是如何通过分布式Web的存储提供商和开发人员获利并提供激励。在没有任何集中化的分布式开源解决方案中,可以规避任何激励模型。
这就是为什么许多分散的项目最终都有一个集中的层。此外,基于捐赠的系统似乎不适用于订阅或基于长期的商业模式。这就是为什么我们正在考虑创建一个模型,使所有参与者受益,同时保持完全透明 下图说明了这种潜在解决方案的工作原理:
·

www.ipfs.cn

·
搜索市场对于广告的定位很好,因为即使不放弃任何隐私,基于搜索词显示广告也是可能的。然后,这些广告收入可以被分割,一方面为作者提供一定数量的免费存储,另一方面,支持开发人员进一步改进工具。
例如,如果您考虑谷歌为您提供了15gb的免费云存储,并且每个季度仍然可以获得数十亿美元的收益,那么您就会想到,上述模型可能会为作者带来一个完全免费的web !此外,重要的是要指出,很大一部分人并不反对广告本身,而是反对滥用他们的个人数据,基于这种模式,这是不可能的。
·
当然,这个模型需要在分布式账本上完全透明地建立。如果是这样,那么一开始所有参与者之间的正常契约可能就足够了,因为您可以很容易地起诉恶意方(例如,如果资金被滥用而不是投资于基础设施)。
然而,该合同还应该从一开始就包含基于投票系统的随时间变化的选项。否则,这样的模式将无法适应未来的发展,例如,存储价格可能会变得非常便宜,因此有必要将这些钱用于其他用途。
这一点和系统的其他方面,如提供的存储或广告的质量,可能很难集成到智能合同中。然而,在稍后的阶段,这种设置应该被完全自动化的智能契约所替代。
这篇文章提供了我们目前研究的一个观点,它并不构成一个成品。我们认为,只有我们从一开始就具有透明度,并感谢任何反馈或贡献,我们才能实现这一理想。


已绑定手机
发表于 2022-7-4 06:39:41 | 显示全部楼层 来自 浙江省杭州市
感谢楼主的分享
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

合作/建议

TEL: 19168984579

工作时间:
周一到周五 9:00-11:30 13:30-19:30
  • 扫一扫关注公众号
  • 扫一扫打开小程序
Copyright © 2013-2024 一牛网 版权所有 All Rights Reserved. 帮助中心|隐私声明|联系我们|手机版|粤ICP备13053961号|营业执照|EDI证
在本版发帖搜索
扫一扫添加微信客服
QQ客服返回顶部
快速回复 返回顶部 返回列表