Filecoin检索市场2022年上半年报告

2022年7月24日 683点热度 0人点赞 0条评论

检索市场工作组在2022年工作很繁重！这篇报告总结了它在2022年上半年的进展，并对下半年的工作进行了展望。

Filecoin网络

我们会以一张Filecoin网络的高层级架构图开篇，这有助于增进理解下面的内容。

存储流程

从左上方看，内容发布方（如存储用户）与交易提议服务商（如Estuary、NFT Storage）沟通，从而存储数据。这些服务与存储提供者达成交易，后者会将内容标识CID添加到索引节点（Indexer nodes）。这个流程现在已经正常运作了。

检索流程

对检索流程而言，检索用户（Retrieval Client）会与检索服务提供者（Retrieval Provider）联系，从而获取某些数据。如果这个检索服务提供者在其缓存里有这份数据，就会将其返回给检索客户。否则它会从存储提供者（当前，在我们实现可靠的存储提供者检索之前，或可先使用IPFS网关）那里缓存缺失的数据。这个流程现在正在开发中。

检索市场工作组话题

考虑一下网络架构图的情况，然后看一下2022年上半年的每一个话题。

话题一：检索提供者节点

如果不搭建一个检索提供者节点（retrieval provider node--RP），是无法启动一个检索网络的。在2022年已经有一些团队在搭建检索提供者节点了。

首先，Myel(https://myel.network) 已经搭建了Myel PoP(https://github.com/myelnet/pop) （汇集点--Point of Presence）。在2022年之前，这个团队用Golang搭建了Myel.在2022年上半年，他们用Rust语言重写了这个软件，以提供开发安全性和WASM兼容性（从而也能改善浏览器兼容性）。Myel PoP的这个Rust版本暂时还没有开源，不过离这目标不远了。

在2022年上半年，协议实验室开始了Saturn network(https://www.notion.so/Filecoin-Saturn-efc122f123f344ff8ff0de6071954dba)的工作。这个网络有两层的检索提供者节点架构，分别为L1和L2）。L1缓存节点(https://github.com/filecoin-project/saturn-node) 是检索用户进入Saturn网络的入口。它的基础设施采用了Nginx软件。L2缓存节点(https://github.com/filecoin-project/saturn-l2) L1缓存节点后的下一个缓存层。L2缓存节点旨在为家庭网络中的家用电脑设计，从而降低接入Filecoin网络的硬件成本。L2缓存节点是使用libp2p(https://github.com/libp2p/go-libp2p)库实现的，并以Go语言编写。

在2022年，还有其他两个团队在开展检索提供者节点的相关工作。这包括了由New Web Group打造的Titan RP（即将开源）和WCGCYX打造的FCR node(https://github.com/wcgcyx/fcr) （在2022年上半年最后一周已经开源了）。

下文有关于这些网络的更多信息。

话题二：加密经济学

检索流程的加密经济学是一个很大的话题，在2022年上半年我们已有渐进的进展。这个流程旨在回答以下问题：

“检索提供者有什么动力加入Filecoin网络？”

用户直接为检索付费

解决这个问题的最简单方法，是让检索用户就每一次检索向检索提供者付费。只要价格合适，这就会将检索提供者带到市场上。

Myel(https://myel.network) 基于检索用户总是会直接为检索付费的假设，设想了一个检索网络。

在很多案例中，这个方法是可行的，尤其是在服务器对服务器的检索需求里。具体的例子包括：

向索引提供者付费
向有声誉的提供者付费
L1缓存服务向L2缓存服务付费
可能还有web3浏览器检索（不过这需要变革我们目前的浏览器使用方式）

这个直接支付的方法，相比起第三方补贴的检索方式，有一些优势。首先，每一个检索流程都是两个实体的本地交换过程：一个检索用户和一个检索提供者节点。这意味着在这个交换过程的末端，双方都获得了它们需要的东西，因此也不需要有进一步的仲裁或记账过程。其次，由于检索用户需要就交易向检索提供者节点付费，因此也能防止检索用户向检索提供者节点发起女巫攻击或分布式拒绝服务攻击。

如果用户不直接为检索付费呢？

如果用户不直接为检索付费，我们必须从整体出发，研究一下网络架构，弄清楚这笔费用可能从哪里来。

在这个示意图中，绿色线指示的是费用的流动，而白色线指示数据的流动。如果检索用户不直接为每一次检索付费，那么只有内容发布者最有可能基于让检索提供者节点加速数据的需求，为此付费。

因此，任何想激励检索提供者节点加入网络的尝试，都必须找到一个机制，让费用从内容发布者流动到检索提供者节点手上。

有一些团队正为此研究不同的解决方案，让用户无需直接为检索付费：

Saturn

在Saturn网络，每一个检索提供者节点自行将自己的检索汇报给Saturn编排服务。Saturn编排服务会聚合这些日志，并根据各个检索提供者节点的贡献来提供奖励。

在2022年上半年，Saturn发起了一个私有的主链，并在收集这些检索日志。在2022年下半年，Saturn会将主链公开，并决定每一个检索提供者节点的贡献应获得多大的奖励。

这种自行汇报方式，有一个明显的问题，就是它提供了一些攻击维度。

就如上图所示，一个检索提供者节点可以与一个检索用户合谋，后者可以伪造数千个“虚假的”检索，来增加日志的数量。同样，检索提供者节点也可以向日志服务端发送更多“虚假”的日志。更精心的攻击方式还可以启动数千个检索用户，并向自己管理的检索提供者节点发起检索请求。

这些攻击维度已经被注意到了。Saturn团队会与CryptoEconLab合作，在2022年下半年研究一个欺诈侦测模块，来分析Saturn的检索日志。

Titan

New Web Group正开发一个名为Titan Ultra的检索网络。这个团队选取了与Saturn不同的方式，来证明网络中的贡献。在Titan网络里，会有验证节点针对检索提供者节点执行检索测试，并将测试结果汇报给中心化（一开始会是这样）的编排服务。

这种方式让检索提供者节点更难在网络中欺诈，因为它们为了应对验证者的测试，就需要持续提供良好服务。这个衡量网络贡献的方法与Meson Network(https://meson.network)、Media Network(https://media.network)、Theta(https://www.thetatoken.org/)和CryptoNetLab设想的Storage Metrics DAO(https://cryptonet.org/projects/storage-metrics-dao)所采用的方法类似。

Titan网络在2022年1-4月期间承担了一项早期的研究资助任务，现正承担一项后续的研究资助任务，来部署Titan Ultra网络的一个概念验证版本，这将在2022年第三季度完成。

从证明到付费

无论检索提供者节点如何证明自己在网络中的贡献，网络还是要面对如何基于这些证明，来操作向检索提供者节点付费的问题。我们会在2022年下半年看到这方面的进展。

请查看这个视频(https://www.youtube.com/watch?v=tyXwki8cBlg) 和另一个视频(https://www.youtube.com/watch?v=joSrArY2DaM&t=14129s) 来了解检索相关的加密经济学方面的演讲。

检索固定（pinning）服务

除了支付系统和创建市场外，设计对检索失败的任务进行惩罚的机制，也是一种让检索提供者节点有动力提供可靠服务的方式。由CryptoNet(https://cryptonet.org)开发的Retrieval Pinning(https://pldr.dev/#/) 就实现了这样的一个机制——智能合约和裁判人网络就是两大法宝。智能合约让检索用户和检索提供者能够就特定内容标识CID达成“可检索性交易”。在这个交易签订后，检索提供者的抵押品就会锁定在智能合约里。裁判人则受托从检索提供者那取回文件和激活智能合约，并对劣质服务进行惩罚（如没收检索提供者的抵押品）。

话题三：支付通道

2022年上半年可以看到在支付通道方面有很多进展。Magmo(https://magmo.com/)领取的资助计划正搭建go-nitro(https://github.com/statechannels/go-nitro)，这是一个Filecoin网络里的多跳（multi-hop）支付通道。Magmo在2022年6月底完成了其初始资助任务(https://github.com/filecoin-project/devgrants/issues/348)。在2022年7月，Magmo会开始后续的资助任务，让go-nitro进入可供生产环境使用的状态，并会加入FVM Foundry，来开始go-nitro的链上组件工作。

简单说，go-nitro专注于从图上的左边流程走到右边流程。在左边，当检索用户想从存储提供者取回数据时，他们必须建立一个成对的支付通道（链上交易）。这意味着我们会有很多数量的支付通道，而每一个应对检索用户需求的存储提供者，都需要请求一个额外的支付通道。

在右边，我们设想一个机制，检索用户和存储提供者会通过其最熟悉的支付通道提供者（Hop Hub），来创建一次性的支付通道。这些hop hubs就会互相建立支付通道。从这个机制开始，我们就可以在检索用户和存储提供者之间建立一个链下的虚拟通道。在完成这个虚拟支付流程后，我们可以通过在三个有抵押的支付通道之间转移付款的方式，来清算这次付款。这极大地降低了链上支付通道的数量，也实现了在付款到达一个新的存储提供者手上前，不会产生链上的交易。

另外，WCGCYX持续在开展FCR(https://github.com/wcgcyx/fcr)（代理支付和检索网络）的相关工作。这个想法是，如果一个检索提供者节点没有某个文件，它可以向其附近的节点陆续询问是否有这个文件。如果这个文件找到了，就可以返回给用户，然后所有中间环节提供者之间的支付通道就可以用于代理这笔支付，每一个提供者都能分享到其中的一些份额。我们正寻找团队接手FCR已经开展的重大工作成果。

话题四：声誉系统

在2022年4月，Ken Labs(https://kencloud.com/) 完成了搭建Pando(https://github.com/kenlabs/pando)的资助任务，这是一个网络数据和元数据的链下可验证存储项目。

Ken Labs在2022年3月完成了首项资助任务，并很快转移到了后续的资助任务来将Pando整合到Dealbot、Filecoin Green和Auto-retrieve等服务上。这个后续的资助任务可以预期Ken Labs为Pando搭建一个监测系统和web用户界面，它持续到2022年9月。

此外，声誉与上面的加密经济学话题有很大的关联，就如上面描述的“检索提供者节点如何向编排服务或验证者证明自己对网络的贡献”。这些检索测试的数据都可以打造围绕存储提供者和检索提供者节点的声誉系统。CryptoNetLab正通过其可检索性预言机（Retrievability Oracle）(https://cryptonet.org/projects/data-retrievability) 计划来研究这个问题。

话题五: 索引

Indexer服务

在2022年3月，协议实验室数据系统（Data Systems）团队发布了indexer服务(http://filecoin.io/blog/posts/introducing-the-network-indexer)，它存储了存储提供者与内容标识CID之间的映射关系。它已经可以扩展到数十亿笔记录了。

根据检索市场工作组的信息，Leeway Hertz(https://www.leewayhertz.com/)和Ken Labs(https://kencloud.com)正运行一个Indexer节点，并探索它们可以为indexer搭建的其他工具或测试方法。

内容索引

在2022年1-3月，ChainSafe(https://chainsafe.io) 领取了一项资助，来研究Filecoin网络的内容索引。虽然如这份报告(https://hackmd.io/@cilOhZOYSdepMrS71Goxqg/H1CCiPfy9)所言，产生了一些进展，但团队还是认为目前做内容索引太早了，我们应该等待一些时间，让检索提供者节点或存储提供者的检索性能和可靠性得到提升再说。

话题六：数据传输和转移协议

在2022年1-3月期间，Myel团队领取了一项搭建JS-graphsync(https://github.com/myelnet/js-graphsync)的资助。在2022年4-6月期间，Myel团队还领取了另一项资助来实现rust-graphsync。目前这还是闭源的，不过很快会开源。这两种语言版本的Graphsync为IPFS和Filecoin的Rust语言、JS语言技术栈提供了重要的元素。

在2022年4-6月期间，ChainSafe领取了一项WebRTC研究资助(https://docs.google.com/document/d/1Cyo2zjcuk9m39PVhmzGypoZ6cRi8rpUiRRXaFJKYoJo/edit?usp=sharing)，来评估WebRTC协议集在不同浏览器上的运行表现。他们书写的报告预计在2022年6月底分享。

此外，Titan和Myel都对家用网络NAT网络后的一个服务提供者进行了检索基准测试。在两个案例中，这些团队都发现表现并不理想，而多线程检索可能是未来最佳的路径。

话题七：浏览器检索

在2022年上半年，Saturn和Myel这两个团队在思考浏览器检索的需求上花费了最多的时间。

在2022年3-6月期间，Saturn团队打造了一个服务worker(https://github.com/filecoin-project/retrieval-client)，能对CAR文件开展增量验证。这是因为浏览器必须能够验证文件是从去中心中心化网络上检索回来的，毕竟它无法直接信任提供文件的服务器。

在2022年上半年，Myel团队在研究将一个Myel POP节点放置到一个服务worker（还有浏览器扩展插件）里。他们用Rust语言重写了Myel PoP节点，以在编译成WASM后实现浏览器兼容性。

话题八：网络监测

在2022年2-6月期间，Leeway Hertz在研究一个Web3 CDN比较仪表盘(http://ec2-54-85-16-97.compute-1.amazonaws.com:3004/d/RRJsP7rnk/retrieval-performance-dashboard?orgId=1)。这个团队还写了一篇关于仪表盘的解释(https://docs.google.com/document/d/1rO_P01eRzvPFv6rbPrbG3WjWfbwzr9Ri/edit?usp=sharing&ouid=110406114636506222356&rtpof=true&sd=true)。这个仪表盘相关的工作有两个方面：

将更多的Web3 CDN（内容分发网络）整合到仪表盘里
2部署更多的检索机器人（bots），它们会从全球多个地点进行检索

Leeway Hertz还打造了一个Saturn仪表盘(http://ec2-18-234-126-134.compute-1.amazonaws.com:3005/d/c7UEvVjnk/saturn-performance-dashboard?orgId=1)，来帮助这个团队监测网络的表现。这个团队还在研究搭建另一个仪表盘服务，来展示存储提供者的检索表现。

深入了解检索市场工作组（RMWG）

你可以在几个地方了解关于RMWG所做工作的更多信息。

在2022年2-4月，Onda Studio(https://www.ondastudio.co/)为RMWG https://retrieval.market(https://retrieval.market "https://retrieval.market")设计了新网站。在这个页面，你可以找到各团队、项目和潜在机会的链接。

还有一个好地方可以找到更多信息，那就是检索市场概念集(https://www.notion.so/Retrieval-Markets-765a9388b86646f38f7a03ee90c9c6c4)，我们在2022年开始就做每周更新了。

你也可以在我们的Youtube频道(https://www.youtube.com/playlist?list=PL_0VrY55uV19f5zh5ahk10GjlwTV8eEf0)找到检索市场演示日的录像，在2022年上半年每隔几周都会有新内容。

我们一直在希望有更多的团队参与，如果你有兴趣，请联系我们。

2022年下半年精彩可期！

区块链入门必备工具：