Dubbo 泛化调用、阿里的好舒服的泛化调用都是类似的功能。最近给同事排查一个dubbo-admin 控制台调用报错的问题的小研究,为此还给社区提了一个issue,具体可以查看链接 ​​dubbo-admin 泛型参数测试 ClassNotFoundException​​​ 看了最新版本好像自动去掉了出现泛型<这样的信息通通干掉,不过没有发布release版本。 参考文档:​​使用泛化调用​



1、泛化调用

1.1 概念

泛化接口调用方式主要用于客户端没有 API 接口(泛化调用是指不需要依赖服务的二方包)及模型类元的情况,参数及返回值中的所有 POJO 均用 Map 表示,通常用于框架集成,API网关比如:实现一个通用的服务测试框架,可通过 GenericService 调用所有服务实现。泛化调用的方式可以有效减少平台型产品的二方包依赖,实现系统的轻量级运行。对于服务提供方新增的接口不需要修改二方包的版本,即可调用,不方便的就是对于数据入参、返回值由于没有二方包很难理解,全部都是org.apache.dubbo.common.utils.PojoUtils#generalize(java.lang.Object) 换为基本类型或者Map等等。

特点


  • 没有二方、三方的 接口的类信息、class 字节码
  • 直接通过基本的类型参数表示复杂的对象

1.2 PojoUtils 说明

PojoUtils. Travel object deeply, and convert complex type to simple type. (深度遍历对象,并将复杂类型换为简单类型),同时也提供了反向转换。

Simple type below will be remained:


  • Primitive Type, also include String, Number(Integer, Long), Date
  • Array of Primitive Type
  • Collection, eg: List, Map, Set etc.
  • Other type will be covert to a map which contains the attributes and value pair of object.

PojoUtils 提供了讲复杂对象换为简单的对象,通过简单对象转换为复杂对象。有点像序列化和反序列话,你要说它是不是,感觉也没错哈!​​官方的测试例子不错,可以去了解一下​

List<User> users = new ArrayList<>();
User user = new User();
user.setName("other");
user.setAge(31);
users.add(user);

Object generalize = PojoUtils.generalize(users);
System.out.println(generalize);

//[{name=other, class=org.apache.dubbo.samples.Dto.User, age=31}]

2、泛化例子

基于官方demo 中 dubbo-samples-zookeper,本地安装一个zk 即可启动

https://github.com/apache/dubbo-samples/tree/master/java/dubbo-samples-zookeeper">​​https://github.com/apache/dubbo-samples/tree/master/java/dubbo-samples-zookeeper​​​

2.1 实践指南

泛化调用最好的一个参考例子就是dubbo-admin 中 ,通过泛化进行控制台的调用实践,泛化没有二方包,服务提供方的方法参数类型无法直接使用强类型表示,传递的参数也无法直接使用强类型只能通过 参考 :PojoUtils 序列化 Object generalize = PojoUtils.generalize(data) 例子传递 Map、List 、Array 等基本类型的参数

eg List -> [{name=other, age=31, class=org.apache.dubbo.samples.Dto.User}] 就是List<HashMap<String,String> 这样的结构**,中增加 class 字段信息,反序列化时候使用表征对应的泛型的信息,或者类class的信息**。

泛化必须参数


  • 服务的名称、版本、分组 唯一限定符
  • 方法名称、方法泛型参数类型
  • 传递的 PojoUtils.generalize(data) 序列化后的基本参数

为啥需要这些,就是为了找到具体的接口的提供者、接口的具体的方法是哪个?调用传递的参数是啥,即可享受正常的调用逻辑。如下是dubbo-admin 控制台实践指南,Dubbo API 网关也是类似的概念哦!只要通过配置或者传递参数中有如下的概念即可搞定问题。



泛化泛化的结果:也是基本类型的数据,根据 PojoUtils.generalize(result) 根据result 进行Pojo作为泛化的结果。如下是 dubbo-admin 控制台测试的代码

https://github.com/apache/dubbo-admin/blob/develop/dubbo-admin-server/src/main/java/org/apache/dubbo/admin/service/impl/GenericServiceImpl.java">​​https://github.com/apache/dubbo-admin/blob/develop/dubbo-admin-server/src/main/java/org/apache/dubbo/admin/service/impl/GenericServiceImpl.java​​​

public Object invoke(String service, String method, String[] parameterTypes, Object[] params) {

ReferenceConfig<GenericService> reference = new ReferenceConfig<>();
String group = Tool.getGroup(service);
String version = Tool.getVersion(service);
String intf = Tool.getInterface(service);
reference.setGeneric(true);
reference.setApplication(applicationConfig);
reference.setInterface(intf);
reference.setVersion(version);
reference.setGroup(group);

try {
removeGenericSymbol(parameterTypes);
GenericService genericService = reference.get();
return genericService.$invoke(method, parameterTypes, params);
} finally {
reference.destroy();
}
}

/**
* remove generic from parameterTypes 排除掉泛型信息
*
* @param parameterTypes
*/
private void removeGenericSymbol(String[] parameterTypes){
for (int i = 0; i < parameterTypes.length; i++) {
int index = parameterTypes[i].indexOf("<");
if (index > -1) {
parameterTypes[i] = parameterTypes[i].substring(0, index);
}
}
}

2.2 简单的泛化调用

Provider 接口

针对官方的版本 添加了一个泛化的对象的接口

import java.util.List;

import org.apache.dubbo.config.annotation.Service;
import org.apache.dubbo.samples.Dto.User;
import org.apache.dubbo.samples.api.GreetingService;

@Service(version = "1.0.0.daily", group = "dubbo")
public class AnnotatedGreetingService implements GreetingService {

/**
* 简单测试
*
* @param name
* @return
*/
@Override
public String sayHello(String name) {
System.out.println("greeting service received: " + name);
return "hello, " + name;
}

/**
* 测试泛型接口
*
* @param users
* @return
*/
@Override
public List<User> getListUserIncludeMe(List<User> users) {
if (users == null) {
return null;
}
User user = new User();
user.setName("wangji");
user.setAge(28);
users.add(user);
return users;
}
}


/**
* @author wangji
* @date 2020/6/2 7:12 PM
*/
public class User {
private String name;

private Integer age;

public String getName() {
return name;
}

public void setName(String name) {
this.name = name;
}

public Integer getAge() {
return age;
}

public void setAge(Integer age) {
this.age = age;
}
}

泛化调用

最最关键的地方在于 genericService.$invoke,调用这个泛化接口的几个最主要的参数信息。最好自己动手实践一下子。

public static void main(String[] args) {

ApplicationConfig application = new ApplicationConfig();
application.setName("Test-" + UUID.randomUUID().toString());
RegistryConfig registryConfig = new RegistryConfig();
registryConfig.setAddress("zookeeper://127.0.0.1:2181");
application.setRegistry(registryConfig);
application.setQosEnable(false);

ReferenceConfig<GenericService> reference = new ReferenceConfig<>();
String group = "dubbo";
String version = "1.0.0.daily";
String interfaceName = "org.apache.dubbo.samples.api.GreetingService";
reference.setGeneric(true);
reference.setApplication(application);
reference.setInterface(interfaceName);
reference.setVersion(version);
reference.setGroup(group);
GenericService genericService = reference.get();

Object data = genericService.$invoke("sayHello", new String[] { "java.lang.String" },
new Object[] { "wangji" });

System.out.println("result:" + data);

}
// result:hello, wangji

2.3 含有泛型对象的泛化调用

如果你不知道怎么编写这个参数,可以 PojoUtils.generalize(data) 通过这个接口来生成对象,来看一下生成的数据的结构是咋样的。


注意泛型参数传递的参数类型不包含 java.util.List<org.apache.dubbo.samples.Dto.User> 后面的泛型的信息,只需要传递 java.util.List 即可。


public static void main(String[] args) {

ApplicationConfig application = new ApplicationConfig();
application.setName("Test-" + UUID.randomUUID().toString());
RegistryConfig registryConfig = new RegistryConfig();
registryConfig.setAddress("zookeeper://127.0.0.1:2181");
application.setRegistry(registryConfig);
application.setQosEnable(false);

ReferenceConfig<GenericService> reference = new ReferenceConfig<>();
String group = "dubbo";
String version = "1.0.0.daily";
String interfaceName = "org.apache.dubbo.samples.api.GreetingService";
reference.setGeneric(true);
reference.setApplication(application);
reference.setInterface(interfaceName);
reference.setVersion(version);
reference.setGroup(group);
GenericService genericService = reference.get();

List<User> users = new ArrayList<>();
User user = new User();
user.setName("other");
user.setAge(31);
users.add(user);

Object generalize = PojoUtils.generalize(users);
System.out.println(generalize);

Object getListUserIncludeMe = genericService.$invoke("getListUserIncludeMe", new String[] { "java.util.List" },
new Object[] { generalize });

System.out.println(getListUserIncludeMe);

}

// [{name=other, class=org.apache.dubbo.samples.Dto.User, age=31}]
// [{name=other, class=org.apache.dubbo.samples.Dto.User, age=31}, {name=wangji, class=org.apache.dubbo.samples.Dto.User, age=28}]

2.4 指定IP调用Provider

测试环境中相同的服务会存在多台,如果你想调用具体的某台机子咋办呢?指定具体的IP进行调用,没有看到官方的文档、问了一下小杰子的实践,参考试了一下泛化调用直接ip 也是ok的,只需要找到具体的服务提供者即可。

不过不同的版本好像不一样,没有仔细尝试



设置服务的url 即可满足,能够定位一个服务即可

dubbo 版本 2.7.2

reference.setUrl("dubbo://192.168.1.3:20880/org.apache.dubbo.samples.api.GreetingService");

dubbo 版本 2.7.0

需要添加分组的信息才行

reference.setUrl("dubbo://192.168.1.3:20880/分组/org.apache.dubbo.samples.api.GreetingService");

指定ip调用完整的例子

基于 2.7.2 版本

public static void main(String[] args) {
ApplicationConfig application = new ApplicationConfig();
application.setName("Test-" + UUID.randomUUID().toString());
RegistryConfig registryConfig = new RegistryConfig();
registryConfig.setAddress("zookeeper://127.0.0.1:2181");
application.setRegistry(registryConfig);
application.setQosEnable(false);

ReferenceConfig<GenericService> reference = new ReferenceConfig<>();
String group = "dubbo";
String version = "1.0.0.daily";
String interfaceName = "org.apache.dubbo.samples.api.GreetingService";
reference.setGeneric(true);
reference.setApplication(application);
reference.setInterface(interfaceName);
reference.setVersion(version);
reference.setGroup(group);

reference.setUrl("dubbo://192.168.1.3:20880/org.apache.dubbo.samples.api.GreetingService");
GenericService genericService = reference.get();

Object data = genericService.$invoke("sayHello", new String[] { "java.lang.String" },
new Object[] { "wangji" });

System.out.println("result:" + data);

}

issue 中错误的调用

java.util.List<org.apache.dubbo.samples.Dto.User> 这个是由于PojoUtils的实现问题,导致这样的写法是有问题的。

Object getListUserIncludeMe = genericService.$invoke("getListUserIncludeMe", new String[] { "java.util.List<org.apache.dubbo.samples.Dto.User>" },
new Object[] { generalize });

// at org.apache.dubbo.rpc.protocol.ProtocolFilterWrapper$1.invoke(ProtocolFilterWrapper.java:82)
// at org.apache.dubbo.rpc.filter.EchoFilter.invoke(EchoFilter.java:41)
// at org.apache.dubbo.rpc.protocol.ProtocolFilterWrapper$1.invoke(ProtocolFilterWrapper.java:82)
// at org.apache.dubbo.rpc.protocol.ProtocolFilterWrapper$CallbackRegistrationInvoker.invoke(ProtocolFilterWrapper.java:150)
// at org.apache.dubbo.rpc.protocol.dubbo.DubboProtocol$1.reply(DubboProtocol.java:152)
// at org.apache.dubbo.remoting.exchange.support.header.HeaderExchangeHandler.handleRequest(HeaderExchangeHandler.java:102)
// at org.apache.dubbo.remoting.exchange.support.header.HeaderExchangeHandler.received(HeaderExchangeHandler.java:193)
// at org.apache.dubbo.remoting.transport.DecodeHandler.received(DecodeHandler.java:51)
// at org.apache.dubbo.remoting.transport.dispatcher.ChannelEventRunnable.run(ChannelEventRunnable.java:57)
// at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
// at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
// at java.lang.Thread.run(Thread.java:748)
// Caused by: java.lang.ClassNotFoundException: java.util.List<org.apache.dubbo.samples.Dto.User>
// at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
// at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
// at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:349)
// at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
// at java.lang.Class.forName0(Native Method)
// at java.lang.Class.forName(Class.java:348)
// at org.apache.dubbo.common.utils.ReflectUtils.name2class(ReflectUtils.java:743)
// at org.apache.dubbo.common.utils.ReflectUtils.name2class(ReflectUtils.java:670)
// at org.apache.dubbo.common.utils.ReflectUtils.findMethodByMethodSignature(ReflectUtils.java:885)

3、实现原理

​dubbo泛化调用原理​​ 画的这个图不错十分的形象生动,可以总结一下 泛化的原理

原理简介

+-------------------------------------------+               +-------------------------------------------+
| consumer 端 | | provider 端 |
| | | |
| | | |
| | | |
| | | |
| +------------------+ | | +--------------+ |
| |GenericImplFilter | | Invocation | |GenericFilter | |
| +----> | +-------------------------> | | |
| | +------------------+ | | +--------------+ |
| +-----------+ | | | +-----------+ |
| | | | | | | | |
| |Client | | | +--> | Service | |
| | | | | | | |
| +-----------+ | | +-------+---+ |
| | | | |
| ^ +------------------+ | | +--------------+ | |
| | |GenericImplFilter | | | |GenericFilter | <----------+ |
| +-------------+ | <-------------------------+ | |
| +------------------+ | | +--------------+ |
| | | |
| | | |
| | | |
| | | |
+-------------------------------------------+ +-------------------------------------------+

  • 基于PojoUtils 简化复杂对象,不用引入二方包。
  • 针对 com.alibaba.dubbo.rpc.service.GenericService.$invoke(String method, String[] parameterTypes, Object[] args) 这个接口进行特殊判断,基于拦截器处理特殊拦截。
  • 基于拦截器,消费者端 GenericImplFilter 处理(不考虑dubbo 其他的复杂序列化的需求很简单,基本上啥都不做)
  • 基于拦截器,服务提供者端 GenericFilter处理,>1 基于接口、方法名称、方法参数类型查询具体的服务、服务的方法名称; 2> 基于PojoUtils 、方法参数类型、方法参数 反序列化为复杂的参数对象PojoUtils.realize(args, params, method.getGenericParameterTypes()) ;3、基于PojoUtils.generalize(appResponse.getValue()) 序列化返回值。

简单实现泛化的过滤器

消费者端

/**
* GenericImplInvokerFilter 基于官方的class 2.7.2 删掉不要的东西,简化理解
*/
@Activate(group = CommonConstants.CONSUMER, value = GENERIC_KEY, order = 20000)
public class GenericImplFilter extends ListenableFilter {

private static final Logger logger = LoggerFactory.getLogger(GenericImplFilter.class);

private static final Class<?>[] GENERIC_PARAMETER_TYPES = new Class<?>[]{String.class, String[].class, Object[].class};

public GenericImplFilter() {
super.listener = new GenericImplListener();
}

@Override
public Result invoke(Invoker<?> invoker, Invocation invocation) throws RpcException {
String generic = invoker.getUrl().getParameter(GENERIC_KEY);
if ((invocation.getMethodName().equals($INVOKE) || invocation.getMethodName().equals($INVOKE_ASYNC))
&& invocation.getArguments() != null
&& invocation.getArguments().length == 3
&& ProtocolUtils.isGeneric(generic)) {

invocation.setAttachment(
GENERIC_KEY, invoker.getUrl().getParameter(GENERIC_KEY));
}
return invoker.invoke(invocation);
}

static class GenericImplListener implements Listener {
@Override
public void onResponse(Result appResponse, Invoker<?> invoker, Invocation invocation) {

}

@Override
public void onError(Throwable t, Invoker<?> invoker, Invocation invocation) {

}
}

}

生产者端

/**
* GenericInvokerFilter. 基于官方的class 2.7.2 删掉不要的东西,简化理解
*/
@Activate(group = CommonConstants.PROVIDER, order = -20000)
public class GenericFilter extends ListenableFilter {

public GenericFilter() {
super.listener = new GenericListener();
}

@Override
public Result invoke(Invoker<?> invoker, Invocation inv) throws RpcException {
if ((inv.getMethodName().equals($INVOKE) || inv.getMethodName().equals($INVOKE_ASYNC))
&& inv.getArguments() != null
&& inv.getArguments().length == 3
&& !GenericService.class.isAssignableFrom(invoker.getInterface())) {
String name = ((String) inv.getArguments()[0]).trim();
String[] types = (String[]) inv.getArguments()[1];
Object[] args = (Object[]) inv.getArguments()[2];
try {
// 找到调用的接口
Method method = ReflectUtils.findMethodByMethodSignature(invoker.getInterface(), name, types);
Class<?>[] params = method.getParameterTypes();
if (args == null) {
args = new Object[params.length];
}
String generic = inv.getAttachment(GENERIC_KEY);

if (StringUtils.isBlank(generic)) {
generic = RpcContext.getContext().getAttachment(GENERIC_KEY);
}

if (StringUtils.isEmpty(generic)
|| ProtocolUtils.isDefaultGenericSerialization(generic)) {
// 将PojoUtils 转换的简单对象 转换为复杂的对象
args = PojoUtils.realize(args, params, method.getGenericParameterTypes());
}
return invoker.invoke(new RpcInvocation(method, args, inv.getAttachments()));
} catch (NoSuchMethodException e) {
throw new RpcException(e.getMessage(), e);
} catch (ClassNotFoundException e) {
throw new RpcException(e.getMessage(), e);
}
}
return invoker.invoke(inv);
}

static class GenericListener implements Listener {

@Override
public void onResponse(Result appResponse, Invoker<?> invoker, Invocation inv) {
if ((inv.getMethodName().equals($INVOKE) || inv.getMethodName().equals($INVOKE_ASYNC))
&& inv.getArguments() != null
&& inv.getArguments().length == 3
&& !GenericService.class.isAssignableFrom(invoker.getInterface())) {

String generic = inv.getAttachment(GENERIC_KEY);
if (StringUtils.isBlank(generic)) {
generic = RpcContext.getContext().getAttachment(GENERIC_KEY);
}

if (appResponse.hasException() && !(appResponse.getException() instanceof GenericException)) {
appResponse.setException(new GenericException(appResponse.getException()));
}
// 设置反序列化 讲复杂对象转换为简单的基础对象
appResponse.setValue(PojoUtils.generalize(appResponse.getValue()));

}
}

@Override
public void onError(Throwable t, Invoker<?> invoker, Invocation invocation) {

}
}
}

基于真实数据观察 过滤器的值的传递

org.apache.dubbo.rpc.RpcInvocation 打印的效果,方便理解。

public String toString() {
return "RpcInvocation [methodName=" + methodName + ", parameterTypes="
+ Arrays.toString(parameterTypes) + ", arguments=" + Arrays.toString(arguments)
+ ", attachments=" + attachments + "]";
}

消费者端GenericImplFilter观察

org.apache.dubbo.rpc.filter.GenericImplFilter

GenericImplFilter 消费者 invoker.getUrl()的值
dubbo://192.168.1.3:20880/org.apache.dubbo.samples.api.GreetingService?application=Test-0519fed7-71d4-494b-b225-15f153bb79db&dubbo=2.0.2&generic=true&group=dubbo&interface=org.apache.dubbo.samples.api.GreetingService&lazy=false&pid=12632&qos-enable=false&register.ip=192.168.1.3&side=consumer&sticky=false&timestamp=1591110891800&version=1.0.0.daily
GenericImplFilter 消费者 invocation.toString()的值
RpcInvocation 
[methodName=$invoke,//调用的方法
parameterTypes=[class java.lang.String, class [Ljava.lang.String;,
class [Ljava.lang.Object;],//通用泛型的参数类型
arguments=[sayHello, [Ljava.lang.String;@68b32e3e, [Ljava.lang.Object;@bcef303],
attachments={}
]

生产者端GenericFilter 观察

org.apache.dubbo.rpc.filter.GenericFilter

GenericFilter RpcInvocation的toString的值
RpcInvocation 
[methodName=$invoke,
parameterTypes=[class java.lang.String, class [Ljava.lang.String;, class [Ljava.lang.Object;],
arguments=[sayHello, [Ljava.lang.String;@4174acb6, [Ljava.lang.Object;@5486085f],
attachments={path=org.apache.dubbo.samples.api.GreetingService,
input=351, dubbo=2.0.2,
interface=org.apache.dubbo.samples.api.GreetingService,
version=1.0.0.daily, generic=true,
group=dubbo}]
GenericFilter invoker.getUrl()
dubbo://192.168.1.3:20880/org.apache.dubbo.samples.api.GreetingService?anyhost=true&application=zookeeper-demo-provider&bean.name=ServiceBean:org.apache.dubbo.samples.api.GreetingService:1.0.0.daily:dubbo&bind.ip=192.168.1.3&bind.port=20880&deprecated=false&dubbo=2.0.2&dynamic=true&generic=false&group=dubbo&interface=org.apache.dubbo.samples.api.GreetingService&methods=sayHello,getListUserIncludeMe&pid=12595&qos-accept-foreign-ip=false&register=true&release=2.7.2&revision=1.0.0.daily&side=provider&timestamp=1591110149299&version=1.0.0.daily

4、总结

对于dubbo的泛化调用的文章一直想记录一篇,一直苦于没有思路,不知道怎么找到合适的切入角来描述这个问题,正好最近协助同事排查问题,正好有所收获,因此记录一篇博客,在了解过程中不断的进化,加深了对于dubbo的认知。6-2 号,特殊的日子,好像是我阳历的生日 happy ~~