获取数据

hadoop的mapreduce中由TextInputFormat获取数据

storm中如何获取?
spout去获取数据

spout去哪里拿数据?
数据在数据库中,在文件中,在redis中,在任何存储数据的地方
假设存储文件中,1G,spout一行一行的读取文件中的数据,是在实时读取数据.
注意:只有数据实时产生,并实时获取才能让storm实时计算框架产生最大的效益

如何计算数据

hadoop的mapreduce中由map/reduce计算数据

storm中如何计算数据?
在Bolt中进行相关业务逻辑的计算

storm中如果有多个阶段的业务逻辑需要计算?
Bolt,可以多个
Bolt1(Map1)—->Bolt2(Reduce1)—->Bolt3(Map)—->Bolt4(Reduce)

spout(获取数据)—->Bolt1(计算)—->Bolt2(计算)—->Bolt3(计算)