Scapy:处理部分TLS段


问题内容

我正在尝试使用Scapy从pcap提取TLS元数据。我能够成功解析数据包和单个消息,例如client-hello,server-
hello等及其字段。我遇到的麻烦是TLS记录分布在多个TCP数据包/段中。对于大型TLS消息(例如应用程序数据)或服务器在一个TLS帧中发送多个TLS消息(服务器问候,证书等)时,通常会发生这种情况。scapy表示,在这种情况下,它具有TLS
/ SSLv2层,但我无法从此类帧中提取任何有意义的信息。当我在wireshark中查看相同的pcap时,wireshark显示

Reassembled TCP segments (T bytes): #X (x), #Y(y), #Z(z)

其中T是合计总数;X,Y,Z是帧ID,x,y,z是每个帧中占总T的字节数。Wireshark在解析TLS帧之前会重新组装整个TLS有效负载。

我的代码中有这样的内容:

if pkt.haslayer(TCP) and pkt.haslayer(TLS):
  parseTLS(pkt)
elif pkt.haslayer(TCP) and pkt.haslayer(SSLv2):
  parseSSLv2(pkt)

当它遇到部分TLS数据包时,该代码始终落入SSLv2。我是否有办法准确地将数据包标识为部分tls段并进行累积,然后像wireshark一样处理完整的TLS帧?如果是这样,我该怎么做。任何指针或帮助表示赞赏。谢谢。


问题答案:

不知道是否有更好的解决方案,但这是我为解决问题所做的工作。累积的帧大小似乎与Wireshark从多个数据包重组TLS帧时的行为一致。

注意
:此解决方案假定没有错误排序的数据包或重复。此外,此处显示的解决方案也不完整。以下代码仅显示当TLS帧跨越单个TCP流的多个IP数据包时如何累积TLS帧。请遵循Janus的建议(在下面的评论中提到),或提出自己的解决方案以累积不同的流。

def extractDataFromPcap(pcapfile):
  load_layer("tls")

  try:
    reader = PcapReader(pcapfile)

    # tls frame accumulation related variables.
    tls_accumulate = False
    tls_leftover_len = 0
    tls_blist = list()

    for pkt in reader:
      try:
        if tls_accumulate and pkt.haslayer(TCP):
          ip_tcp_hdr_overhead = ((pkt[IP].ihl*4) + (pkt[TCP].dataofs*4))
          pkt_payload_len = (pkt[IP].len - ip_tcp_hdr_overhead)
          tls_leftover_len = (tls_leftover_len - pkt_payload_len)
          tls_blist.append(raw(pkt[TCP].payload))

          if tls_leftover_len <= 0:
            # got complete TLS frame
            tls_raw_bytes = b''.join(tls_blist)

            # parse accumulated frame.
            tls = TLS(tls_raw_bytes)
            #... process tls object

            # reset accumlation variables.
            tls_accumulate = False
            tls_leftover_len = 0
            tls_blist = list()
          else:
            continue

        if pkt.haslayer(TCP) and pkt.haslayer(TLS):
          if not tls_accumulate:
            # Process new TLS frame.
            # Pkt over head: ip-hdr-len + tcp-hdr-len
            ip_tcp_hdr_overhead = ((pkt[IP].ihl*4) + (pkt[TCP].dataofs*4))
            pkt_payload_len = (pkt[IP].len - ip_tcp_hdr_overhead)
            if pkt[TLS].len > pkt_payload_len:
              # partial TLS frame. Start accumulating.
              tls_accumulate = True
              tls_leftover_len = (pkt[TLS].len - pkt_payload_len)
              tls_blist.append(raw(pkt[TCP].payload))
            else:
              # complete TLS frame
              # ... process complete TLS Frame 
      except Exception as error:
        pkt.show()
        print("tcp-processing error: %s", error)
        sys.exit(-1)

  except Exception as error:
    print("packet processing error: %s", error)
    sys.exit(-1)