You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-08-26 - 16:26

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #8, slot #6

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the 792 highest latencies:
System rack8slot6s.osadl.org (updated Tue Aug 26, 2025 12:43:43)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
23756991918,1cyclictest66850irq/125-lan10:15:200
23756991918,1cyclictest66850irq/125-lan10:05:140
23756991918,1cyclictest66850irq/125-lan09:55:430
23756991918,1cyclictest66850irq/125-lan09:45:130
23756991918,1cyclictest66850irq/125-lan09:13:450
23756991818,0cyclictest66850irq/125-lan12:35:210
23756991818,0cyclictest66850irq/125-lan12:33:170
23756991818,0cyclictest66850irq/125-lan12:14:250
23756991818,0cyclictest66850irq/125-lan11:59:270
23756991818,0cyclictest66850irq/125-lan11:40:250
23756991818,0cyclictest66850irq/125-lan11:14:480
23756991818,0cyclictest66850irq/125-lan11:03:580
23756991818,0cyclictest66850irq/125-lan10:25:210
23756991818,0cyclictest66850irq/125-lan09:50:120
23756991818,0cyclictest66850irq/125-lan09:24:360
23756991818,0cyclictest66850irq/125-lan08:50:280
23756991817,1cyclictest66850irq/125-lan11:29:110
23756991817,1cyclictest66850irq/125-lan11:24:490
23756991817,1cyclictest66850irq/125-lan11:17:540
23756991817,1cyclictest66850irq/125-lan11:06:150
23756991817,1cyclictest66850irq/125-lan10:10:170
23756991817,1cyclictest66850irq/125-lan10:10:160
23756991717,0cyclictest66850irq/125-lan12:25:530
23756991717,0cyclictest66850irq/125-lan10:01:550
23756991717,0cyclictest66850irq/125-lan09:40:060
23756991717,0cyclictest66850irq/125-lan09:18:110
23756991717,0cyclictest66850irq/125-lan08:15:160
23756991717,0cyclictest66850irq/125-lan07:20:020
23756991716,1cyclictest66850irq/125-lan12:20:420
23756991716,1cyclictest66850irq/125-lan12:03:160
23756991716,1cyclictest66850irq/125-lan11:50:010
23756991716,1cyclictest66850irq/125-lan11:45:180
23756991716,1cyclictest66850irq/125-lan11:35:470
23756991716,1cyclictest66850irq/125-lan10:58:220
23756991716,1cyclictest66850irq/125-lan10:50:100
23756991716,1cyclictest66850irq/125-lan10:35:140
23756991716,1cyclictest66850irq/125-lan10:32:540
23756991716,1cyclictest66850irq/125-lan09:31:090
23756991716,1cyclictest66850irq/125-lan08:10:180
23756991716,1cyclictest66850irq/125-lan07:15:200
23756991616,0cyclictest66850irq/125-lan12:16:190
23756991616,0cyclictest66850irq/125-lan12:06:020
23756991616,0cyclictest66850irq/125-lan10:20:060
23756991615,1cyclictest66850irq/125-lan11:31:180
23756991615,1cyclictest66850irq/125-lan10:45:190
23756991615,1cyclictest66850irq/125-lan09:27:000
23756991615,1cyclictest66850irq/125-lan08:30:130
23756991615,1cyclictest66850irq/125-lan08:20:210
23756991615,1cyclictest66850irq/125-lan07:25:150
23756991515,0cyclictest66850irq/125-lan10:40:220
23756991515,0cyclictest66850irq/125-lan09:35:070
23756991515,0cyclictest66850irq/125-lan07:56:280
23756991515,0cyclictest66850irq/125-lan07:30:130
23756991414,0cyclictest66850irq/125-lan08:55:140
23756991414,0cyclictest66850irq/125-lan08:05:190
23756991414,0cyclictest66850irq/125-lan08:00:200
23756991414,0cyclictest66850irq/125-lan07:10:200
23756991413,1cyclictest66850irq/125-lan07:40:210
23756991413,1cyclictest66850irq/125-lan07:35:150
23756991313,0cyclictest66850irq/125-lan08:35:190
23756991312,1cyclictest66850irq/125-lan09:00:210
23756991211,1cyclictest66850irq/125-lan08:25:140
2377299109,1cyclictest517-21systemd-resolve09:46:303
2375699109,1cyclictest66850irq/125-lan09:05:200
2375699109,1cyclictest66850irq/125-lan07:50:120
23756991010,0cyclictest66850irq/125-lan08:45:120
23756991010,0cyclictest66850irq/125-lan07:45:210
237729998,1cyclictest771-21snmpd10:34:563
237729998,1cyclictest771-21snmpd08:43:323
237679998,1cyclictest771-21snmpd09:40:392
237629998,1cyclictest771-21snmpd11:33:491
237629998,1cyclictest771-21snmpd08:48:371
237629998,1cyclictest771-21snmpd08:36:311
237729988,0cyclictest771-21snmpd12:23:213
237729988,0cyclictest771-21snmpd11:36:503
237729988,0cyclictest771-21snmpd11:22:233
237729988,0cyclictest771-21snmpd10:03:313
237729988,0cyclictest769-21lldpd12:02:033
237729988,0cyclictest769-21lldpd09:34:173
237729988,0cyclictest769-21lldpd08:24:323
237729988,0cyclictest769-21lldpd08:17:403
237729988,0cyclictest769-21lldpd07:48:413
237729987,1cyclictest771-21snmpd09:39:093
237729986,2cyclictest771-21snmpd11:48:503
237729986,2cyclictest771-21snmpd11:15:003
237729986,2cyclictest771-21snmpd08:58:273
237729986,2cyclictest771-21snmpd07:36:353
237729986,2cyclictest12237-21cat08:00:153
237679988,0cyclictest771-21snmpd12:30:032
237679988,0cyclictest771-21snmpd11:04:122
237679988,0cyclictest769-21lldpd11:07:002
237679988,0cyclictest769-21lldpd09:32:032
237679988,0cyclictest769-21lldpd08:22:102
237679987,1cyclictest771-21snmpd12:39:332
237679987,1cyclictest771-21snmpd09:36:152
237679987,1cyclictest524-21avahi-daemon09:57:182
237679987,1cyclictest517-21systemd-resolve11:46:382
237679987,1cyclictest255-20systemd-journal10:57:112
237679986,2cyclictest771-21snmpd10:14:402
237679986,2cyclictest771-21snmpd10:14:402
237679986,2cyclictest771-21snmpd08:34:582
237679986,2cyclictest771-21snmpd07:24:232
237629988,0cyclictest771-21snmpd12:27:461
237629988,0cyclictest771-21snmpd12:04:441
237629988,0cyclictest771-21snmpd11:41:291
237629988,0cyclictest771-21snmpd10:41:511
237629988,0cyclictest771-21snmpd09:36:451
237629988,0cyclictest771-21snmpd08:40:161
237629988,0cyclictest771-21snmpd08:32:491
237629988,0cyclictest769-21lldpd12:10:521
237629988,0cyclictest769-21lldpd10:36:381
237629988,0cyclictest769-21lldpd09:15:191
237629987,1cyclictest771-21snmpd12:05:591
237629987,1cyclictest771-21snmpd11:39:371
237629987,1cyclictest771-21snmpd07:12:581
237629987,1cyclictest769-21lldpd07:40:551
237629987,1cyclictest524-21avahi-daemon09:12:141
237629986,2cyclictest771-21snmpd12:31:271
237629986,2cyclictest771-21snmpd11:25:411
237629986,2cyclictest771-21snmpd11:24:341
237629986,2cyclictest771-21snmpd09:32:391
237629986,2cyclictest771-21snmpd07:34:351
237569987,1cyclictest66850irq/125-lan08:40:080
237729977,0cyclictest771-21snmpd10:18:343
237729977,0cyclictest771-21snmpd09:43:213
237729977,0cyclictest769-21lldpd12:28:383
237729977,0cyclictest769-21lldpd09:54:233
237729977,0cyclictest769-21lldpd07:32:493
237729977,0cyclictest769-21lldpd07:21:593
237729976,1cyclictest771-21snmpd11:53:353
237729976,1cyclictest771-21snmpd11:06:223
237729976,1cyclictest524-21avahi-daemon08:50:393
237729976,1cyclictest18474-21sh11:40:523
237729975,2cyclictest771-21snmpd12:33:093
237729975,2cyclictest771-21snmpd10:42:353
237729975,2cyclictest771-21snmpd10:14:283
237729975,2cyclictest771-21snmpd10:14:283
237729975,2cyclictest771-21snmpd09:56:073
237729975,2cyclictest771-21snmpd07:17:403
237729975,2cyclictest6328-21cat12:35:153
237729973,3cyclictest9437-21ssh10:57:123
237729973,3cyclictest4578-21ntp_states07:40:173
237729973,3cyclictest12719-21ntp_states10:25:173
237729972,3cyclictest9528-21cat07:55:003
237679977,0cyclictest769-21lldpd11:40:132
237679977,0cyclictest769-21lldpd10:21:002
237679977,0cyclictest769-21lldpd09:22:172
237679977,0cyclictest769-21lldpd09:15:592
237679977,0cyclictest769-21lldpd08:58:382
237679977,0cyclictest769-21lldpd08:44:042
237679976,1cyclictest524-21avahi-daemon10:51:432
237679975,2cyclictest771-21snmpd10:00:072
237679975,2cyclictest7332-21cat11:30:152
237679974,3cyclictest771-21snmpd07:19:552
237679973,3cyclictest4106-21head07:40:142
237679972,4cyclictest28173-21cat08:40:002
237629977,0cyclictest771-21snmpd08:10:091
237629977,0cyclictest769-21lldpd10:32:161
237629977,0cyclictest769-21lldpd10:09:151
237629977,0cyclictest769-21lldpd09:57:091
237629977,0cyclictest769-21lldpd09:51:271
237629977,0cyclictest769-21lldpd09:43:131
237629977,0cyclictest769-21lldpd08:24:421
237629977,0cyclictest769-21lldpd08:02:531
237629976,1cyclictest771-21snmpd12:39:421
237629976,1cyclictest771-21snmpd12:17:331
237629976,1cyclictest524-21avahi-daemon10:25:381
237629976,1cyclictest524-21avahi-daemon08:29:051
237629976,1cyclictest28444-21cat07:20:171
237629976,1cyclictest23590-21fschecks_time12:20:141
237629975,2cyclictest771-21snmpd08:09:571
237629975,2cyclictest771-21snmpd07:53:271
237629975,2cyclictest771-21snmpd07:39:141
237629975,2cyclictest771-21snmpd07:28:201
237729966,0cyclictest771-21snmpd10:35:503
237729966,0cyclictest771-21snmpd08:45:073
237729966,0cyclictest771-21snmpd08:37:553
237729966,0cyclictest771-21snmpd07:59:543
237729966,0cyclictest769-21lldpd12:06:253
237729966,0cyclictest769-21lldpd07:13:573
237729965,1cyclictest771-21snmpd10:21:523
237729965,1cyclictest771-21snmpd08:10:003
237729965,1cyclictest14303-21needreboot12:10:203
237729964,2cyclictest771-21snmpd12:17:093
237729963,3cyclictest550-21NetworkManager11:25:523
237729963,3cyclictest550-21NetworkManager09:26:093
237729963,3cyclictest13169-21apt-get09:15:123
237729963,2cyclictest586-21rs:main3
237729963,2cyclictest586-21rs:main3
237729962,3cyclictest9381-21ntp_192.168.11409:10:203
237729962,3cyclictest5751-21grep09:00:223
237729962,3cyclictest4181-21ssh10:51:043
237729962,3cyclictest30819-21ntpq07:25:173
237679966,0cyclictest771-21snmpd12:28:432
237679966,0cyclictest771-21snmpd12:11:392
237679966,0cyclictest771-21snmpd07:12:312
237679966,0cyclictest769-21lldpd12:22:132
237679966,0cyclictest769-21lldpd11:38:412
237679966,0cyclictest30025-21grep11:20:122
237679965,1cyclictest771-21snmpd12:05:082
237679965,1cyclictest771-21snmpd09:10:052
237679965,1cyclictest524-21avahi-daemon11:55:312
237679965,1cyclictest524-21avahi-daemon10:43:112
237679965,1cyclictest524-21avahi-daemon08:14:462
237679965,1cyclictest524-21avahi-daemon07:58:562
237679964,2cyclictest771-21snmpd11:16:302
237679964,2cyclictest255-20systemd-journal11:28:212
237679963,3cyclictest550-21NetworkManager09:27:362
237679963,2cyclictest29683-21ssh11:53:002
237679962,4cyclictest550-21NetworkManager08:15:252
237679962,3cyclictest19329-21ntpq12:15:172
237629965,1cyclictest771-21snmpd11:56:421
237629965,1cyclictest771-21snmpd10:56:341
237629965,1cyclictest771-21snmpd10:21:101
237629965,1cyclictest771-21snmpd08:18:181
237629965,1cyclictest524-21avahi-daemon09:25:261
237629963,3cyclictest771-21snmpd11:50:111
237629963,2cyclictest255-20systemd-journal11:45:541
237629962,3cyclictest11869-21ssh09:49:091
237729955,0cyclictest771-21snmpd09:23:363
237729955,0cyclictest771-21snmpd08:30:403
237729954,1cyclictest771-21snmpd08:26:013
237729954,1cyclictest31736-21fw_conntrack11:55:143
237729954,1cyclictest27271-21ntpq10:05:183
237729952,2cyclictest22008-21sensors_temp11:10:223
237729952,2cyclictest12500-21smartctl11:00:213
237729951,4cyclictest550-21NetworkManager08:13:093
237679955,0cyclictest771-21snmpd08:05:542
237679955,0cyclictest524-21avahi-daemon08:01:322
237679954,1cyclictest771-21snmpd12:00:412
237679954,1cyclictest4555-21cpuspeed_turbos09:00:132
237679954,1cyclictest1633-21/usr/sbin/munin07:35:172
237679954,1cyclictest0-21swapper/210:15:152
237679953,2cyclictest9690-21sshd09:45:272
237679953,2cyclictest771-21snmpd11:10:062
237679953,2cyclictest749-21ntpd09:53:272
237679952,3cyclictest12875-21wc10:25:192
237679952,2cyclictest24718-21sh10:39:232
237679952,2cyclictest20310-21ssh10:34:472
237679951,3cyclictest27229-21sed10:05:182
237679950,4cyclictest30938-21ntpq10:45:182
237629954,1cyclictest517-21systemd-resolve10:47:131
237629953,2cyclictest771-21snmpd08:59:561
237629952,3cyclictest1766-21sed08:50:241
237629952,2cyclictest6665-21ssh10:19:271
237629952,2cyclictest586-21rs:main1
237629952,2cyclictest5032-21load09:00:161
237629952,2cyclictest32505-21ssh10:10:241
237629952,2cyclictest32505-21ssh10:10:231
237629952,2cyclictest28246-21ssh11:17:431
237629952,2cyclictest26320-21cut07:15:161
237629952,2cyclictest25920-21ssh10:04:451
237629952,2cyclictest255-20systemd-journal11:00:071
237629952,2cyclictest255-20systemd-journal07:55:341
237629952,2cyclictest2192-21ssh10:50:071
237629952,2cyclictest17995-21ssh11:05:451
237729941,2cyclictest7575-21cat09:05:253
237679943,1cyclictest749-21ntpd08:45:142
237679942,2cyclictest958-21wc08:50:162
237679941,2cyclictest6709-21grep09:05:182
237679941,2cyclictest32429-21ls07:30:132
237679941,2cyclictest30985-21cut07:25:202
237679940,4cyclictest8555-21ntpq07:50:162
237679940,3cyclictest5924-21diskstats07:45:132
237679940,3cyclictest22289-21/usr/sbin/munin08:25:192
237629942,2cyclictest771-21snmpd09:09:081
237629941,2cyclictest20791-21ssh11:10:081
237629932,1cyclictest5831-21cpuspeed_turbos07:45:121
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional