You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-07-26 - 12:34

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #2, slot #7

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the 376 highest latencies:
System rack2slot7s.osadl.org (updated Sun Jul 26, 2026 00:43:11)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
1148761995042,5cyclictest1192095-21ssh21:20:520
1148762994842,2cyclictest0-21swapper/120:20:001
1148762994740,4cyclictest0-21swapper/120:45:461
1148763994638,5cyclictest1172770-21systemd-run20:30:012
1148762994636,6cyclictest3613316-21cups-browsed22:40:541
1148761994638,5cyclictest3613316-21cups-browsed20:50:020
1148763994536,6cyclictest1-21systemd00:30:012
1148763994536,5cyclictest1266365-21munin-plugin-st23:25:012
1148763994435,5cyclictest1200059-21latency_hist21:35:012
1148763994434,6cyclictest420-21avahi-daemon21:26:032
1148763994434,6cyclictest420-21avahi-daemon21:26:032
1148762994435,5cyclictest1254398-21cron23:05:011
1148762994434,6cyclictest420-21avahi-daemon21:15:341
1148763994333,5cyclictest0-21swapper/221:50:472
1148762994335,5cyclictest428-21mta-sts-daemon00:00:021
1148762994335,5cyclictest1306230-21kernelversion00:30:441
1148762994335,5cyclictest1266418-21latency_hist23:25:021
1148762994332,8cyclictest1267750-21mailstats23:25:581
1148761994335,5cyclictest1172764-21systemd-run20:30:010
1148761994333,7cyclictest1237780-21mailstats22:35:570
114876199433,30cyclictest1246668-21ssh22:50:540
1148762994234,5cyclictest1276587-21ssh23:40:521
1148762994234,5cyclictest1193926-21munin-plugin-st21:25:011
1148762994232,6cyclictest567-21gdbus23:20:011
1148761994236,4cyclictest1287416-21ssh00:00:020
1148761994231,8cyclictest1267307-21missed_timers23:25:450
1148763994128,9cyclictest1300416-21needreboot00:20:452
1148761994134,4cyclictest1197813-21kernelversion21:30:420
1148763994030,6cyclictest265-21systemd-journal20:15:002
1148763994030,6cyclictest265-21systemd-journal20:15:002
1148762994030,7cyclictest420-21avahi-daemon22:17:361
1148761994033,3cyclictest0-21swapper/023:40:010
1148761994031,4cyclictest151ktimers/020:20:510
1148761994024,12cyclictest151ktimers/020:50:510
1148761994020,15cyclictest151ktimers/000:25:480
1148763993933,3cyclictest0-21swapper/221:20:012
1148763993930,6cyclictest1261064-21fschecks_count23:15:412
114876299396,7cyclictest171rcu_preempt00:05:511
1148762993931,5cyclictest1203226-21latency_hist21:40:021
1148763993830,5cyclictest1238136-21unixbench_singl22:36:022
1148763993828,7cyclictest694-21cron21:25:012
1148762993830,5cyclictest1206206-21latency_hist21:45:021
1148762993810,22cyclictest1210353-21ssh21:50:511
1148761993833,3cyclictest0-21swapper/000:15:530
1148761993828,4cyclictest1210849-21grep21:51:000
1148763993730,3cyclictest0-21swapper/222:05:492
1148763993729,5cyclictest1224412-21latency_hist22:15:022
1148763993727,7cyclictest1270770-21switchtime23:30:592
1148763993725,8cyclictest1267323-21missed_timers23:25:452
1148763993724,9cyclictest1226052-21unixbench_singl22:16:052
114876399372,29cyclictest1249517-21ssh22:55:502
1148762993728,7cyclictest1296402-21sh00:15:011
1148762993726,7cyclictest1246143-21tr22:50:411
1148761993725,10cyclictest0-21swapper/021:10:580
1148761993711,22cyclictest12650irq/32-eth022:00:470
1148763993629,4cyclictest474572-21kworker/u8:9-events_unbound20:30:472
1148763993628,5cyclictest421-21dbus-daemon21:40:012
1148762993629,4cyclictest0-21swapper/122:00:011
1148762993627,6cyclictest1159277-21systemd-run19:45:011
1148762993627,5cyclictest0-21swapper/119:25:001
1148762993613,11cyclictest1297170-21/usr/sbin/munin00:15:431
114876299361,29cyclictest1288623-21ssh00:00:541
1148761993624,10cyclictest439-21systemd-logind22:15:010
1148761993622,12cyclictest1174163-21unixbench_singl20:31:000
1148761993620,13cyclictest1263915-21tail23:20:370
1148763993526,5cyclictest1251818-21basename23:00:362
114876299353,27cyclictest1173706-21sshd20:30:521
1148762993527,5cyclictest1218239-21cron22:05:011
1148762993526,6cyclictest421-21dbus-daemon23:55:011
1148762993526,5cyclictest1239436-21ssh22:40:011
1148762993526,5cyclictest1198646-21tail21:30:591
1148762993526,5cyclictest1157741-21munin-run19:40:011
1148762993526,5cyclictest0-21swapper/123:05:501
1148762993526,5cyclictest0-21swapper/123:05:501
1148761993528,5cyclictest1234599-21sshd22:30:520
114876399346,21cyclictest1297610-21ssh00:15:532
1148763993427,3cyclictest0-21swapper/220:50:522
1148763993426,5cyclictest1151750-21sendmail19:20:002
1148763993426,5cyclictest1151750-21sendmail19:20:002
114876399341,27cyclictest1207231-21ssh21:45:472
1148762993426,4cyclictest0-21swapper/122:20:521
1148762993426,3cyclictest0-21swapper/122:30:521
1148762993425,4cyclictest0-21swapper/121:11:431
1148762993424,7cyclictest1309842-21switchtime00:36:001
1148762993421,8cyclictest0-21swapper/122:05:471
1148762993411,14cyclictest3613316-21cups-browsed23:30:511
1148761993428,4cyclictest694-21cron23:55:010
1148761993428,4cyclictest1293579-21latency_hist00:10:020
1148761993426,5cyclictest1225750-21switchtime22:16:030
1148761993426,5cyclictest1200425-21/usr/sbin/munin21:35:460
1148761993425,4cyclictest0-21swapper/022:41:060
1148761993421,10cyclictest0-21swapper/020:20:010
1148763993326,4cyclictest1286051-21unixbench_singl23:56:002
1148763993325,5cyclictest265-21systemd-journal21:00:012
114876399332,25cyclictest1243525-21ssh22:45:502
114876299333,22cyclictest1273487-21ssh23:35:491
1148762993326,3cyclictest0-21swapper/122:55:571
1148762993325,4cyclictest0-21swapper/122:30:021
1148761993329,2cyclictest0-21swapper/019:20:010
1148761993329,2cyclictest0-21swapper/019:20:010
1148761993327,4cyclictest1263368-21sendmail23:20:010
1148761993323,7cyclictest1254403-21latency_hist23:05:020
114876399323,21cyclictest1185821-21ssh21:10:452
1148763993227,2cyclictest0-21swapper/219:40:012
1148763993225,4cyclictest1002-21mta-sts-daemon19:55:522
1148763993224,5cyclictest1218256-21munin-plugin-st22:05:012
1148763993223,7cyclictest1291426-21needreboot00:05:472
1148763993222,5cyclictest1248391-21latency_hist22:55:022
1148763993220,8cyclictest421-21dbus-daemon23:38:452
114876299324,17cyclictest3613316-21cups-browsed19:25:471
114876299323,21cyclictest1258421-21ssh23:10:461
114876299323,21cyclictest1258421-21ssh23:10:461
1148762993227,2cyclictest0-21swapper/122:45:461
1148762993225,4cyclictest1001-21mta-sts-daemon21:28:521
1148762993225,4cyclictest1001-21mta-sts-daemon21:28:521
1148762993225,4cyclictest1001-21mta-sts-daemon00:21:081
1148762993224,5cyclictest1150268-21systemd-run19:15:011
1148762993224,5cyclictest1150268-21systemd-run19:15:011
1148762993224,3cyclictest0-21swapper/123:45:531
1148762993223,5cyclictest1180306-21latency_hist20:55:021
1148762993222,5cyclictest1163723-21cron20:00:011
114876199323,24cyclictest1279576-21ssh23:45:530
1148761993225,5cyclictest1287407-21cups-browsed00:00:420
1148761993225,3cyclictest1260347-21munin-plugin-st23:15:000
1148761993225,3cyclictest1260347-21munin-plugin-st23:15:000
1148761993224,5cyclictest420-21avahi-daemon21:27:420
1148761993224,5cyclictest420-21avahi-daemon21:27:420
114876199322,23cyclictest1255567-21ntpq23:05:550
114876199322,23cyclictest1255567-21ntpq23:05:550
1148761993218,9cyclictest151ktimers/020:40:520
114876399313,22cyclictest1231487-21ssh22:25:482
1148763993125,3cyclictest0-21swapper/223:51:142
1148763993124,4cyclictest1000-21mta-sts-daemon23:49:252
1148763993124,4cyclictest0-21swapper/200:30:532
1148763993124,3cyclictest0-21swapper/222:25:012
1148763993123,5cyclictest1000-21mta-sts-daemon21:00:402
1148763993122,5cyclictest1310098-21unixbench_singl00:36:012
114876299313,21cyclictest265-21systemd-journal21:05:531
1148762993125,3cyclictest0-21swapper/120:11:021
1148762993125,3cyclictest0-21swapper/120:11:021
1148762993124,3cyclictest0-21swapper/122:10:361
114876299312,21cyclictest1166239-21sshd20:05:521
1148762993121,8cyclictest1160149-21ntp_kernel_pll_19:45:491
1148761993123,5cyclictest3613316-21cups-browsed23:30:410
1148761993122,3cyclictest0-21swapper/022:21:010
1148763993024,3cyclictest0-21swapper/220:00:532
1148763993022,5cyclictest1241173-21grep22:41:132
1148763993022,5cyclictest1150268-21systemd-run19:15:012
1148763993022,5cyclictest1150268-21systemd-run19:15:012
1148763993022,4cyclictest0-21swapper/223:05:522
1148763993022,4cyclictest0-21swapper/223:05:522
1148763993020,7cyclictest1162208-21sshd19:51:522
114876299304,17cyclictest428-21mta-sts-daemon20:40:481
1148762993024,2cyclictest0-21swapper/120:00:521
1148762993023,3cyclictest0-21swapper/100:30:011
114876199306,17cyclictest665-21snmpd22:05:490
114876199303,20cyclictest1309533-21ssh00:35:510
1148761993024,4cyclictest1183144-21unixbench_multi21:00:580
1148761993015,12cyclictest1293878-21basename00:10:360
114876199301,25cyclictest1207323-21ntpq21:45:510
1148763992922,4cyclictest1206206-21latency_hist21:45:022
1148763992921,5cyclictest1166741-21cron20:10:012
1148763992921,5cyclictest1148782-21latency_hist19:10:022
1148763992921,5cyclictest1148782-21latency_hist19:10:022
114876299295,15cyclictest265-21systemd-journal19:15:531
114876299295,15cyclictest265-21systemd-journal19:15:531
1148762992923,3cyclictest0-21swapper/120:40:011
1148762992911,10cyclictest1207111-21/usr/sbin/munin21:45:441
1148761992921,3cyclictest0-21swapper/022:25:460
1148761992917,9cyclictest0-21swapper/023:40:580
114876399286,16cyclictest428-21mta-sts-daemon20:45:452
1148763992822,3cyclictest0-21swapper/222:35:012
1148763992821,4cyclictest1159252-21munin-plugin-st19:45:012
1148763992820,5cyclictest1277027-21unixbench_multi23:40:582
1148763992820,5cyclictest1170289-21fschecks_time20:20:402
1148763992820,3cyclictest0-21swapper/220:35:542
1148763992819,6cyclictest1001-21mta-sts-daemon21:58:552
1148762992821,4cyclictest1172750-21munin-plugin-st20:30:001
1148762992820,5cyclictest1161797-21/usr/sbin/munin19:50:521
114876199285,14cyclictest3712151-21munin-node19:35:480
1148761992823,3cyclictest1215207-21munin-run22:00:010
114876199282,21cyclictest1243635-21sh22:45:540
1148761992820,6cyclictest1249893-21timerandwakeup22:56:010
114876399272,21cyclictest1288533-21ssh00:00:502
1148763992719,5cyclictest1260336-21ssh23:15:002
1148763992719,5cyclictest1260336-21ssh23:15:002
1148763992719,5cyclictest1155281-21fschecks_time19:30:432
1148762992720,3cyclictest0-21swapper/120:55:591
1148762992719,5cyclictest3613316-21cups-browsed20:20:531
1148761992721,3cyclictest0-21swapper/020:40:020
1148761992719,5cyclictest3613316-21cups-browsed19:49:410
1148761992719,4cyclictest151ktimers/020:10:520
1148761992719,4cyclictest151ktimers/020:10:520
1148761992718,6cyclictest420-21avahi-daemon21:19:250
1148761992718,6cyclictest1163731-21munin-run20:00:010
114876199271,7cyclictest1204194-21ntpq21:40:470
1148761992716,8cyclictest0-21swapper/021:10:020
1148763992618,6cyclictest1294328-21missed_timers00:10:422
1148762992620,3cyclictest0-21swapper/121:05:011
1148762992619,3cyclictest0-21swapper/119:30:551
1148761992621,2cyclictest0-21swapper/019:30:530
1148761992619,5cyclictest1300781-21mailstats00:20:570
1148761992613,10cyclictest151ktimers/019:25:480
1148763992518,3cyclictest0-21swapper/221:10:012
1148761992519,3cyclictest1153251-21cron19:25:000
1148761992517,5cyclictest151ktimers/020:55:470
1148761992512,11cyclictest265-21systemd-journal20:05:010
114876199251,20cyclictest1306066-21diskstats00:30:410
1148763992417,4cyclictest1161833-21kworker/u8:2-nfsiod20:20:012
1148761992418,4cyclictest1150220-21kworker/u8:1+xprtiod19:45:010
1148761992414,8cyclictest0-21swapper/020:10:020
114876399237,14cyclictest351ktimers/220:40:502
1148763992317,3cyclictest0-21swapper/219:20:512
1148763992315,6cyclictest421-21dbus-daemon19:50:012
1148763992314,7cyclictest1153716-21cpuspeed19:25:382
114876199232,16cyclictest1161622-21ntpq19:50:460
114876199201,17cyclictest1148773-21munin-run19:10:020
114876199201,17cyclictest1148773-21munin-run19:10:020
114876199201,16cyclictest1149244-21diskstats19:10:390
114876199201,16cyclictest1149244-21diskstats19:10:390
114876499189,5cyclictest0-21swapper/322:50:523
114876499181,12cyclictest0-21swapper/320:50:463
114876499180,15cyclictest0-21swapper/319:10:013
114876499180,15cyclictest0-21swapper/319:10:013
114876499171,12cyclictest0-21swapper/321:25:483
114876499171,12cyclictest0-21swapper/321:25:483
114876499171,11cyclictest0-21swapper/323:40:483
114876499171,11cyclictest0-21swapper/322:41:033
114876499171,11cyclictest0-21swapper/319:30:503
1148764991710,4cyclictest0-21swapper/322:00:473
1148762991711,3cyclictest0-21swapper/119:10:021
1148762991711,3cyclictest0-21swapper/119:10:021
114876499168,5cyclictest0-21swapper/323:30:513
114876499162,10cyclictest0-21swapper/323:15:523
114876499162,10cyclictest0-21swapper/321:50:483
114876499161,11cyclictest0-21swapper/323:35:483
114876499161,11cyclictest0-21swapper/323:25:493
114876499161,11cyclictest0-21swapper/322:20:483
114876499161,11cyclictest0-21swapper/321:40:513
114876499161,11cyclictest0-21swapper/321:35:503
114876499161,11cyclictest0-21swapper/321:20:463
114876499161,11cyclictest0-21swapper/320:20:473
114876499161,11cyclictest0-21swapper/319:50:483
114876499161,11cyclictest0-21swapper/319:41:013
114876499161,11cyclictest0-21swapper/300:10:513
114876499161,10cyclictest0-21swapper/323:20:533
114876499161,10cyclictest0-21swapper/300:05:483
114876499160,12cyclictest0-21swapper/322:05:513
114876499160,11cyclictest0-21swapper/321:10:513
114876499160,11cyclictest0-21swapper/319:35:463
114876499159,4cyclictest0-21swapper/322:30:563
114876499154,6cyclictest0-21swapper/323:55:433
114876499152,9cyclictest0-21swapper/322:55:493
114876499151,11cyclictest0-21swapper/300:20:523
114876499151,10cyclictest0-21swapper/323:50:423
114876499151,10cyclictest0-21swapper/323:45:463
114876499151,10cyclictest0-21swapper/323:05:433
114876499151,10cyclictest0-21swapper/323:05:433
114876499151,10cyclictest0-21swapper/323:00:373
114876499151,10cyclictest0-21swapper/322:45:483
114876499151,10cyclictest0-21swapper/322:10:493
114876499151,10cyclictest0-21swapper/321:55:523
114876499151,10cyclictest0-21swapper/321:45:473
114876499151,10cyclictest0-21swapper/321:30:523
114876499151,10cyclictest0-21swapper/321:15:513
114876499151,10cyclictest0-21swapper/321:00:503
114876499151,10cyclictest0-21swapper/320:35:473
114876499151,10cyclictest0-21swapper/320:15:463
114876499151,10cyclictest0-21swapper/320:10:533
114876499151,10cyclictest0-21swapper/320:10:533
114876499151,10cyclictest0-21swapper/320:05:463
114876499151,10cyclictest0-21swapper/319:45:463
114876499151,10cyclictest0-21swapper/319:15:533
114876499151,10cyclictest0-21swapper/319:15:533
114876499151,10cyclictest0-21swapper/300:31:223
114876499151,10cyclictest0-21swapper/300:15:273
114876499150,11cyclictest0-21swapper/320:40:523
114876499150,11cyclictest0-21swapper/319:10:493
114876499150,11cyclictest0-21swapper/319:10:493
114876499150,11cyclictest0-21swapper/300:25:473
114876499150,10cyclictest0-21swapper/300:35:093
114876499141,9cyclictest0-21swapper/322:35:263
114876499141,10cyclictest0-21swapper/322:25:463
114876499141,10cyclictest0-21swapper/321:05:433
114876499141,10cyclictest0-21swapper/319:55:473
114876499141,10cyclictest0-21swapper/300:00:543
114876499140,10cyclictest0-21swapper/323:10:253
114876499140,10cyclictest0-21swapper/323:10:253
114876499140,10cyclictest0-21swapper/320:55:453
114876499140,10cyclictest0-21swapper/320:25:473
114876499140,10cyclictest0-21swapper/319:20:473
114876499131,9cyclictest0-21swapper/322:15:403
114876499131,9cyclictest0-21swapper/320:45:453
114876499131,9cyclictest0-21swapper/320:30:483
114876499131,9cyclictest0-21swapper/320:00:443
114876499131,9cyclictest0-21swapper/319:25:423
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional