You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-03-23 - 11:58

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #e, slot #3

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes
Compare latency of primary with shadow system
Characteristics of the 376 highest latencies:
System rackeslot3s.osadl.org (updated Mon Mar 23, 2026 00:45:29)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
1003176998780,3cyclictest150-21pr/ttyS219:35:020
100319099835,57cyclictest364-21snmpd23:10:013
100317699761,55cyclictest12-21ksoftirqd/000:05:000
1003190997310,54cyclictest1052167-21ssh22:50:023
1003181997128,6cyclictest309-21in:imuxsock22:55:011
1003176997155,13cyclictest16950irq/224-800000019:10:010
1003181997028,37cyclictest1056402-21munin-run23:00:011
1003176997066,2cyclictest0-21swapper/019:15:030
1003181996826,10cyclictest1003988-21sed19:25:011
1003181996824,5cyclictest1060317-21sh23:09:131
100319099662,14cyclictest1040088-21sshd22:21:303
1003181996623,7cyclictest1004924-21sshd19:42:441
1003181996623,7cyclictest1004924-21sshd19:42:441
100319099652,15cyclictest1007042-21munin-run20:25:023
1003190996424,33cyclictest275-21dbus-daemon23:15:013
1003190996420,40cyclictest37-21ksoftirqd/300:36:043
1003190996420,40cyclictest37-21ksoftirqd/300:36:033
100319099641,16cyclictest1003674-21unin-run19:20:003
100319099641,10cyclictest1018429-21ssh21:30:383
100319099634,5cyclictest1033659-21sshd22:06:283
100319099634,5cyclictest1033659-21sshd22:06:273
100319099633,18cyclictest1013653-21munin-run21:20:013
100319099633,18cyclictest1013653-21munin-run21:20:003
1003190996324,34cyclictest1009356-21diskmemload22:12:443
100319099632,14cyclictest1008028-21sshd20:40:433
1003181996329,5cyclictest1066412-21sh23:23:321
1003181996329,5cyclictest1066412-21sh23:23:311
1003181996326,4cyclictest1014963-21sh21:22:411
1003181996324,5cyclictest1036564-21sh22:13:261
100317699639,42cyclictest989138-21munin-node20:30:030
1003176996320,38cyclictest1-21systemd22:40:000
1003176996313,10cyclictest12-21ksoftirqd/021:24:590
100319099621,9cyclictest1083992-21ssh00:04:583
100319099621,8cyclictest1090060-21ssh00:18:543
100319099621,8cyclictest1090060-21ssh00:18:543
100319099621,12cyclictest1015290-21ssh21:23:413
1003181996226,8cyclictest23-21ksoftirqd/100:26:011
1003181996226,8cyclictest23-21ksoftirqd/100:26:011
1003181996224,4cyclictest1021478-21sh21:38:031
1003181996223,7cyclictest3467602-21systemd-journal20:18:321
100319099614,5cyclictest150-21pr/ttyS200:22:243
1003190996124,34cyclictest1054270-21sh22:55:003
100319099611,8cyclictest1068163-21ssh23:27:323
100319099611,8cyclictest1057944-21ssh23:03:353
1003190996113,43cyclictest274-21cron20:20:003
100319099611,12cyclictest1024242-21sshd21:44:443
1003176996157,2cyclictest0-21swapper/022:15:010
100319099602,8cyclictest1077444-21ssh23:49:283
1003190996027,29cyclictest1029629-21sh21:57:133
1003190996023,33cyclictest37-21ksoftirqd/321:39:083
100319099602,13cyclictest364-21snmpd23:54:563
100319099602,13cyclictest1031500-21ssh22:01:233
1003190996013,43cyclictest1008785-21sshd20:55:443
1003181996022,15cyclictest1039270-21cron22:20:001
100318199601,29cyclictest23-21ksoftirqd/100:30:031
1003176996041,6cyclictest12-21ksoftirqd/022:33:210
1003176996020,36cyclictest12-21ksoftirqd/000:18:220
1003176996020,36cyclictest12-21ksoftirqd/000:18:210
1003190995925,29cyclictest309-21in:imuxsock21:55:013
100319099592,13cyclictest1066685-21ssh23:24:103
100319099592,13cyclictest1066685-21ssh23:24:093
1003190995915,40cyclictest1093989-21sh00:27:593
1003190995915,40cyclictest1093989-21sh00:27:583
100319099591,12cyclictest48-21kcompactd023:35:093
1003181995924,10cyclictest23-21ksoftirqd/120:55:011
1003190995838,15cyclictest3467602-21systemd-journal00:15:013
100319099583,5cyclictest1084597-21sshd00:05:533
100319099582,14cyclictest3467602-21systemd-journal22:19:203
100319099581,16cyclictest1047903-21munin-run22:40:013
100319099581,12cyclictest364-21snmpd21:29:133
100319099581,12cyclictest364-21snmpd21:29:123
1003181995824,7cyclictest23-21ksoftirqd/122:36:561
1003190995720,33cyclictest1007950-21cat20:40:033
1003190995718,35cyclictest309-21in:imuxsock21:09:443
1003190995718,35cyclictest309-21in:imuxsock21:09:443
100319099571,16cyclictest1056402-21unin-run23:00:013
100319099571,13cyclictest1063016-21ssh23:15:063
100319099571,11cyclictest1025284-21sh21:46:503
1003181995740,13cyclictest1-21systemd22:45:001
1003181995727,8cyclictest23-21ksoftirqd/123:53:471
100318199571,33cyclictest23-21ksoftirqd/100:22:591
100317699579,9cyclictest12-21ksoftirqd/021:57:540
100317699578,7cyclictest0-21swapper/023:15:280
1003176995727,14cyclictest1068841-21ssh23:29:190
1003176995722,18cyclictest0-21swapper/023:42:250
1003176995721,32cyclictest1005228-21latency_hist19:50:010
1003176995720,19cyclictest16850irq/134-800000023:04:170
100317699571,52cyclictest1073423-21tr23:39:590
100319099566,4cyclictest0-21swapper/319:58:163
1003190995630,22cyclictest1049804-21sh22:44:353
100319099562,6cyclictest1006460-21sshd20:11:443
100319099562,14cyclictest1003367-21cron19:15:013
100319099561,15cyclictest1081162-21ssh23:58:073
100319099561,11cyclictest48-21kcompactd000:32:313
1003185995639,11cyclictest1081892-21ogrotate23:59:592
1003181995625,10cyclictest23-21ksoftirqd/122:29:591
1003181995623,7cyclictest23-21ksoftirqd/100:04:571
1003181995622,9cyclictest23-21ksoftirqd/123:39:461
1003181995621,10cyclictest23-21ksoftirqd/121:50:501
1003176995626,14cyclictest1095688-21ssh00:31:470
1003176995619,28cyclictest16850irq/134-800000021:33:180
1003176995611,10cyclictest12-21ksoftirqd/023:35:020
1003176995610,10cyclictest151rcuc/023:24:170
1003176995610,10cyclictest151rcuc/023:24:160
100319099552,6cyclictest1005213-21munin-run19:50:003
100319099551,6cyclictest1007248-21sshd20:26:173
1003190995514,37cyclictest1004168-21cut19:30:023
1003190995514,37cyclictest1004168-21cut19:30:013
100319099551,16cyclictest1005466-21munin-run19:55:003
100319099551,12cyclictest1042222-21modprobe22:26:293
100319099551,11cyclictest48-21kcompactd022:34:573
1003185995546,6cyclictest1014269-21kworker/2:222:23:342
1003181995535,15cyclictest275-21dbus-daemon23:30:011
1003181995524,9cyclictest23-21ksoftirqd/100:11:291
1003181995523,7cyclictest23-21ksoftirqd/123:12:311
1003181995519,11cyclictest23-21ksoftirqd/120:25:211
1003176995528,12cyclictest1037811-21ssh22:16:100
1003176995519,32cyclictest16850irq/134-800000022:42:350
1003176995515,7cyclictest12-21ksoftirqd/022:47:050
1003176995513,10cyclictest12-21ksoftirqd/022:26:590
100319099542,11cyclictest1008563-21cron20:55:013
100319099541,7cyclictest1008286-21sshd20:46:453
100319099541,16cyclictest1010306-21rm21:11:543
1003185995445,5cyclictest995571-21kworker/2:121:38:002
1003185995445,5cyclictest1014269-21kworker/2:221:59:402
1003185995438,12cyclictest275-21dbus-daemon00:15:012
1003181995424,9cyclictest23-21ksoftirqd/123:02:291
1003176995424,14cyclictest1056406-21ssh23:00:020
1003176995414,9cyclictest12-21ksoftirqd/023:48:540
100319099532,12cyclictest1074527-21ssh23:42:303
100319099531,11cyclictest1069797-21sh23:31:153
1003185995345,5cyclictest1014269-21kworker/2:222:02:492
1003181995321,9cyclictest23-21ksoftirqd/100:36:191
1003181995321,9cyclictest23-21ksoftirqd/100:36:191
100317699536,10cyclictest12-21ksoftirqd/000:07:550
100317699535,9cyclictest12-21ksoftirqd/022:54:000
100317699535,23cyclictest12-21ksoftirqd/022:07:550
100317699535,23cyclictest12-21ksoftirqd/022:07:540
1003176995328,18cyclictest3467602-21systemd-journal00:24:590
1003176995326,12cyclictest1079312-21ssh23:53:540
1003176995325,14cyclictest1021876-21ssh21:39:100
1003176995323,15cyclictest1009815-21ssh21:10:320
1003176995312,10cyclictest12-21ksoftirqd/000:29:020
1003176995312,10cyclictest12-21ksoftirqd/000:29:010
1003176995310,11cyclictest12-21ksoftirqd/021:05:010
100319099521,12cyclictest1009093-21modprobe21:05:013
1003185995243,6cyclictest1056412-21kworker/2:323:47:152
1003185995243,6cyclictest1056412-21kworker/2:300:20:022
1003185995243,6cyclictest1056412-21kworker/2:300:20:022
100317699524,15cyclictest12-21ksoftirqd/020:40:000
100317699523,9cyclictest121ksoftirqd/023:55:530
1003176995225,11cyclictest1098332-21ssh00:38:120
1003176995225,11cyclictest1098332-21ssh00:38:110
1003176995223,14cyclictest1040381-21ssh22:22:100
1003176995216,7cyclictest12-21ksoftirqd/021:25:580
1003176995216,7cyclictest12-21ksoftirqd/021:25:570
100317699521,37cyclictest1025996-21ssh21:48:450
1003176995211,10cyclictest12-21ksoftirqd/019:30:010
1003176995211,10cyclictest12-21ksoftirqd/019:30:010
100319099512,7cyclictest1-21systemd20:10:013
1003185995143,5cyclictest1056412-21kworker/2:300:21:302
1003185995142,5cyclictest995571-21kworker/2:121:21:482
1003176995135,11cyclictest1009356-21diskmemload21:10:010
1003176995135,11cyclictest1009356-21diskmemload21:10:000
100317699512,43cyclictest3467602-21systemd-journal21:16:160
100317699512,43cyclictest3467602-21systemd-journal21:16:150
100319099508,38cyclictest0-21swapper/319:41:523
100319099508,38cyclictest0-21swapper/319:41:513
100319099504,8cyclictest0-21swapper/319:40:003
100319099503,8cyclictest1003898-21cron19:25:003
100319099503,5cyclictest1005972-21cron20:04:593
1003185995042,5cyclictest1014269-21kworker/2:222:26:062
1003185995042,5cyclictest1008783-21kworker/2:021:16:572
1003185995042,5cyclictest1008783-21kworker/2:021:16:572
1003185995041,5cyclictest1014269-21kworker/2:223:32:582
1003185995040,7cyclictest1075535-21kworker/2:100:34:592
1003185995040,5cyclictest1002942-21kworker/2:019:30:012
1003185995040,5cyclictest1002942-21kworker/2:019:30:012
1003181995022,8cyclictest23-21ksoftirqd/121:10:371
100317699508,10cyclictest12-21ksoftirqd/020:10:020
1003176995032,13cyclictest1006758-21systemctl20:20:000
1003176995024,11cyclictest1032656-21ssh22:04:200
1003176995011,8cyclictest12-21ksoftirqd/021:52:170
1003190994913,31cyclictest3467602-21systemd-journal20:30:443
1003185994941,5cyclictest1014269-21kworker/2:223:35:052
1003185994941,5cyclictest1014269-21kworker/2:222:39:002
1003185994931,13cyclictest30-21ksoftirqd/222:10:032
1003185994931,13cyclictest30-21ksoftirqd/222:10:022
1003176994934,11cyclictest1087625-21ssh00:13:150
1003176994913,9cyclictest0-21swapper/019:38:390
1003176994910,10cyclictest12-21ksoftirqd/021:43:170
1003185994841,5cyclictest1014269-21kworker/2:223:21:502
1003185994841,5cyclictest1014269-21kworker/2:223:21:502
1003185994840,5cyclictest1075535-21kworker/2:100:39:452
1003185994840,5cyclictest1075535-21kworker/2:100:39:452
1003185994840,5cyclictest1014269-21kworker/2:223:08:592
1003185994838,6cyclictest1026511-21kworker/2:022:19:362
1003181994833,12cyclictest0-21swapper/100:00:001
1003181994831,12cyclictest1008831-21systemctl21:00:001
1003181994823,6cyclictest23-21ksoftirqd/119:55:001
100317699489,10cyclictest12-21ksoftirqd/023:13:570
100317699485,15cyclictest12-21ksoftirqd/023:06:570
1003185994739,5cyclictest1014269-21kworker/2:223:01:422
1003185994739,5cyclictest1002942-21kworker/2:020:09:372
1003185994738,6cyclictest995571-21kworker/2:121:40:032
1003185994738,6cyclictest1026511-21kworker/2:022:53:522
1003185994734,10cyclictest275-21dbus-daemon19:20:002
100317699479,8cyclictest12-21ksoftirqd/019:20:000
100319099462,8cyclictest1004401-21sshd19:34:443
1003185994638,5cyclictest1026511-21kworker/2:022:56:012
1003185994638,5cyclictest1008783-21kworker/2:021:14:592
1003185994637,6cyclictest1075535-21kworker/2:100:28:082
1003185994637,6cyclictest1075535-21kworker/2:100:28:082
1003185994637,6cyclictest1075535-21kworker/2:100:07:112
1003185994637,5cyclictest1075535-21kworker/2:100:01:082
100318599463,4cyclictest131rcu_preempt21:26:492
100318599463,4cyclictest131rcu_preempt21:26:482
1003181994635,8cyclictest1004414-21munin-plugin-st19:34:591
1003181994629,12cyclictest1-21systemd22:25:011
1003185994538,4cyclictest1026511-21kworker/2:022:45:102
1003185994537,5cyclictest1026511-21kworker/2:022:15:002
1003185994535,6cyclictest1026511-21kworker/2:022:45:032
1003185994531,10cyclictest3467602-21systemd-journal21:05:002
1003185994527,11cyclictest1020078-21grep21:34:592
1003181994528,13cyclictest3467602-21systemd-journal23:17:001
100317699455,9cyclictest12-21ksoftirqd/019:50:250
1003176994530,12cyclictest1005715-21systemctl20:00:000
1003185994436,5cyclictest995571-21kworker/2:120:50:562
1003185994436,5cyclictest1056412-21kworker/2:323:51:512
1003185994435,6cyclictest1056412-21kworker/2:323:15:242
1003181994424,14cyclictest275-21dbus-daemon22:05:021
100317699443,8cyclictest1-21systemd20:48:440
1003185994336,5cyclictest1056412-21kworker/2:323:44:122
1003185994336,5cyclictest1014269-21kworker/2:221:54:382
1003185994335,5cyclictest995571-21kworker/2:121:46:532
1003185994335,5cyclictest1014269-21kworker/2:222:30:442
1003185994334,6cyclictest1008783-21kworker/2:020:58:522
1003185994326,12cyclictest275-21dbus-daemon20:50:002
1003176994323,14cyclictest275-21dbus-daemon20:05:000
100317699431,12cyclictest12-21ksoftirqd/019:25:020
100319099421,7cyclictest1003260-21grep19:10:013
1003185994234,5cyclictest1014269-21kworker/2:223:28:132
1003185994222,13cyclictest1-21systemd21:10:022
1003185994222,13cyclictest1-21systemd21:10:012
1003185994213,20cyclictest275-21dbus-daemon19:50:002
1003176994233,6cyclictest19350irq/34-mmc120:44:440
1003185994127,10cyclictest309-21in:imuxsock19:25:002
1003181994128,11cyclictest23-21ksoftirqd/121:59:541
1003176994126,12cyclictest1008785-21sshd20:55:440
100318599404,4cyclictest131rcu_preempt20:05:022
1003185994032,5cyclictest1002942-21kworker/2:019:40:262
1003185994032,5cyclictest1002942-21kworker/2:019:40:252
1003181994027,10cyclictest275-21dbus-daemon20:25:011
1003181994023,13cyclictest1-21systemd21:45:011
1003176994023,12cyclictest3467602-21systemd-journal20:26:170
100318599396,6cyclictest131rcu_preempt20:35:002
1003181993925,11cyclictest1069629-21sshd23:30:441
100318199392,3cyclictest131rcu_preempt21:10:021
100318199392,3cyclictest131rcu_preempt21:10:011
100318599389,6cyclictest131rcu_preempt20:00:002
1003185993830,5cyclictest1002942-21kworker/2:019:35:002
1003185993825,9cyclictest309-21in:imuxsock19:51:152
1003185993824,10cyclictest30-21ksoftirqd/220:30:002
1003181993828,7cyclictest3467602-21systemd-journal21:19:441
1003181993828,7cyclictest3467602-21systemd-journal21:19:441
1003181993828,5cyclictest1005702-21sh20:00:011
1003181993827,6cyclictest1007774-21cron20:40:011
1003181993826,8cyclictest309-21in:imuxsock00:09:591
1003181993825,9cyclictest3467602-21systemd-journal00:16:541
1003181993825,9cyclictest3467602-21systemd-journal00:16:531
1003181993821,12cyclictest1-21systemd20:50:001
1003176993829,5cyclictest1007071-21latency_hist20:25:010
1003176993821,13cyclictest1008550-21sshd20:53:440
100318599376,9cyclictest30-21ksoftirqd/219:35:412
1003185993729,5cyclictest995571-21kworker/2:120:14:242
1003185993727,6cyclictest995571-21kworker/2:120:45:022
100318199379,5cyclictest131rcu_preempt19:20:001
1003181993729,5cyclictest1026273-21sh21:49:331
1003181993726,8cyclictest23-21ksoftirqd/121:32:181
1003181993726,5cyclictest1074164-21sh23:41:261
1003181993721,11cyclictest0-21swapper/119:30:011
1003181993721,11cyclictest0-21swapper/119:30:001
1003185993627,6cyclictest1061242-21sh23:11:042
1003185993626,6cyclictest1003508-21latency_hist19:15:022
1003185993622,11cyclictest30-21ksoftirqd/220:35:272
1003185993621,11cyclictest3467602-21systemd-journal20:23:022
1003181993624,9cyclictest23-21ksoftirqd/122:32:441
1003181993619,13cyclictest275-21dbus-daemon19:50:011
1003176993625,7cyclictest12-21ksoftirqd/020:13:440
100317699361,3cyclictest48-21kcompactd019:40:260
100317699361,3cyclictest48-21kcompactd019:40:250
1003185993522,8cyclictest309-21in:imuxsock20:20:012
1003181993523,9cyclictest23-21ksoftirqd/123:50:031
1003181993523,8cyclictest23-21ksoftirqd/120:35:021
1003181993522,10cyclictest275-21dbus-daemon22:50:001
1003181993516,13cyclictest275-21dbus-daemon20:15:021
1003181993511,5cyclictest131rcu_preempt20:06:421
1003181993423,9cyclictest23-21ksoftirqd/120:44:301
1003181993421,10cyclictest23-21ksoftirqd/121:26:111
1003181993421,10cyclictest23-21ksoftirqd/121:26:111
1003181993420,11cyclictest23-21ksoftirqd/122:05:211
1003181993420,11cyclictest23-21ksoftirqd/122:05:201
100318199341,5cyclictest131rcu_preempt19:10:011
100318199334,5cyclictest131rcu_preempt19:15:001
100318199334,4cyclictest131rcu_preempt19:40:011
1003185993224,5cyclictest995571-21kworker/2:119:10:032
1003181993221,7cyclictest23-21ksoftirqd/121:00:321
1003181992815,10cyclictest23-21ksoftirqd/120:04:161
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional