You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-06-24 - 04:14

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #e, slot #3

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rackeslot3s.osadl.org (updated Wed Jun 24, 2026 00:45:32)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
93274499113104,7cyclictest23-21ksoftirqd/100:15:021
932749997916,23cyclictest1020583-21ssh00:00:522
932749997416,16cyclictest1024682-21ssh00:09:532
932749997315,19cyclictest940332-21ssh21:12:452
932749997315,19cyclictest940332-21ssh21:12:442
932741996931,21cyclictest953275-21ssh21:40:010
93274199691,41cyclictest131rcu_preempt22:42:140
93274199691,41cyclictest131rcu_preempt22:42:130
932749996816,16cyclictest957995-21ssh21:49:532
93274499681,14cyclictest996197-21munin-run23:10:001
932744996726,35cyclictest1003870-21sh23:25:471
932744996722,41cyclictest1020778-21sh00:01:251
932744996716,47cyclictest950855-21/usr/sbin/munin21:35:011
932749996614,16cyclictest937894-21systemd-run20:50:022
932749996614,16cyclictest937894-21systemd-run20:50:012
932744996626,36cyclictest972159-21sh22:19:351
93274499662,12cyclictest3467602-21systemd-journal23:53:101
932741996628,34cyclictest958071-21/usr/sbin/munin21:50:010
93274199661,3cyclictest150-21pr/ttyS221:15:020
93274199661,3cyclictest150-21pr/ttyS221:15:010
932749996515,16cyclictest950468-21ssh21:34:052
932749996514,14cyclictest943096-21ssh21:18:342
932749996514,14cyclictest943096-21ssh21:18:332
93274499656,4cyclictest936297-21sshd20:18:391
932744996524,36cyclictest955569-21sh21:44:491
93274499652,23cyclictest1-21systemd20:00:001
93274499651,16cyclictest989437-21ssh22:55:271
932749996419,14cyclictest967450-21sh22:09:412
932744996428,33cyclictest986710-21wc22:50:021
93274499642,12cyclictest3467602-21systemd-journal21:11:371
93274499642,12cyclictest3467602-21systemd-journal21:11:371
93274499641,13cyclictest1030121-21ssh00:20:541
932749996321,9cyclictest946019-21ssh21:24:422
932749996317,15cyclictest932862-21cut19:10:022
932749996317,15cyclictest932862-21cut19:10:022
932744996324,35cyclictest952246-21sh21:37:451
93274499632,15cyclictest934770-21munin-run19:50:011
932744996318,40cyclictest275-21dbus-daemon00:00:011
93274499631,14cyclictest1033729-21ssh00:28:431
93274499631,14cyclictest1033729-21ssh00:28:431
93274499631,13cyclictest938651-21sshd21:04:421
93274499631,10cyclictest978293-21ssh22:32:101
932741996332,24cyclictest1019971-21ssh00:00:000
932749996220,13cyclictest952870-21ssh21:39:112
93274499622,10cyclictest48-21kcompactd022:35:251
93274499621,12cyclictest960275-21ssh21:54:391
93274199623,42cyclictest131rcu_preempt23:14:040
93274199623,42cyclictest131rcu_preempt23:14:030
932749996118,13cyclictest959121-21rm21:52:022
932749996111,14cyclictest1028982-21ssh00:18:562
93274499612,8cyclictest937393-21munin-run20:40:011
93274499612,8cyclictest937393-21munin-run20:40:011
93274499611,9cyclictest960853-21ssh21:55:321
93274499611,10cyclictest964760-21ssh22:03:581
932749996014,7cyclictest30-21ksoftirqd/222:26:512
932744996032,24cyclictest969437-21sh22:13:441
93274499602,14cyclictest934206-21sshd19:36:071
93274499601,9cyclictest1008949-21ssh23:36:361
93274499601,14cyclictest998893-21sshd23:15:211
93274499601,13cyclictest933735-21munin-run19:30:001
93274499601,12cyclictest965582-21ssh22:05:211
93274499601,12cyclictest936832-21sshd20:29:421
93274499601,10cyclictest972883-21ssh22:20:421
93274499601,10cyclictest947882-21ssh21:28:401
93274499601,10cyclictest48-21kcompactd022:40:251
93274499601,10cyclictest48-21kcompactd022:40:241
93274199605,8cyclictest12-21ksoftirqd/021:56:040
93274199601,40cyclictest131rcu_preempt22:59:170
93274199601,3cyclictest131rcu_preempt21:24:240
93274999599,13cyclictest979944-21ssh22:35:272
93274499593,8cyclictest1-21systemd00:40:001
93274499593,14cyclictest1028180-21ssh00:17:041
932744995931,23cyclictest935019-21latency_hist19:55:011
932744995918,36cyclictest1012431-21sh23:44:041
93274199596,6cyclictest1039037-21modprobe00:40:000
932749995845,10cyclictest1015670-21ssh23:50:422
93274499589,44cyclictest0-21swapper/120:57:131
93274499586,45cyclictest0-21swapper/120:45:001
93274499582,8cyclictest3467602-21systemd-journal23:21:011
93274499582,6cyclictest938123-21cron20:55:001
93274499582,12cyclictest364-21snmpd23:49:301
93274499582,10cyclictest364-21snmpd20:33:361
93274499581,14cyclictest956454-21ssh21:46:211
93274499581,10cyclictest364-21snmpd21:15:531
93274499581,10cyclictest364-21snmpd21:15:521
93274199584,35cyclictest131rcu_preempt00:05:220
93274499572,7cyclictest48-21kcompactd022:50:271
93274499572,7cyclictest48-21kcompactd022:50:261
93274499572,15cyclictest993436-21sh23:04:111
93274499572,15cyclictest993436-21sh23:04:101
93274499572,13cyclictest1036653-21ssh00:34:561
93274499571,18cyclictest1024502-21ssh00:09:301
93274199579,43cyclictest16850irq/134-800000021:20:010
93274199579,43cyclictest16850irq/134-800000021:20:000
932741995727,14cyclictest958778-21ssh21:51:100
932749995641,12cyclictest974173-21ssh22:23:422
93274999562,42cyclictest0-21swapper/223:25:022
932749995614,13cyclictest1005997-21ssh23:30:042
93274999561,34cyclictest979653-21ssh22:35:022
93274499562,15cyclictest975002-21ssh22:25:061
93274499562,12cyclictest364-21snmpd20:02:181
93274499562,12cyclictest364-21snmpd20:02:171
932741995629,12cyclictest954185-21ssh21:41:350
932741995627,13cyclictest966984-21ssh22:08:350
932741995625,15cyclictest963559-21ssh22:01:060
932741995619,33cyclictest12-21ksoftirqd/000:25:020
932741995619,32cyclictest16850irq/134-800000000:32:310
932749995542,10cyclictest1018261-21ssh23:56:052
932749995540,12cyclictest1038652-21ssh00:39:062
932749995510,12cyclictest994939-21ssh23:07:122
93274499552,7cyclictest934506-21cron19:45:001
932741995525,14cyclictest988725-21ssh22:54:190
932741995525,14cyclictest988725-21ssh22:54:180
932741995524,27cyclictest12-21ksoftirqd/022:38:530
932741995520,31cyclictest16850irq/134-800000023:35:380
932741995519,31cyclictest16850irq/134-800000023:40:030
932749995443,8cyclictest1011901-21ssh23:42:552
932749995440,11cyclictest968987-21ssh22:12:472
932749995437,13cyclictest1031759-21ssh00:24:452
932749995436,14cyclictest1013379-21ssh23:45:462
93274499542,7cyclictest932909-21sshd19:10:391
93274499542,14cyclictest943979-21ssh21:20:031
93274499541,15cyclictest1007844-21ssh23:34:271
93274499541,12cyclictest364-21snmpd20:08:541
932741995426,13cyclictest1034262-21ssh00:29:590
932741995426,13cyclictest1034262-21ssh00:29:580
93274199542,37cyclictest999565-21ssh23:16:540
932741995419,31cyclictest16850irq/134-800000021:28:290
932741995419,30cyclictest16850irq/134-800000022:28:340
932741995418,6cyclictest16850irq/134-800000022:11:030
932741995418,32cyclictest16850irq/134-800000023:52:340
932741995418,32cyclictest16850irq/134-800000023:47:200
932741995418,32cyclictest16850irq/134-800000023:24:460
932741995418,32cyclictest16850irq/134-800000000:03:490
932741995418,21cyclictest16850irq/134-800000000:18:280
932741995418,20cyclictest16850irq/134-800000022:23:380
932741995418,20cyclictest16850irq/134-800000022:18:520
932749995343,7cyclictest938428-21kworker/2:021:05:032
932749995340,10cyclictest1009651-21ssh23:38:152
932749995338,12cyclictest1032569-21ssh00:26:092
932749995338,12cyclictest1032569-21ssh00:26:092
932749995337,13cyclictest961689-21ssh21:57:292
932749995336,13cyclictest982186-21ssh22:40:062
932749995336,13cyclictest982186-21ssh22:40:052
932749995336,13cyclictest947508-21ssh21:27:422
932749995335,14cyclictest987143-21ssh22:50:442
932749995335,14cyclictest987143-21ssh22:50:432
932749995313,7cyclictest30-21ksoftirqd/223:28:012
932749995313,17cyclictest964365-21ssh22:03:032
93274499532,6cyclictest364-21snmpd19:16:001
93274499531,16cyclictest997970-21ssh23:13:451
93274499531,16cyclictest997970-21ssh23:13:441
932741995319,30cyclictest16850irq/134-800000023:08:460
932741995318,31cyclictest16850irq/134-800000023:02:520
932741995318,31cyclictest16850irq/134-800000023:02:510
932741995318,31cyclictest16850irq/134-800000021:32:180
932741995318,30cyclictest16850irq/134-800000023:33:020
932741995317,32cyclictest16850irq/134-800000022:33:410
932741995317,32cyclictest16850irq/134-800000000:12:010
932741995317,20cyclictest16850irq/134-800000022:49:350
932749995239,10cyclictest990770-21ssh22:58:342
932749995238,11cyclictest992443-21ssh23:01:482
932749995238,11cyclictest992443-21ssh23:01:482
932749995236,13cyclictest998794-21ssh23:15:082
932749995236,13cyclictest996587-21ssh23:10:282
932749995236,13cyclictest996587-21ssh23:10:282
932749995236,13cyclictest1035412-21ssh00:32:122
932749995215,11cyclictest932735-21cyclictest00:13:372
932741995216,6cyclictest16850irq/134-800000023:28:090
932754995138,10cyclictest1-21systemd20:25:013
932754995136,11cyclictest943693-21cron21:20:003
932754995136,11cyclictest943693-21cron21:19:593
932749995139,9cyclictest954075-21ssh21:41:212
932749995138,10cyclictest970511-21ssh22:15:532
932749995134,13cyclictest984750-21ssh22:45:422
93274499514,6cyclictest0-21swapper/120:15:011
93275499503,6cyclictest131rcu_preempt00:00:013
932749995037,10cyclictest936863-21munin-run20:30:022
93274499503,7cyclictest938924-21modprobe21:10:001
932744995033,13cyclictest3467602-21systemd-journal19:21:071
93274499502,14cyclictest936611-21munin-run20:25:011
932754994939,6cyclictest1029451-21latency_hist00:20:013
932754994934,12cyclictest3467602-21systemd-journal21:02:433
93274999496,28cyclictest291rcuc/219:50:022
932749994936,9cyclictest48-21kcompactd019:24:422
93274499495,8cyclictest933987-21modprobe19:35:011
932754994835,9cyclictest1-21systemd23:15:013
932754994835,9cyclictest1-21systemd23:15:013
932749994835,10cyclictest934495-21sshd19:42:392
932749994834,11cyclictest1-21systemd19:30:012
932744994822,23cyclictest937860-21sshd20:47:411
932744994822,23cyclictest937860-21sshd20:47:411
932741994843,3cyclictest0-21swapper/021:10:010
932741994829,15cyclictest935299-21sendmail-msp20:00:000
932754994734,10cyclictest3467602-21systemd-journal00:20:213
932754994719,8cyclictest361rcuc/322:39:593
932754994712,6cyclictest131rcu_preempt21:38:083
932749994740,4cyclictest938150-21munin-run20:55:002
932749994739,5cyclictest934293-21kworker/2:220:35:012
932749994738,5cyclictest934293-21kworker/2:220:55:032
932749994727,15cyclictest364-21snmpd20:12:592
93274199478,33cyclictest12-21ksoftirqd/019:45:020
93274199471,42cyclictest0-21swapper/020:25:000
932749994635,8cyclictest0-21swapper/220:36:222
932749994635,8cyclictest0-21swapper/220:36:212
932749994633,8cyclictest48-21kcompactd020:15:462
932749994633,10cyclictest933247-21munin-run19:20:012
932749994632,10cyclictest934000-21munin-run19:35:012
932754994531,11cyclictest37-21ksoftirqd/300:00:083
932754994530,12cyclictest37-21ksoftirqd/323:21:383
932754994526,13cyclictest3467602-21systemd-journal21:25:003
93275499443,3cyclictest131rcu_preempt00:05:383
932754994430,11cyclictest37-21ksoftirqd/321:28:213
932754994430,10cyclictest941543-21cat21:15:033
932754994427,15cyclictest37-21ksoftirqd/320:15:023
93275499441,4cyclictest131rcu_preempt22:18:153
93275499441,3cyclictest131rcu_preempt22:51:013
93275499441,3cyclictest131rcu_preempt22:51:013
932749994433,7cyclictest935526-21sshd20:01:402
932749994433,7cyclictest935526-21sshd20:01:392
932749994431,10cyclictest935255-21sshd19:59:382
932749994429,11cyclictest48-21kcompactd021:05:412
932749994421,17cyclictest275-21dbus-daemon19:55:012
93274199442,5cyclictest936321-21modprobe20:20:000
93274199441,39cyclictest937616-21sshd20:44:420
93275499435,8cyclictest37-21ksoftirqd/321:50:263
93275499434,4cyclictest131rcu_preempt20:40:003
93275499434,4cyclictest131rcu_preempt20:40:003
932754994327,12cyclictest1-21systemd23:30:013
932754994327,11cyclictest37-21ksoftirqd/319:14:593
93275499431,4cyclictest131rcu_preempt22:28:563
93275499431,3cyclictest131rcu_preempt23:45:023
93275499431,24cyclictest0-21swapper/322:46:053
932749994330,10cyclictest364-21snmpd19:10:452
932749994329,10cyclictest48-21kcompactd020:20:442
93274199434,33cyclictest937380-21modprobe20:40:010
93274199434,33cyclictest937380-21modprobe20:40:000
932741994336,4cyclictest16950irq/224-800000021:00:000
93275499425,6cyclictest131rcu_preempt23:35:183
93275499423,4cyclictest131rcu_preempt21:11:263
93275499423,3cyclictest131rcu_preempt23:10:003
932754994231,8cyclictest974751-21systemctl22:25:003
93275499423,10cyclictest37-21ksoftirqd/322:10:533
932754994230,7cyclictest978221-21sshd22:32:013
932754994229,10cyclictest37-21ksoftirqd/320:00:023
932754994219,5cyclictest37-21ksoftirqd/322:58:373
932749994229,10cyclictest364-21snmpd20:41:012
932749994228,9cyclictest364-21snmpd19:37:222
932749994227,11cyclictest364-21snmpd20:07:472
93274499429,4cyclictest932779-21latency_hist19:10:031
93274499429,4cyclictest932779-21latency_hist19:10:021
932741994234,5cyclictest16950irq/224-800000020:49:430
932741994234,5cyclictest16950irq/224-800000020:49:420
932741994224,13cyclictest3467602-21systemd-journal19:15:010
932754994131,5cyclictest936056-21munin-plugin-st20:15:003
932754994127,10cyclictest37-21ksoftirqd/322:43:423
932754994127,10cyclictest37-21ksoftirqd/322:43:413
93275499412,3cyclictest131rcu_preempt23:31:543
932754994122,11cyclictest0-21swapper/321:44:593
932754994117,5cyclictest37-21ksoftirqd/323:47:363
932754994116,6cyclictest37-21ksoftirqd/323:18:113
932754994031,5cyclictest274-21cron22:00:003
932754994030,8cyclictest37-21ksoftirqd/300:30:003
932754994030,8cyclictest37-21ksoftirqd/300:30:003
932754994029,6cyclictest309-21in:imuxsock19:20:013
932754994028,9cyclictest275-21dbus-daemon21:35:003
93275499402,4cyclictest131rcu_preempt22:04:183
93275499402,3cyclictest131rcu_preempt00:38:443
932741994032,5cyclictest938123-21cron20:54:590
932741994030,7cyclictest12-21ksoftirqd/020:15:010
932741994030,7cyclictest12-21ksoftirqd/019:25:020
932741994027,8cyclictest12-21ksoftirqd/020:35:000
932741994019,3cyclictest12-21ksoftirqd/020:10:010
93275499397,5cyclictest131rcu_preempt23:52:463
932754993926,10cyclictest37-21ksoftirqd/319:30:023
932754993918,6cyclictest37-21ksoftirqd/321:50:013
93275499391,5cyclictest131rcu_preempt20:05:003
93275499391,5cyclictest131rcu_preempt20:05:003
932741993934,3cyclictest16950irq/224-800000019:52:390
932741993933,4cyclictest0-21swapper/021:05:010
93274199392,16cyclictest1-21systemd19:50:010
93275499384,4cyclictest131rcu_preempt23:01:363
93275499384,4cyclictest131rcu_preempt23:01:353
93275499384,27cyclictest3467602-21systemd-journal21:10:003
93275499383,3cyclictest131rcu_preempt22:05:483
93275499383,3cyclictest131rcu_preempt00:10:543
932754993824,11cyclictest37-21ksoftirqd/320:55:013
93275499382,3cyclictest131rcu_preempt00:30:153
932754993821,12cyclictest275-21dbus-daemon21:00:003
932741993827,9cyclictest12-21ksoftirqd/019:35:020
93275499373,4cyclictest131rcu_preempt19:40:013
93275499373,3cyclictest131rcu_preempt20:25:423
93275499373,3cyclictest131rcu_preempt19:55:003
932754993724,10cyclictest37-21ksoftirqd/320:50:013
932754993724,10cyclictest37-21ksoftirqd/320:50:013
93275499371,3cyclictest131rcu_preempt19:45:013
932741993721,12cyclictest275-21dbus-daemon19:40:000
932754993626,7cyclictest934893-21sed19:50:023
932741993625,8cyclictest12-21ksoftirqd/019:29:540
932741993623,10cyclictest12-21ksoftirqd/019:19:390
93275499356,3cyclictest131rcu_preempt19:20:463
932754993528,4cyclictest937629-21latency_hist20:45:033
93275499352,3cyclictest131rcu_preempt20:05:563
93275499351,3cyclictest131rcu_preempt19:10:033
93275499351,3cyclictest131rcu_preempt19:10:023
93274199351,31cyclictest0-21swapper/020:00:460
93274199351,31cyclictest0-21swapper/020:00:450
93275499343,3cyclictest131rcu_preempt19:30:093
932741993429,3cyclictest150-21pr/ttyS220:30:010
93275499331,3cyclictest131rcu_preempt20:35:003
93274199331,3cyclictest131rcu_preempt19:10:020
93274199331,3cyclictest131rcu_preempt19:10:020
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional