You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-06-01 - 15:04

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #e, slot #3

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes
Compare latency of primary with shadow system
Characteristics of the 376 highest latencies:
System rackeslot3s.osadl.org (updated Mon Jun 01, 2026 00:45:24)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
2069708998827,19cyclictest2085039-21ssh21:30:263
2069708998223,20cyclictest2084616-21ssh21:29:593
2069700998238,39cyclictest3467602-21systemd-journal00:40:012
2069700998238,39cyclictest3467602-21systemd-journal00:40:012
2069708998125,21cyclictest2164611-21ssh00:30:123
2069708997827,19cyclictest2143858-21ssh23:43:433
2069708997827,19cyclictest2143858-21ssh23:43:433
2069708997826,15cyclictest2152222-21ssh00:02:333
2069708997823,15cyclictest2117010-21ssh22:42:583
2069700997822,27cyclictest2075345-21latency_hist21:00:012
2069708997731,16cyclictest2082265-21ssh21:24:333
2069708997728,15cyclictest2168749-21munin-run00:40:003
2069708997728,15cyclictest2168749-21munin-run00:40:003
2069708997725,15cyclictest2131667-21ssh23:15:593
206969299779,43cyclictest16950irq/224-800000000:35:020
2069708997523,20cyclictest2121342-21ssh22:52:413
2069708997424,18cyclictest2098823-21ssh22:01:413
2069708997328,13cyclictest150-21pr/ttyS223:54:043
2069708997328,13cyclictest150-21pr/ttyS223:54:043
2069708997327,14cyclictest150-21pr/ttyS223:07:483
2069708997228,10cyclictest0-21swapper/323:31:503
2069708997225,15cyclictest2095524-21sh21:54:433
2069708997223,18cyclictest2104278-21rm22:14:213
2069708997221,13cyclictest2078800-21ssh21:16:283
2069708997220,13cyclictest2106007-21ssh22:18:053
2069708997134,13cyclictest2150672-21ssh23:59:153
2069708997026,9cyclictest2096320-21ssh21:56:113
2069708996927,14cyclictest2125736-21sh23:02:433
2069708996927,10cyclictest0-21swapper/323:47:503
2069708996924,15cyclictest2122532-21ssh22:55:033
2069708996923,16cyclictest275-21dbus-daemon19:40:013
2069708996923,16cyclictest275-21dbus-daemon19:40:003
2069700996923,41cyclictest3467602-21systemd-journal23:37:352
2069708996826,12cyclictest150-21pr/ttyS200:07:423
2069708996825,14cyclictest150-21pr/ttyS220:24:083
2069708996823,14cyclictest2161630-21ssh00:23:533
2069708996823,14cyclictest2102439-21sed22:10:013
2069708996817,15cyclictest2164131-21ssh00:29:363
2069700996722,40cyclictest2087028-21sh21:35:132
2069708996633,11cyclictest2134663-21ssh23:22:543
2069708996521,13cyclictest2092737-21ssh21:48:093
2069708996512,28cyclictest2010430-1kworker/u9:221:12:103
2069708996512,28cyclictest2010430-1kworker/u9:221:12:093
2069700996527,34cyclictest30-21ksoftirqd/223:22:572
2069708996422,11cyclictest2087166-21ssh21:35:303
2069708996414,16cyclictest2108147-21ssh22:22:553
2069700996428,31cyclictest3467602-21systemd-journal19:25:012
2069700996421,38cyclictest2092322-21sh21:47:122
2069692996418,42cyclictest12-21ksoftirqd/021:45:050
206970099632,16cyclictest2086233-21ssh21:33:392
206970099631,8cyclictest2081264-21sshd21:22:052
2069708996215,12cyclictest2075876-21diskmemload00:18:173
206970099621,9cyclictest2144170-21ssh23:44:262
206970099621,9cyclictest2144170-21ssh23:44:262
206970099621,8cyclictest2159424-21ssh00:18:572
2069708996142,16cyclictest2110626-21ssh22:28:273
2069700996130,28cyclictest2161492-21sh00:23:242
206970099611,9cyclictest2150940-21ssh23:59:522
206970099611,10cyclictest2112956-21ssh22:33:482
206969299615,42cyclictest2113585-21ssh22:35:020
206969299615,42cyclictest2113585-21ssh22:35:010
2069692996128,16cyclictest2109394-21ssh22:25:260
2069708996047,11cyclictest2130265-21ssh23:13:093
2069708996046,11cyclictest2112099-21ssh22:31:373
2069708996044,14cyclictest2157507-21ssh00:14:433
2069708996041,15cyclictest2119541-21ssh22:48:483
2069708996036,20cyclictest2115834-21wc22:40:033
2069708996036,20cyclictest2115834-21wc22:40:023
206970099603,20cyclictest2146618-21munin-run23:50:012
206970099602,15cyclictest2109831-21sshd22:26:342
206970099602,13cyclictest2125313-21ssh23:01:432
206970099601,9cyclictest2163840-21ssh00:28:492
206970099601,8cyclictest2118474-21ssh22:46:092
206970099601,19cyclictest2139118-21ssh23:32:502
206970099601,13cyclictest2146855-21ssh23:50:062
206970099601,13cyclictest2146855-21ssh23:50:052
206970099601,13cyclictest2122275-21ssh22:55:002
206969299606,10cyclictest12-21ksoftirqd/023:44:310
206969299606,10cyclictest12-21ksoftirqd/023:44:300
2069700995925,30cyclictest2155402-21cron00:10:002
206970099592,15cyclictest2107823-21sh22:22:022
206970099592,13cyclictest2100499-21ssh22:05:212
206970099591,8cyclictest2072484-21sshd20:02:342
206970099591,10cyclictest2115590-21ssh22:39:522
206970099591,10cyclictest2115590-21ssh22:39:512
2069708995843,12cyclictest2136990-21ssh23:28:113
2069708995841,13cyclictest2090023-21ssh21:41:563
206970099583,5cyclictest364-21snmpd21:44:462
2069700995828,25cyclictest2079546-21sh21:18:182
2069700995819,34cyclictest2075876-21diskmemload21:11:322
2069700995819,34cyclictest2075876-21diskmemload21:11:322
206970099581,10cyclictest2116588-21ssh22:41:472
2069695995840,12cyclictest0-21swapper/123:40:021
2069708995744,9cyclictest48-21kcompactd019:44:133
2069708995730,23cyclictest2141313-21sh23:37:593
206970099572,9cyclictest2104409-21ssh22:14:382
2069700995721,31cyclictest30-21ksoftirqd/220:35:002
206970099571,8cyclictest2132218-21ssh23:17:252
206970099571,8cyclictest2099423-21ssh22:03:132
206970099571,7cyclictest2137279-21ssh23:28:502
206970099571,15cyclictest2094428-21ssh21:51:532
206970099571,13cyclictest2157561-21ssh00:14:522
2069692995731,10cyclictest2099539-21ssh22:03:290
2069692995722,7cyclictest12-21ksoftirqd/023:50:180
2069692995722,7cyclictest12-21ksoftirqd/023:50:180
2069708995644,9cyclictest2071726-21munin-run19:50:003
206970099562,7cyclictest2130071-21ssh23:12:282
206970099562,14cyclictest2069909-21munin-run19:15:012
2069700995620,33cyclictest2075876-21diskmemload00:04:452
206970099561,12cyclictest2164885-21ssh00:30:502
206970099561,12cyclictest2072217-21modprobe20:00:002
2069700995610,41cyclictest0-21swapper/219:18:292
2069692995628,12cyclictest2144610-21ssh23:45:060
2069692995626,14cyclictest2140333-21ssh23:35:360
206969299562,38cyclictest2100589-21ssh22:05:330
2069692995611,39cyclictest2151025-21cat00:00:000
2069708995538,12cyclictest2074569-21sshd20:44:353
2069708995538,12cyclictest2074569-21sshd20:44:353
206970099553,4cyclictest0-21swapper/220:29:532
206970099552,7cyclictest2075634-21munin-run21:05:022
206970099552,16cyclictest2072762-21munin-plugin-st20:10:002
206970099551,8cyclictest2084080-21sshd21:28:342
2069700995512,39cyclictest2097077-21ssh21:58:032
206970099551,15cyclictest2105042-21ssh22:15:452
206970099551,14cyclictest2123165-21ssh22:56:492
206970099551,13cyclictest2127896-21ssh23:07:412
2069695995540,11cyclictest1-21systemd23:50:011
2069692995547,5cyclictest2122472-21latency_hist22:55:010
2069692995527,18cyclictest214478750kworker/u8:200:20:010
2069708995441,9cyclictest2069896-21munin-run19:15:013
2069708995438,11cyclictest2071977-21munin-run19:55:013
2069708995430,21cyclictest1-21systemd20:35:013
206970099544,6cyclictest2071965-21modprobe19:55:002
206970099542,6cyclictest2070956-21munin-run19:35:012
206970099541,15cyclictest2070703-21munin-run19:30:012
206969299544,9cyclictest12-21ksoftirqd/021:10:520
206969299544,9cyclictest12-21ksoftirqd/021:10:510
2069692995446,6cyclictest12-21ksoftirqd/020:25:010
2069692995446,5cyclictest16950irq/224-800000022:00:010
2069692995411,38cyclictest12-21ksoftirqd/023:10:010
206970099533,8cyclictest2073261-21cron20:20:002
206970099531,12cyclictest2074761-21latency_hist20:45:032
206970099531,12cyclictest2074761-21latency_hist20:45:022
2069692995314,35cyclictest2091352-21cut21:45:020
206969299531,32cyclictest131rcu_preempt23:00:270
2069708995244,4cyclictest2070451-21munin-run19:25:013
2069708995236,11cyclictest2070168-21munin-run19:19:593
2069700995235,14cyclictest3467602-21systemd-journal19:41:442
206970099522,10cyclictest2069747-21latency_hist19:10:022
206969599525,34cyclictest3467602-21systemd-journal20:50:011
206969299523,41cyclictest1-21systemd20:45:020
206969299523,41cyclictest1-21systemd20:45:010
2069692995225,13cyclictest2161620-21ssh00:23:510
2069692995223,14cyclictest2108567-21ssh22:23:530
2069708995138,10cyclictest2072760-21munin-run20:10:013
2069708995135,11cyclictest2075092-21munin-run20:55:013
206970099513,17cyclictest1-21systemd20:25:002
206970099511,13cyclictest2076092-21latency_hist21:10:022
2069692995134,12cyclictest275-21dbus-daemon20:05:020
2069692995126,5cyclictest131rcu_preempt23:12:450
2069692995123,13cyclictest2156770-21ssh00:12:490
2069692995111,5cyclictest131rcu_preempt22:43:530
2069708995043,4cyclictest2072520-21munin-run20:05:013
2069708995037,9cyclictest364-21snmpd19:33:173
2069708995014,12cyclictest2075598-21sshd21:02:333
206970099502,6cyclictest364-21snmpd20:51:122
2069695995010,32cyclictest2155468-21ssh00:10:021
2069692995034,12cyclictest2075329-21cron20:59:590
2069692995022,24cyclictest12-21ksoftirqd/019:45:010
2069692995020,14cyclictest2113422-21ssh22:35:010
2069708994935,11cyclictest2074286-21modprobe20:38:343
2069708994933,12cyclictest0-21swapper/321:08:353
2069708994931,14cyclictest3467562-21sshd19:58:343
2069708994926,18cyclictest1-21systemd20:30:003
206970099491,8cyclictest2071191-21modprobe19:40:012
206970099491,8cyclictest2071191-21modprobe19:40:002
2069695994935,10cyclictest23-21ksoftirqd/100:00:001
206969299497,9cyclictest275-21dbus-daemon21:40:000
2069692994923,7cyclictest12-21ksoftirqd/021:20:010
2069692994911,13cyclictest12-21ksoftirqd/021:33:510
2069708994828,16cyclictest3467602-21systemd-journal20:14:593
2069708994814,8cyclictest131rcu_preempt20:20:013
206970099485,5cyclictest0-21swapper/220:50:012
2069695994837,7cyclictest2069704-21latency_hist19:10:011
206969599482,4cyclictest131rcu_preempt23:00:001
2069692994840,6cyclictest12-21ksoftirqd/019:57:510
2069692994833,12cyclictest12-21ksoftirqd/019:30:020
2069692994827,6cyclictest2083511-21ssh21:27:160
2069692994820,12cyclictest48-21kcompactd023:25:340
2069692994819,13cyclictest2164217-21ssh00:29:490
2069692994810,9cyclictest12-21ksoftirqd/000:03:560
2069700994739,5cyclictest2059258-21kworker/2:220:40:012
2069695994735,8cyclictest3467602-21systemd-journal21:14:331
2069695994735,8cyclictest3467602-21systemd-journal21:14:331
2069695994734,10cyclictest2072742-21sshd20:09:351
2069692994733,11cyclictest12-21ksoftirqd/000:40:010
2069692994733,11cyclictest12-21ksoftirqd/000:40:000
2069692994726,17cyclictest16950irq/224-800000000:08:350
206969299472,15cyclictest2093769-21ssh21:50:120
2069692994719,12cyclictest2119758-21ssh22:49:170
2069708994631,11cyclictest2074800-21sshd20:45:333
2069708994627,14cyclictest2070875-21latency_hist19:30:033
206970099464,13cyclictest2071727-21grep19:50:012
2069700994621,20cyclictest30-21ksoftirqd/220:15:022
2069695994636,8cyclictest23-21ksoftirqd/100:18:241
206969299464,13cyclictest2106811-21systemd-run22:20:010
2069692994627,13cyclictest275-21dbus-daemon19:20:000
2069708994531,10cyclictest3468525-21sendmail-mta20:59:523
2069695994536,7cyclictest23-21ksoftirqd/122:43:441
2069695994528,12cyclictest1-21systemd21:35:021
2069695994524,15cyclictest3467602-21systemd-journal20:05:001
2069692994528,13cyclictest2081046-21sshd21:21:340
2069692994527,14cyclictest2104311-21ssh22:14:240
2069692994526,16cyclictest2133551-21ssh23:20:030
206969299451,4cyclictest131rcu_preempt22:59:470
2069695994431,8cyclictest309-21in:imuxsock21:20:011
2069695994431,8cyclictest309-21in:imuxsock21:10:001
206969599443,12cyclictest1-21systemd19:25:001
2069695994430,10cyclictest2072215-21cron20:00:001
206969599441,3cyclictest131rcu_preempt21:43:541
206969299441,39cyclictest2138746-21ssh23:32:000
206969299441,29cyclictest0-21swapper/023:15:540
2069695994334,7cyclictest23-21ksoftirqd/122:08:041
2069695994331,8cyclictest2075876-21diskmemload22:15:011
2069695994327,12cyclictest23-21ksoftirqd/123:15:181
2069692994336,4cyclictest16950irq/224-800000020:20:010
2069692994336,4cyclictest16950irq/224-800000019:40:010
2069692994336,4cyclictest16950irq/224-800000019:40:000
2069692994334,7cyclictest12-21ksoftirqd/020:55:010
206969599426,26cyclictest2142518-21kworker/u8:000:25:021
206969599426,22cyclictest2151280-21kworker/1:100:10:031
2069695994230,10cyclictest23-21ksoftirqd/121:48:501
2069695994229,9cyclictest23-21ksoftirqd/122:27:551
2069695994229,10cyclictest23-21ksoftirqd/121:36:341
2069695994228,7cyclictest309-21in:imuxsock20:35:011
2069695994225,12cyclictest23-21ksoftirqd/120:45:031
2069695994225,12cyclictest23-21ksoftirqd/120:45:021
206969599421,3cyclictest131rcu_preempt19:15:011
2069692994217,21cyclictest12-21ksoftirqd/019:25:030
2069708994125,10cyclictest2069743-21grep19:10:013
206969599413,3cyclictest131rcu_preempt23:14:411
2069695994129,6cyclictest309-21in:imuxsock20:30:001
2069695994128,10cyclictest309-21in:imuxsock23:30:031
2069695994126,11cyclictest23-21ksoftirqd/123:40:471
2069695994126,11cyclictest23-21ksoftirqd/123:40:471
2069695994126,11cyclictest23-21ksoftirqd/100:27:441
2069695994125,13cyclictest23-21ksoftirqd/122:32:471
2069695994125,10cyclictest23-21ksoftirqd/122:40:031
2069695994125,10cyclictest23-21ksoftirqd/122:40:031
206969599412,3cyclictest131rcu_preempt00:32:241
206969599411,3cyclictest131rcu_preempt21:26:191
206969299418,29cyclictest0-21swapper/020:06:410
2069692994130,8cyclictest12-21ksoftirqd/020:50:010
2069692994123,14cyclictest2075974-21latency_hist21:10:010
206969299412,12cyclictest3467602-21systemd-journal20:25:520
2069695994030,5cyclictest309-21in:imuxsock00:35:021
2069695994030,5cyclictest309-21in:imuxsock00:35:011
2069695994028,8cyclictest3467602-21systemd-journal19:53:351
2069695994026,11cyclictest23-21ksoftirqd/123:05:381
2069695994022,13cyclictest275-21dbus-daemon23:25:001
206969599402,11cyclictest2147624-21ssh23:52:041
206969599402,11cyclictest2147624-21ssh23:52:031
206969599401,3cyclictest131rcu_preempt22:20:281
2069692994027,10cyclictest12-21ksoftirqd/019:55:000
206969599394,5cyclictest131rcu_preempt22:03:291
206969599394,3cyclictest131rcu_preempt23:00:051
2069695993930,6cyclictest23-21ksoftirqd/121:51:121
2069695993929,7cyclictest23-21ksoftirqd/120:20:021
2069695993926,11cyclictest23-21ksoftirqd/121:23:281
2069695993926,10cyclictest23-21ksoftirqd/121:59:471
2069695993924,12cyclictest1-21systemd21:00:011
2069695993922,13cyclictest1-21systemd21:05:011
2069692993934,3cyclictest16950irq/224-800000020:32:340
2069692993927,8cyclictest12-21ksoftirqd/020:40:000
2069695993829,7cyclictest23-21ksoftirqd/122:45:371
2069695993829,7cyclictest23-21ksoftirqd/120:21:531
2069695993827,9cyclictest23-21ksoftirqd/123:26:201
2069695993823,11cyclictest23-21ksoftirqd/120:37:341
206969599381,35cyclictest23-21ksoftirqd/100:00:441
2069692993821,13cyclictest1-21systemd19:15:010
2069692993821,12cyclictest3467602-21systemd-journal19:46:350
2069695993727,8cyclictest23-21ksoftirqd/122:52:361
2069695993724,10cyclictest2070169-21grep19:20:001
2069695993723,11cyclictest23-21ksoftirqd/119:30:031
2069695993723,10cyclictest23-21ksoftirqd/122:15:561
2069692993728,5cyclictest2070943-21modprobe19:34:590
2069695993625,8cyclictest0-21swapper/119:40:011
2069695993625,8cyclictest0-21swapper/119:40:001
2069695993624,5cyclictest23-21ksoftirqd/119:30:021
2069692993630,3cyclictest16950irq/224-800000020:10:050
2069695993519,12cyclictest23-21ksoftirqd/120:50:431
2069695993424,7cyclictest23-21ksoftirqd/119:43:081
2069692993325,4cyclictest0-21swapper/021:03:390
2069695993220,9cyclictest23-21ksoftirqd/119:45:341
2069695993216,12cyclictest23-21ksoftirqd/120:10:331
206969299311,26cyclictest2069636-21latency_hist19:10:020
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional