You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-05-30 - 06:09

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #a, slot #8

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rackaslot8s.osadl.org (updated Sat May 30, 2026 00:45:17)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
31828221696,94sleep20-21swapper/219:06:242
31904221597,93sleep10-21swapper/119:07:221
319382158101,30sleep30-21swapper/319:07:493
318732147106,29sleep00-21swapper/019:06:580
191722630,1sleep30-21swapper/300:22:003
97692620,4sleep09757-21ssh21:50:150
176522600,11sleep012-21ksoftirqd/022:20:170
197292590,2sleep00-21swapper/000:22:340
323732560,1sleep20-21swapper/222:30:472
161912560,3chrt0-21swapper/221:30:362
100702540,2sleep20-21swapper/223:26:502
100702540,2sleep20-21swapper/223:26:492
161482530,2sleep30-21swapper/321:55:133
161482530,2sleep30-21swapper/321:55:133
237842500,1sleep00-21swapper/021:36:160
105042480,3chrt0-21swapper/319:35:003
62522430,2chrt0-21swapper/322:11:293
32383993814,15cyclictest7868-21rm00:14:183
3238399366,13cyclictest28850-21latency_hist00:30:013
32383993610,9cyclictest23859-21ssh23:13:173
32383993610,9cyclictest13707-21/usr/sbin/munin23:30:113
32383993610,11cyclictest6759-21ssh23:25:013
32383993610,11cyclictest6759-21ssh23:25:003
3238399358,9cyclictest19445-21diskmemload23:22:443
3238399357,15cyclictest11464-21grep22:15:233
3238399356,12cyclictest28873-21sed00:05:193
3238399356,11cyclictest6660-21ssh22:35:493
3238399349,15cyclictest11796-21ssh00:16:313
3238399349,10cyclictest13045-21ssh23:53:493
3238399348,16cyclictest23620-21sh00:00:593
3238399348,11cyclictest3467-21ssh21:21:173
3238399348,10cyclictest19445-21diskmemload21:30:343
3238399347,19cyclictest31762-1kworker/u9:023:44:583
3238399347,11cyclictest23143-21grep22:00:163
296762340,2sleep00-21swapper/022:53:530
3238399339,14cyclictest23202-21ssh21:35:413
3238399338,16cyclictest19445-21diskmemload23:58:153
3238399338,15cyclictest19445-21diskmemload21:16:233
3238399338,10cyclictest12374-21ssh23:05:003
3238399337,10cyclictest3736-21cat21:45:253
24612330,3sleep1211rcuc/119:15:111
95842320,2sleep10-21swapper/121:25:411
3238399326,9cyclictest16580-21ssh22:44:053
3238399326,10cyclictest29855-21ssh21:40:373
3238399325,9cyclictest17776-21sh22:45:023
3238399325,10cyclictest17418-21ssh23:08:323
3238399318,9cyclictest19445-21diskmemload22:56:313
3238399318,9cyclictest19445-21diskmemload00:36:213
3238399318,8cyclictest19445-21diskmemload22:21:133
3238399318,10cyclictest1921-21sh22:32:483
3238399317,10cyclictest23267-21ssh23:36:393
3238399316,9cyclictest19445-21diskmemload22:51:423
3238399316,12cyclictest31359-21sh22:05:533
3238399305,9cyclictest9800-21ssh21:25:553
3238399303,14cyclictest0-21swapper/321:12:463
3238399297,9cyclictest19445-21diskmemload23:46:113
3238399296,9cyclictest19445-21diskmemload22:25:593
3238399296,10cyclictest29211-21ssh00:30:113
3238399296,10cyclictest27516-21ls23:15:233
3238399295,8cyclictest9376-21if_enp3s020:45:173
3238399294,9cyclictest3098-21/usr/sbin/munin19:15:193
3238399294,8cyclictest14749-21ssh21:54:223
32382992919,7cyclictest20912-40find00:00:002
3238399289,16cyclictest19020-21unixbench_singl21:05:263
3238399285,10cyclictest4339-21cpu19:20:123
3238399284,7cyclictest15595-21expr21:00:133
3238099283,7cyclictest0-21swapper/000:25:140
138112280,4sleep2281ksoftirqd/223:54:342
7032270,9sleep012-21ksoftirqd/022:31:330
65812270,2sleep10-21swapper/100:12:591
3238399277,17cyclictest30959-21grep20:20:153
3238399276,8cyclictest27073-21ntp_states20:10:193
3238399272,15cyclictest0-21swapper/320:30:193
3238399272,15cyclictest0-21swapper/320:15:263
3238199271,24cyclictest0-21swapper/119:10:171
32380992713,4cyclictest5623-21sh22:35:220
252832270,9sleep228-21ksoftirqd/222:50:182
3238399265,7cyclictest10799-21cat19:35:133
3238399265,7cyclictest10799-21cat19:35:123
32383992617,3cyclictest4467-21apt-get20:35:123
32380992623,2cyclictest0-21swapper/019:10:340
235592260,6sleep2560-21dbus-daemon20:05:012
3238399253,9cyclictest0-21swapper/319:10:153
3238399251,10cyclictest0-21swapper/319:45:233
3238099257,9cyclictest12-21ksoftirqd/023:50:230
32383992414,8cyclictest7084-21tune2fs20:40:153
32383992412,9cyclictest14758-21/usr/sbin/munin20:55:263
32382992422,1cyclictest0-21swapper/219:10:312
3238099249,12cyclictest7585-21unixbench_singl23:00:250
32380992418,4cyclictest13897-21sh21:30:000
32380992417,5cyclictest19488-21ssh21:57:260
32380992417,5cyclictest19488-21ssh21:57:250
32380992413,8cyclictest472-21df_inode20:25:140
32380992413,8cyclictest472-21df_inode20:25:130
44252230,1sleep10-21swapper/100:35:181
3238399238,13cyclictest14160-21cat19:40:233
3238399237,14cyclictest21474-21cat20:00:003
32383992311,9cyclictest11999-21awk20:50:213
3238299232,14cyclictest31268-21ssh22:55:032
32382992310,3cyclictest28-21ksoftirqd/223:10:242
3238299230,9cyclictest32254-21dump-pmu-power23:20:002
3238199231,5cyclictest0-21swapper/100:30:301
32381992315,6cyclictest19966-21ssh00:22:481
3238099232,15cyclictest27930-21ssh21:40:120
32380992317,4cyclictest12-21ksoftirqd/021:50:000
213702230,2sleep20-21swapper/222:23:132
32383992211,8cyclictest22558-21ntpq20:00:183
32383992210,9cyclictest1-21systemd20:10:003
3238099222,14cyclictest896-21ssh21:20:130
3238099222,11cyclictest1293-21ssh23:45:110
233322220,2sleep20-21swapper/222:49:142
167142220,2sleep00-21swapper/021:00:230
32383992112,6cyclictest17328-21gdbus19:50:013
32383992110,8cyclictest6656-21expr19:25:113
32382992115,4cyclictest4672-21diskmemload23:23:072
32382992114,5cyclictest8477-21latency_hist21:49:592
32382992114,4cyclictest22575-21/usr/sbin/munin00:25:202
32382992113,6cyclictest24771-21ls20:05:192
32382992113,6cyclictest11221-21apt22:40:102
32382992112,6cyclictest22706-21wc21:35:252
3238299211,14cyclictest15801-21ssh21:55:122
3238299211,14cyclictest15801-21ssh21:55:112
3238199211,5cyclictest25624-21ssh00:03:001
32381992115,4cyclictest24691-21pmu-power22:25:201
32381992113,5cyclictest4104-21cron22:35:001
32381992112,7cyclictest560-21dbus-daemon23:00:011
32381992112,7cyclictest15401-21tune2fs19:45:151
3238199210,9cyclictest636-21runrttasks22:45:241
3238099219,8cyclictest12-21ksoftirqd/022:00:120
32380992115,4cyclictest21387-21cron20:00:000
32380992113,6cyclictest4984-21seq23:23:260
32380992113,5cyclictest16447-21sendmail22:20:010
32380992111,6cyclictest52750irq/139-enp3s0-00:15:110
167712210,2sleep10-21swapper/122:20:071
145292210,4sleep10-21swapper/123:30:181
3238399201,6cyclictest0-21swapper/320:25:143
3238399201,6cyclictest0-21swapper/320:25:133
3238299209,3cyclictest276462ssh22:03:542
3238299203,14cyclictest12198-21turbostat.cron23:05:012
3238299203,10cyclictest19874-21ssh21:10:112
32382992014,4cyclictest28203-21tail21:15:252
32382992013,4cyclictest11601-21latency20:50:172
32382992012,6cyclictest21752-21diskstats00:00:152
32382992010,7cyclictest4445-21ntp_kernel_err22:10:192
3238199209,8cyclictest6777-21df_inode19:25:131
3238199209,7cyclictest52950irq/141-enp3s0-22:35:121
3238199209,3cyclictest141rcu_preempt21:40:151
3238199201,7cyclictest24892-21df_inode22:50:131
32381992015,3cyclictest20919-40mandb23:59:591
32381992014,4cyclictest636-21runrttasks23:01:521
32381992014,4cyclictest32011-21sh21:19:101
32381992014,4cyclictest29839-21sh22:05:171
32381992014,4cyclictest18425-21netstat21:05:191
32381992013,5cyclictest27359-21ls23:15:211
32381992013,4cyclictest11098-21sh21:50:421
32381992012,6cyclictest9665-21users23:50:251
32381992011,7cyclictest28417-21df00:05:151
32381992011,7cyclictest23941-21python300:25:251
32381992011,7cyclictest1351-21tune2fs21:20:151
32381992011,6cyclictest22-21ksoftirqd/121:10:241
3238199201,16cyclictest10859-21latency_hist20:50:011
3238099209,3cyclictest258082rm00:03:110
3238099206,4cyclictest12-21ksoftirqd/023:15:230
3238099206,4cyclictest12-21ksoftirqd/019:20:190
3238099202,15cyclictest5294-21perf23:00:000
3238099201,9cyclictest11617-21diskstats22:40:150
32380992015,4cyclictest12-21ksoftirqd/021:00:000
32380992014,4cyclictest31773-21sh23:43:280
32380992014,4cyclictest12-21ksoftirqd/022:15:010
32380992013,5cyclictest14782-21ls19:45:010
32380992013,4cyclictest20519-21cstates23:35:140
281542200,5sleep0131rcuc/021:15:240
3238299199,7cyclictest5749-21timerandwakeup20:35:232
3238299193,9cyclictest27043-21ssh23:40:132
3238299192,11cyclictest19445-21diskmemload00:10:152
3238299191,4cyclictest0-21swapper/222:36:022
32382991913,4cyclictest7984-21sh00:38:122
32382991913,4cyclictest1608-21sh21:44:512
32382991912,5cyclictest29458-21swap20:15:232
32382991912,4cyclictest19445-21diskmemload23:45:462
32382991912,4cyclictest19445-21diskmemload23:35:252
32382991912,4cyclictest14781-21apt19:45:002
32382991911,6cyclictest6881-21tune2fs19:25:132
32382991911,6cyclictest32442-21sed20:25:012
32382991911,6cyclictest24491-21ls22:25:182
32382991910,4cyclictest19445-21diskmemload00:05:132
3238299190,16cyclictest0-21swapper/221:29:392
3238199199,8cyclictest22493-21expr20:00:161
3238199192,11cyclictest1282-21apt-get23:45:111
32381991914,3cyclictest24525-21sh22:00:431
32381991914,3cyclictest14302-21unixbench_multi19:40:241
32381991913,4cyclictest6665-21sh21:48:111
32381991913,4cyclictest32639-21/usr/sbin/munin23:20:121
32381991913,4cyclictest20247-21sh23:35:081
32381991912,5cyclictest25861-21seq20:09:361
32381991912,5cyclictest17072-21seq21:02:171
32381991912,5cyclictest11237-21diskstats20:50:141
32381991912,4cyclictest636-21runrttasks21:36:361
32381991911,6cyclictest9314-21expr00:15:131
32381991911,6cyclictest9174-21basename19:30:151
32381991911,6cyclictest6326-21cut19:25:001
32381991911,6cyclictest6325-21seq20:39:501
32381991911,6cyclictest461-21cat20:25:131
32381991911,6cyclictest461-21cat20:25:121
32381991911,6cyclictest32145-21seq20:22:321
3238199191,16cyclictest27381-21df23:40:141
32381991911,6cyclictest11727-21tune2fs22:40:151
3238199191,12cyclictest19512-21apt-get19:55:131
32381991910,6cyclictest52950irq/141-enp3s0-22:10:111
3238099197,2cyclictest141rcu_preempt22:28:460
3238099196,3cyclictest12-21ksoftirqd/021:10:180
3238099191,5cyclictest0-21swapper/000:12:090
32380991912,5cyclictest30386-21grep00:30:200
32380991911,6cyclictest5417-21pluginstate20:35:200
32380991911,6cyclictest29053-21cut20:15:180
32380991911,6cyclictest27816-21seq20:12:130
32380991911,6cyclictest2581-21tune2fs19:15:140
32380991911,6cyclictest10818-21expr19:35:120
32380991911,6cyclictest10818-21expr19:35:120
32380991911,5cyclictest25420-21grep20:05:260
32380991911,5cyclictest13227-21cron23:30:000
32380991911,5cyclictest13227-21cron23:30:000
3238299189,6cyclictest9086-21df20:45:132
3238299189,6cyclictest18370-21grep19:50:202
3238299189,6cyclictest15761-21awk21:00:142
3238299183,13cyclictest15124-21cron21:00:002
3238299182,12cyclictest19445-21diskmemload00:20:042
3238299182,11cyclictest10144-21apt-get22:15:102
32382991812,4cyclictest17896-21sh23:09:012
32382991812,4cyclictest12705-21grep19:40:012
32382991812,4cyclictest12705-21grep19:40:002
32382991811,5cyclictest9243-21expr00:15:122
32382991811,5cyclictest7372-21ls21:25:012
32382991811,5cyclictest29663-21tune2fs22:05:142
32382991811,5cyclictest26446-21expr20:10:132
32382991811,5cyclictest2282-21date20:30:012
32382991810,5cyclictest19445-21diskmemload23:30:322
3238199181,7cyclictest15220-21needreboot21:30:171
3238199181,7cyclictest11855-21sed22:15:261
32381991813,3cyclictest7699-21irqstats23:25:181
32381991813,3cyclictest7699-21irqstats23:25:171
32381991812,4cyclictest19257-21/usr/sbin/munin23:10:161
32381991811,5cyclictest8252-21seq20:41:501
32381991811,5cyclictest11306-21cat19:35:161
32381991811,5cyclictest11306-21cat19:35:151
32381991810,6cyclictest29930-21seq20:16:551
32381991810,6cyclictest2512-21expr20:30:131
32381991810,6cyclictest12842-21cat23:05:161
3238099187,8cyclictest17374-21apt-get19:50:120
3238099182,13cyclictest15248-21cut23:55:160
32380991813,3cyclictest17883-21/usr/sbin/munin22:45:140
32380991813,3cyclictest17295-21sh23:32:210
3238099181,2cyclictest141rcu_preempt23:11:180
32380991812,4cyclictest30521-21sh22:05:230
32380991812,4cyclictest12-21ksoftirqd/021:10:010
32380991811,5cyclictest12-21ksoftirqd/020:25:000
32380991810,6cyclictest8741-21find20:45:110
32380991810,6cyclictest6877-21tune2fs19:25:130
32380991810,6cyclictest12164-21cat20:50:220
32380991810,5cyclictest52750irq/139-enp3s0-00:35:160
32380991810,4cyclictest15598-21ssh21:30:220
3238299179,6cyclictest16517-21sed19:45:252
3238299172,10cyclictest32605-21apt-get20:25:112
32382991712,3cyclictest17523-21/usr/sbin/munin21:05:242
32382991710,5cyclictest9885-21sed19:30:242
32382991710,5cyclictest5569-21cat19:20:222
32382991710,5cyclictest3050-21ntpq19:15:192
32382991710,5cyclictest28-21ksoftirqd/200:30:082
32381991712,3cyclictest18022-21irqstats19:50:161
32381991711,4cyclictest13411-21expr20:55:121
32381991710,5cyclictest26534-21expr20:10:141
32381991710,5cyclictest16124-21expr21:55:131
32381991710,5cyclictest16124-21expr21:55:121
3238099171,4cyclictest0-21swapper/019:45:160
32380991712,3cyclictest2303-21/usr/sbin/munin20:30:210
32380991712,3cyclictest12720-21cpu23:05:150
32380991711,4cyclictest19445-21diskmemload00:05:440
32380991710,5cyclictest9439-21cut19:30:190
3238299169,5cyclictest9363-21expr21:50:132
3238299169,5cyclictest20037-21expr19:55:152
32382991610,4cyclictest6781-21expr20:40:132
3238099166,7cyclictest6627-21apt-get20:40:120
32380991610,4cyclictest12-21ksoftirqd/020:05:010
3238299151,10cyclictest2328-21apt-get20:30:132
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional