You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2024-09-08 - 18:08

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #7, slot #4

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rack7slot4s.osadl.org (updated Sun Sep 08, 2024 12:45:14)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
828399733,49cyclictest6044-21ssh10:35:141
828399634,44cyclictest17308-21ssh12:30:131
8307996137,12cyclictest25866irq/58-eth012:25:153
827299574,10cyclictest131rcu_preempt07:45:120
8307995628,17cyclictest25866irq/58-eth010:30:113
8307995029,10cyclictest25866irq/58-eth012:35:133
830799493,31cyclictest25866irq/58-eth011:25:143
827299493,11cyclictest24783-21ssh11:40:130
830799472,25cyclictest25866irq/58-eth011:55:133
8307994527,12cyclictest25866irq/58-eth009:40:133
828399451,36cyclictest19314-21ssh11:55:121
827299452,4cyclictest131rcu_preempt11:45:120
828399443,31cyclictest26589-21diskmemload12:35:121
827299441,35cyclictest22674-21ssh12:15:110
828399431,33cyclictest14482-21ssh10:40:121
8272994318,19cyclictest12-21ksoftirqd/009:35:120
827299431,35cyclictest26856-21ssh11:05:120
827299431,35cyclictest26856-21ssh11:05:110
8292994221,16cyclictest0-21swapper/208:45:112
827299421,29cyclictest13173-21ssh10:20:130
8292994121,7cyclictest1-21systemd07:10:132
827299412,8cyclictest0-21swapper/007:40:140
830799401,25cyclictest25866irq/58-eth009:35:143
8292994027,8cyclictest0-21swapper/212:20:122
827299401,35cyclictest4834-21ssh12:05:110
830799393,23cyclictest25866irq/58-eth010:10:123
8272993914,17cyclictest12-21ksoftirqd/010:25:140
827299391,24cyclictest28298-21ssh12:00:120
827299391,24cyclictest28298-21ssh12:00:110
830799383,24cyclictest25866irq/58-eth007:50:133
828399373,21cyclictest30357-21ssh11:25:141
827299371,10cyclictest23063-21sshd07:25:160
829299362,28cyclictest28838-21ssh12:17:012
827299361,9cyclictest20745-21diskstats08:30:210
827299361,10cyclictest27325-21unixbench_singl10:45:270
827299361,10cyclictest18516-21apt-key09:45:020
827299361,10cyclictest12092-21dpkg08:55:020
827299357,22cyclictest8801-21ssh10:55:130
827299351,9cyclictest7026-21fschecks_count11:30:160
827299351,9cyclictest29127-21if_eth110:10:170
827299351,10cyclictest6799-21ssh10:15:200
8307993418,12cyclictest25866irq/58-eth009:45:123
8307993418,12cyclictest25866irq/58-eth009:45:123
827299346,6cyclictest11613-21sendmail-msp10:00:040
827299342,8cyclictest0-21swapper/008:55:140
827299341,9cyclictest5700-21kthreadcore11:10:220
827299341,9cyclictest31361-21sendmail-msp12:20:050
827299341,11cyclictest27837-21grep08:00:330
827299341,11cyclictest10891-21latency_hist08:20:020
827299341,10cyclictest16131-21sed08:25:190
827299341,10cyclictest16131-21sed08:25:180
827299341,10cyclictest12047-21cut07:10:270
830799331,17cyclictest25866irq/58-eth011:10:143
827299338,4cyclictest25864-21munin-plugin-st12:35:000
827299331,9cyclictest15473-21cut10:40:200
827299331,9cyclictest15433-21kthreadcore12:10:200
827299331,9cyclictest1320-21proc_pri10:30:260
827299331,9cyclictest11837-21kthreadcore09:20:220
827299331,8cyclictest16237-21irqcore11:35:180
8272993317,13cyclictest12-21ksoftirqd/010:35:150
827299331,17cyclictest20370-21ssh10:05:130
827299331,10cyclictest22185-21fschecks_time09:05:170
827299331,10cyclictest19840-21cut09:25:200
827299331,10cyclictest10382-21kthreadcore12:25:220
8292993214,12cyclictest0-21swapper/210:30:122
828399325,7cyclictest21-21ksoftirqd/112:25:141
827299323,10cyclictest26205-21kthreadcore08:35:190
827299321,9cyclictest5983-21awk09:15:300
827299321,9cyclictest5983-21awk09:15:290
827299321,9cyclictest3850-21ls07:35:260
827299321,9cyclictest3486-21sh09:55:150
827299321,9cyclictest31541-21cut08:40:200
827299321,8cyclictest19100-21cron07:55:020
827299321,10cyclictest30098-21tr09:10:220
827299321,10cyclictest15532-21idleruntime-cro08:25:000
829299315,16cyclictest22146irq/40-dwc2_hso07:50:132
8292993122,4cyclictest0-21swapper/212:10:122
828399317,17cyclictest21-21ksoftirqd/108:50:111
827299314,6cyclictest26386-21ssh12:35:150
827299311,9cyclictest30360-21cut07:30:220
827299311,9cyclictest1971-21cat11:25:290
827299311,9cyclictest13457-21ssh11:50:220
827299311,8cyclictest2661-21apt-get08:45:110
827299311,8cyclictest21014-21awk11:20:010
827299311,8cyclictest17135-21grep07:15:270
827299311,12cyclictest21388-21ssh11:20:130
827299311,11cyclictest27365-21ssh09:50:120
827299311,11cyclictest25908-21/usr/sbin/munin09:30:240
827299310,9cyclictest22648-21mailstats09:45:280
827299310,9cyclictest22648-21mailstats09:45:270
830799303,18cyclictest25866irq/58-eth012:10:113
829299305,15cyclictest22146irq/40-dwc2_hso08:50:122
829299302,20cyclictest22146irq/40-dwc2_hso11:35:132
827299306,6cyclictest316-21sed08:05:300
827299301,8cyclictest23388-21grep11:55:290
827299301,7cyclictest18241-21fschecks_count07:20:150
827299301,7cyclictest18241-21fschecks_count07:20:150
827299301,10cyclictest2688-21kthreadcore10:50:220
827299301,10cyclictest20433-21ssh11:00:220
828399291,22cyclictest31807-21ssh12:20:121
827299291,9cyclictest20479-21wc09:00:230
827299291,9cyclictest20002-21kernelversion07:55:170
827299291,10cyclictest1978-21irqrtprio08:10:180
829299282,17cyclictest22146irq/40-dwc2_hso09:10:142
830799273,16cyclictest0-21swapper/312:20:033
829299272,16cyclictest22146irq/40-dwc2_hso10:10:112
829299272,11cyclictest27-21ksoftirqd/209:45:122
829299272,11cyclictest27-21ksoftirqd/209:45:112
8292992716,5cyclictest27-21ksoftirqd/211:25:332
8292992713,11cyclictest27-21ksoftirqd/211:23:552
828399272,12cyclictest13757-21ssh12:10:121
8283992720,4cyclictest201rcuc/109:45:121
8283992720,4cyclictest201rcuc/109:45:111
828399271,13cyclictest201rcuc/112:00:121
828399271,13cyclictest201rcuc/112:00:111
827299270,9cyclictest8194-21latency_hist07:10:000
830799263,15cyclictest25866irq/58-eth012:00:123
830799263,15cyclictest25866irq/58-eth012:00:113
830799262,16cyclictest0-21swapper/309:25:123
829299263,14cyclictest22146irq/40-dwc2_hso08:30:202
8292992616,4cyclictest11310-21ssh11:14:082
828399262,18cyclictest12438-21diskmemload11:15:141
830799252,13cyclictest25866irq/58-eth010:40:133
829299257,15cyclictest27-21ksoftirqd/207:35:142
829299256,13cyclictest0-21swapper/210:43:372
829299252,19cyclictest0-21swapper/211:45:122
829299252,17cyclictest22146irq/40-dwc2_hso12:05:122
829299251,21cyclictest25634-21cut08:35:172
830799248,10cyclictest0-21swapper/311:35:143
829299248,12cyclictest10375-21uname07:45:192
829299245,7cyclictest27-21ksoftirqd/210:35:292
829299242,11cyclictest131rcu_preempt09:43:352
8292992416,5cyclictest10915-21ssh10:55:212
8292992414,5cyclictest27-21ksoftirqd/211:02:342
8292992414,5cyclictest2220-21ssh09:53:562
829299241,15cyclictest0-21swapper/210:49:552
829299238,2cyclictest27-21ksoftirqd/210:02:312
829299235,15cyclictest27-21ksoftirqd/207:55:252
829299234,16cyclictest27-21ksoftirqd/212:36:212
8292992316,3cyclictest12533-21ssh11:15:142
8292992314,7cyclictest22225-21hwlatdetect09:05:182
8292992313,8cyclictest0-21swapper/210:20:262
8292992312,9cyclictest26106-21ssh11:57:512
8292992311,9cyclictest20321-21sshd08:26:032
8292992311,9cyclictest20321-21sshd08:26:022
8292992310,7cyclictest0-21swapper/211:55:012
828399232,14cyclictest23318-21ssh10:45:141
8283992315,5cyclictest17831-21cron07:20:011
8283992312,3cyclictest0-21swapper/112:08:471
828399231,17cyclictest8437-21sshd07:10:121
829299228,12cyclictest28193-21ps07:30:182
829299227,13cyclictest27-21ksoftirqd/208:15:262
829299226,10cyclictest27-21ksoftirqd/207:15:162
829299224,14cyclictest22146irq/40-dwc2_hso09:55:132
829299223,11cyclictest27-21ksoftirqd/211:30:332
829299221,3cyclictest0-21swapper/209:30:132
8292992212,8cyclictest0-21swapper/212:25:162
8292992211,8cyclictest27-21ksoftirqd/210:08:082
829299221,14cyclictest16279-21getconf08:55:292
8292992210,9cyclictest25051-21hwlatdetect11:40:172
8292992210,9cyclictest24683-21ssh09:28:442
828399223,12cyclictest32401-21ssh10:10:251
8283992215,5cyclictest0-21swapper/109:25:121
830799211,15cyclictest0-21swapper/310:00:133
829299219,3cyclictest27-21ksoftirqd/209:20:262
829299218,4cyclictest27-21ksoftirqd/207:40:282
829299218,10cyclictest2150-21grep09:15:172
829299218,10cyclictest2150-21grep09:15:172
829299216,13cyclictest27-21ksoftirqd/210:25:382
829299211,8cyclictest0-21swapper/212:00:312
829299211,8cyclictest0-21swapper/212:00:302
8292992112,7cyclictest0-21swapper/212:30:162
8292992112,3cyclictest0-21swapper/211:05:072
8292992112,3cyclictest0-21swapper/211:05:062
8292992111,8cyclictest0-21swapper/207:25:142
829299211,15cyclictest22146irq/40-dwc2_hso09:35:142
8292992110,8cyclictest894-21kthreadcore10:50:202
828399219,10cyclictest0-21swapper/110:22:371
828399219,10cyclictest0-21swapper/108:05:271
828399218,3cyclictest0-21swapper/109:52:001
8283992115,3cyclictest21-21ksoftirqd/111:44:121
8283992111,7cyclictest7149-21ntpq11:10:261
828399211,16cyclictest14726-21ls08:20:271
8283992110,6cyclictest21-21ksoftirqd/107:55:121
830799209,6cyclictest0-21swapper/310:35:153
8307992012,5cyclictest25866irq/58-eth011:30:113
8307992011,6cyclictest0-21swapper/309:31:513
8307992011,3cyclictest0-21swapper/311:00:023
8307992010,6cyclictest0-21swapper/310:48:283
829299201,15cyclictest390-21unixbench_singl08:05:312
829299201,11cyclictest0-21swapper/208:20:212
829299201,10cyclictest8564-21awk10:15:282
828399208,3cyclictest131rcu_preempt07:20:241
828399208,3cyclictest131rcu_preempt07:20:231
828399205,8cyclictest21-21ksoftirqd/109:23:111
828399204,8cyclictest131rcu_preempt07:35:181
8283992014,4cyclictest0-21swapper/111:05:241
8283992014,4cyclictest0-21swapper/111:05:231
8283992014,4cyclictest0-21swapper/110:15:121
8283992013,4cyclictest21-21ksoftirqd/111:54:331
8283992012,5cyclictest23261-21sed12:15:171
828399201,16cyclictest26966-21ssh09:10:141
828399201,15cyclictest1895-21apt-get09:35:131
828399201,13cyclictest5421-21ls09:15:241
828399201,13cyclictest5421-21ls09:15:231
830799193,11cyclictest0-21swapper/310:50:143
830799192,11cyclictest0-21swapper/309:05:153
830799192,10cyclictest25866irq/58-eth011:00:133
830799192,10cyclictest0-21swapper/307:55:123
8307991912,4cyclictest0-21swapper/312:20:133
830799191,12cyclictest0-21swapper/311:45:273
830799191,12cyclictest0-21swapper/308:15:163
8307991910,6cyclictest0-21swapper/312:33:173
8307991910,6cyclictest0-21swapper/311:50:113
8307991910,6cyclictest0-21swapper/310:29:023
8307991910,6cyclictest0-21swapper/309:16:373
8307991910,6cyclictest0-21swapper/309:16:363
8307991910,5cyclictest25866irq/58-eth011:05:133
8307991910,5cyclictest25866irq/58-eth011:05:123
829299197,9cyclictest2983-21cut08:10:202
829299197,5cyclictest25419-21cut08:00:242
829299191,9cyclictest18212-21fschecks_count07:20:152
829299191,9cyclictest18212-21fschecks_count07:20:142
829299191,15cyclictest30952-21kthreadcore08:40:192
829299191,15cyclictest18941-21kthreadcore09:00:212
828399199,8cyclictest21-21ksoftirqd/111:47:141
828399197,9cyclictest21-21ksoftirqd/111:20:511
828399197,6cyclictest131rcu_preempt10:25:201
828399197,3cyclictest131rcu_preempt10:50:211
828399196,3cyclictest131rcu_preempt09:34:241
828399196,11cyclictest21-21ksoftirqd/110:08:371
828399195,3cyclictest27440-21vmstat07:25:311
8283991913,4cyclictest0-21swapper/110:55:141
8283991913,4cyclictest0-21swapper/107:45:151
8283991912,4cyclictest11934-21/usr/sbin/munin10:00:121
828399191,15cyclictest332-21kthreadcore08:40:201
828399191,11cyclictest632-21Async17:44:201
830799189,6cyclictest0-21swapper/312:05:043
830799189,6cyclictest0-21swapper/311:15:423
830799189,6cyclictest0-21swapper/310:07:423
830799182,10cyclictest0-21swapper/308:35:153
830799181,9cyclictest25866irq/58-eth010:20:133
830799181,9cyclictest25866irq/58-eth008:55:133
8307991812,4cyclictest0-21swapper/311:21:273
830799181,13cyclictest0-21swapper/308:20:263
830799181,12cyclictest0-21swapper/308:25:143
830799181,12cyclictest0-21swapper/308:25:133
830799181,10cyclictest0-21swapper/308:40:163
8307991810,6cyclictest0-21swapper/309:51:493
829299181,8cyclictest8404-21latency_hist07:10:012
828399184,4cyclictest21-21ksoftirqd/108:00:301
828399183,4cyclictest21-21ksoftirqd/108:10:161
828399183,4cyclictest131rcu_preempt08:30:181
8283991812,4cyclictest17208-21apt-get09:00:121
8283991812,4cyclictest10739-21munin-plugin-st08:20:021
828399181,14cyclictest9850-21tr11:30:211
8283991811,4cyclictest21-21ksoftirqd/111:00:311
8283991811,4cyclictest21-21ksoftirqd/108:45:161
828399181,13cyclictest15777-21ssh11:35:131
830799179,6cyclictest0-21swapper/311:41:073
830799179,6cyclictest0-21swapper/309:22:333
830799177,6cyclictest25866irq/58-eth010:15:133
830799172,10cyclictest0-21swapper/309:00:133
830799172,10cyclictest0-21swapper/307:45:133
830799171,9cyclictest0-21swapper/308:10:023
830799171,13cyclictest0-21swapper/309:55:313
830799171,12cyclictest0-21swapper/308:00:213
830799171,10cyclictest0-21swapper/309:10:123
828399172,3cyclictest131rcu_preempt07:50:131
828399171,8cyclictest15808-21ls08:25:161
828399171,8cyclictest15808-21ls08:25:161
8283991712,3cyclictest0-21swapper/109:55:171
8283991712,3cyclictest0-21swapper/109:05:151
8283991712,3cyclictest0-21swapper/107:40:151
8283991711,4cyclictest0-21swapper/108:35:171
828399171,13cyclictest16985-21sendmail-msp09:00:021
8283991710,4cyclictest0-21swapper/109:40:121
830799163,10cyclictest0-21swapper/307:10:123
830799162,10cyclictest0-21swapper/307:30:143
830799161,9cyclictest0-21swapper/308:30:343
830799161,10cyclictest0-21swapper/308:50:113
828399162,7cyclictest21-21ksoftirqd/107:30:151
830799152,9cyclictest0-21swapper/307:20:133
830799152,9cyclictest0-21swapper/307:20:123
830799151,12cyclictest0-21swapper/307:20:023
830799141,8cyclictest0-21swapper/307:40:133
828399141,10cyclictest8380-21ls07:10:021
830799138,3cyclictest0-21swapper/308:45:033
830799138,3cyclictest0-21swapper/308:14:073
830799131,7cyclictest0-21swapper/307:25:153
830799122,8cyclictest0-21swapper/307:10:013
830799122,7cyclictest0-21swapper/307:35:163
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional